Rychnovské panství pak až do počátku 15. století bez problémů drželi potomci Heřmana z Rychnova. Páni z Rychnova patřili mezi významné české rody. Nezletilým synům Jetřicha († 1400) byl poručníkem Boček z Kunštátu a Poděbrad. Dva z nich, Jan a Hynek, se za husitských válek přidali na stranu táborskou, takže král Zikmund považoval rychnovské panství za odumřelé léno a svěřil ho Půtovi z Častolovic. Potomci Jana z Rychnova († 1433) však panství udrželi a v jejich rukou zůstalo až do konce století. V Rychnově pak vládl Jan mladší (1440−1471) a po něm jeho synové Albrecht a Heřman a synovci Jindřich a Heřman.