Roku 1355 věnovala manželka Karla IV. Anna lyskou faru klášteru Augustiniánů v Praze na Karlově. Augustiniáni následně v Lysé zřídili konvent s pěti řeholníky. Lysá se tehdy stala manským panstvím a byla propůjčována jako výsluha šlechtickým rodům. Od r.1398 držel Lysou královský hofmistr Petr z Vartemberka a Kosti. Za husitských válek město s hradem a novým augustiniánským klášterem značně utrpělo. Roku 1446 koupil Lysou Jan z Hradce a od něho kupuje Lysou v roce 1450 Jan Smiřický ze Smiřic. Po jeho popravě v roce 1453 přechází panství na jeho nezletilé syny Jindřicha a Václava respektive jejich poručníka Zdeňka ze Šternberka. Václav záhy zemřel a tak celý majetek Smiřických získal Jindřich. Jindřich zemřel v roce 1478 na hradě v Lysé. Pohřben byl v kryptě kostela sv.Jana Křtitele. Dědictvím Lysou získal jeho syn Albrecht, který nechal na přelomu 15. a 16.století hrad přestavět na zámek. Zemřel v r.1505 a byl pohřben také v Lysé, stejně jako jeho starší bratr Jan, pražský purkrabí, který zemřel v roce 1506. Dědičkou Lysé se stala jejich matka Kateřina. Za jejího držení bylo panství Lysá v roce 1508 propuštěno z manství a zapsáno do zemských desk jako dědičné vlastnictví rodu. Na paměť této události má dnes Lysá erb Smiřických, šikmo kosený štít, zakomponován do svého znaku. Za Kateřiny Smiřické prožívá Lysá rozkvět, byla obnovena práva města i fary. Kateřina Smiřická zemřela v roce 1529 a byla pochována v Lysé v kryptě bývalého kostela sv.Jana Křtitele. V závěti bylo panství odkázáno Zdeňku Lvovi z Rožmitálu. Jeho rozmařilý život však způsobil, že musel Lysou v roce 1535 prodat. Novým majitelem se za 5000 kop grošů stal Jiří Bachtl z Pantenova.