Hrad Rýzmburk, který patřil po dobu husitských válek k nedobytným pevnostem, se stal majetkem míšeňských vévodů. V této době se vedlo mnohem hůř klášteru – byl husity vypálen a dvakrát vypleněn. Další újmu způsobil klášteru i císař Zikmund, který prodával klášterní majetky, aby získal peníze na další válečné výpravy. Klášter se nakonec z těchto ran vzpamatoval a opravil zničené budovy. V roce 1631 byl Osek po šest týdnů hlavním stanem saského vojska. V roce 1640 vtrhli do kláštera švédští žoldnéři a vyplenili kromě něj i Starý Osek a další přilehlé vesnice. Rozmach nastal za opata Benedikta Littwericha. Ten nechal v roce 1697 zřídit v Novém Oseku textilní manufakturu. Od roku 1705 vlastnila manufaktura 9 tkalcovských stavů. K manufaktuře se přistavovaly nové budovy a v roce 1787 zaměstnávala na 760 osob.