V roku 1773 bol jezuitský rád rozpustený a podobný osud čoskoro postihol i františkánov, ktorí tu na základe rozhodnutia Márie Terézie mohli rozvíjať svoju výchovno-vzdelávaciu a pastoračnú činnosť od roku 1777. S finančnou podporou panovníčky bola budova opravená a v roku 1779 prestavaná do súčasnej podoby. Františkánsky kláštor so štvortriednym gymnáziom bol definitívne zrušený nariadením Jozefa II. v roku 1787. V nasledujúcom storočí boli v jeho priestoroch kancelárie likavsko-hrádockého panstva, neskôr župný súd. V niekdajšej kláštornej kaplnke v rokoch 1832 - 1835 a 1840 - 1843 pôsobilo ochotnícke divadlo G. F. Belopotockého. Aj v 20. storočí budova slúžila pre potreby okresného súdu, v roku 1955 sa stala majetkom Múzea slovenského krasu, ktoré v nej pod názvom Slovenské múzeum ochrany prírody a jaskyniarstva sídli dodnes. Na prízemie východnej časti budovy sa v roku 1961 presťahoval okresný archív.

Bližšie informácie o budove Jezuitského kláštora nájdete aj v Historickom kompase.