У 1811 г. бібліятэка налічвала больш 40 тысяч тамоў і з'яўлялася найбагацейшым кнігазборам у Беларусі. Аснову к�іжнага фонду складалі выданні XVI–XVIII стст. на польскай, лацінскай, французскай і нямецкай мовах, а таксама літаратура, выдадзеная ў Беларусі, у тым ліку ва ўласнай друкарні акадэміі. Сярод іх падручнікі па ўсеагульнай геаграфіі і гісторыі Рыма, слоўнікі, творы пісьменнікаў Я. Каханоўскага, П. Скаргі, М. Карыцкага, Н. Мусніцкага, А. Нарушэвіча і іншых. У бібліятэцы зберагаліся таксама і старажытныя рукапісы, каралеўскія граматы і іншыя дакументы, дысертацыі, энцыклапедычныя выданні і дапаможнікі па асобных дысцыплінах.
На базе калегіума ў 1812 г. была створана вышэйшая навучальная ўстанова — Полацкая езуіцкая акадэмія, якая праіснавала да 1820 г. Яна падначальвалася генералу езуіцкага ордэна і міністру асветы Расейскай імперыі. Полацкай акадэміі падпарадкаваліся ўсе езуіцкія школы ў Расеі — у Рызе, Дынабургу, Воршы, Магілеве, Мсціславе, Адэсе, Віцебску, Астрахані. Пашыранае кола дысцыплін дало магчымасць стварыць тры факультэты: факультэт моў, дзе вывучалі расейскую, французскую, нямецкую, лацінскую, грэчаскую, старажытнажыдоўскую мовы; вольных навук, дзе вывучалі філасофію, гісторыю, грамадзянскае права, фізіку, матэматыку, архітэктуру цывільную і ваенную; тэалагічны.
Адзін з пачынальнікаў беларускай літаратуры, выхаванец полацкай езуіцкай акадэміі, Ян Баршчэўскі так пачынае свой нарыс «Полацак»: «Мінаю пушчы і вось на шырокай раўніне бачу горад Полацак. Званы святога Стэфана (калісьці езуіцкія), на Замкавай гары — царква святой Сафіі (калісьці базыльянская, што была фундавана старажытным родам Храпавіцкіх, герба Астоя), якія, стоячы ў тумане, здаецца, імкнуцца да воблакаў; іх постаці-веліканы пануюць над горадам і ўсёй ваколіцай».
Асабліва святочна горад выглядаў першага жніўня, калі ў езуіцкіх школах пачыналіся вакацыі.
«У той дзень, — зазначае Баршчэўскі, - горад Полацак мог стаць сталіцаю ўсёй Белай Русі; шум і грукат вазоў адзываўся па ўсім горадзе; з'язджаліся абывацелі; адны — на ўрачыстасці ў дзень святога Ігнація Лаёлы, другія — каб падзякаваць за турботы тым, хто глядзеў іхніх дзяцей; іншыя — каб пабыць у тэатры, бо вучні Полацкай акадэміі звычайна да гэтых дзён рыхтавалі пастаноўку; з'язджаліся гандляры з усіх бакоў і найвыгадней збывалі свае тавары». Апанаваны вялікім пачуццём да горада свайго дзяцінства, ён працягвае: «Думкі мае, акрыленыя ўспамінамі, імчаць да празрыстых вод Палаты. Памятаю грандыёзныя купалы горада, які магу назваць родным; сціплую дахоўку святога для мяне будынка, яго доўгія калідоры і прыцемак свечак у вялікім касцёле, і хваласпевы пад яго стракатым скляпеннем… Там, там калыска маёй маладосці!».
У 1820 г. акадэмія зачыняецца, а будынак і маёмасць езуітаў перадаюцца ордэну піяраў, якія валодалі імі да 1830 г., калі і гэты ордэн таксама быў скасаваны. Бібліятэчныя зборы разукамплектаваны і разасланы ў Пецярбург (389 старадрукаў), Сімбірск (2080 кніг). Частка іх праз Віцебскую духоўную семінарыю трапіла ў Кіеўскую духоўную акадэмію і інш.
У 1830–1835 гг. вялася рэканструкцыя комплексу па праекту полацкага епархіальнага архітэктара А. Порта. У былым калегіуме з 1835 г. размясціўся Полацкі кадэцкі корпус. Да заходняга крыла галоўнага будынка далучаецца новая частка, узведзены дом дырэктара і 6 службовых будынкаў. Касцёл жа святога Стэфана ў лютым 1833 г. быў пераасвячоны ў праваслаўную царкву ў гонар святога Мікалая Мірлікійскага, якая пазней стала катэдральным саборам Полацка-Віцебскай епархіі. Як сведчыць малюнак Н. Орды другой паловы XIX ст., значных змен у сваім вонкавым выглядзе помнік не працярпеў. Тое ж бачна і на старых паштоўках Полацка, дзе пастаўлены высока па рэльефу храм стварае асноўную сілуэтную дынаміку горада, нават больш значную за Сафійскі сабор. Магчыма, менавіта гэтая моцная градабудаўнічая актыўнасць культавага збудавання стала прычынай таго, што ў 1936 г. вежы касцёла разабралі. Раней на адной з іх знаходзіліся званы, а на другой — унікальны гадзіннік работы віленскага майстра Густава Мудні.