Мураваны касцёл святога Стэфана быў пачаты ў канцы XVII ст. і асвячоны ў 1745 г. Будавалі яго па праекту італьянскага дойліда. На рэгулярнай, амаль квадратнай плошчы, планіроўка якой склалася, магчыма, яшчэ да пажара Вялікага Пасада, касцёл быў пастаўлены ў самым зручным месцы: па восі сіметрыі плошчы, замыкаючы перспектыву галоўнай, амаль прамой на той час Віцебскай вуліцы. Пры традыцыйнай форме базілікальнага плана сяродкрыжжа зноў, як у касцёлах першай паловы XVII ст., увенчана купалам на высокім барабане. Вонкавае архітэктурнае афармленне вельмі стрыманае, нават скупое, але агульныя памеры збудавання (24 x 47 м у плане) і яго стройныя прапорцыі надаюць касцёлу асаблівую выразнасць, накіраванасць угору, да вытанчаных галовак вежаў. Ступень дэкаратыўнай апрацоўкі павялічваецца ў напрамку да верху разам з памяншэннем памераў асобных элементаў. Дзякуючы гэтаму, касцёл не перанасычаны, як шматлікія сучасныя яму помнікі, дэталямі аздаблення і ў той жа час яму ўласцівы вышыннасць і вертыкалізм, характэрныя для віленскага барока. Тут гэты стыль знайшоў выяўленне ў сваім сілуэце і агульнай кампаноўцы мас будынка.
Інтэр'еры касцёла не захаваліся. Пасля выгнання езуітаў з Расеі (1820) калегіум быў перададзены ордэну піяраў, а затым (1830) адышоў пад кадэцкі корпус. Пераўтварэнне касцёла ў праваслаўны сабор (1838) патрабавала пераабсталявання храма. Па інвентарам вядома, што яго алтары былі багата аздоблены стука і жывапісам, пазалочанай і пасрэбранай меддзю, а скляпенні і сцены размаляваны фрэскамі, падлога выкладзсна цёсаным каменнем, у прэсбітэрыі ў шахматным парадку чаргаваліся чорныя і белыя мармуровыя пліткі. Пакрыццё даха складалася з медных лістоў. На вежах знаходзіліся званы і гадзіннік з боем.
Мураваны калегіум у Полацку лічыўся самым вялікім сярод манастыроў Беларусі. Да велічнага мураванага касцёла прылягалі драўляныя пабудовы. З 1750 г. на месцы знішчанага агнём манастыра ўзведзены мураваны. Высокія грунтовыя воды прымусілі прыняць спецыяльныя меры пры будаўніцтве: у аснаванне галоўнага будынка былі закладзены надземныя мураваныя вадасцёкі, якія дрэнавалі глебу, у сценах убудаваны вентыляцыйныя хады, склепы абсталяваны вадаспускамі.
Агромністы Е-падобны ў плане трохпавярховы калегіум займаў плошчу 7180 м2. Перад яго доўгім без выступаў фасадам адкрываўся цудоўны краявід: пад вокнамі, на тэрасе, утворанай схілам, умацаваным мураванай падпорнай сценкай, шумеў рэгулярны сад. Ніжэй цякла паўнаводная Дзвіна, за ёй распасціралася зарэчная, больш нізкая частка Полацка і далей — роўныя палі і лясы. У бок сада быў арыентаваны парадны ўваход у калегіум. Вестыбюль злучаўся з вялікай параднай (летняй) трапезнай, што знаходзілася ў сярэднім выступе калегіума. Выступ дасягаў па вышыні іншыя трохпавярховыя часткі калегіума. Падлога ў трапезнай драўляная толькі каля сцен, пасярэдзіне была з кафляў і з ацяпляльнымі каналамі. На сценах віселі карціны, амбон направа ад увахода апрацаваны стука. Да трапезнай прылягала аднапавярховая кухня. Над трапезнай знаходзіўся музей з бібліятэкай, што ў разьбяных шафах з пазалочанымі бюстамі змяшчала больш 23 тысяч тамоў. Астатнія памяшканні падзяляліся мураванымі сценамі. Зносіны ажыццяўляліся па калідору, што агінаў увесь будынак. Перакрыцці ўсіх паверхаў — скляпеністыя. Дах крыты чарапіцай. Пад цаглянымі і кафлянымі падлогамі пракладзены ацяпляльныя каналы. Каміны і печы амаль не ўжываліся.
У 1773 г., прыкладна праз год пасля далучэння Полацка да Расеі, ордэн езуітаў быў скасаваны папам рымскім. Кацярына II дазволіла езуітам застацца ў Беларусі (у межах першага падзелу Рэчы Паспалітай) з тым, каб яны маглі працягваць сваю асветніцкую дзейнасць, накіраваную зараз на падтрымку царскай улады. У полацкім калегіуме, новым цэнтры ордэна, узмацняецца будаўніцтва.
Паралельна падоўжнай восі касцёла, з поўдня, праз вуліцу будуецца трохпавярховы, без склепаў, корпус, закончаны да 1778 г. На першым паверсе знаходзілася друкарня з кнігарнян, на другім — вучылішча, на трэцім — тэатр з прыбіральнямі для акцёраў. У сувязі з узросшай колькасцю вучняў з паўночнага боку прыбудоўваецца двухпавярховы канвікт (інтэрнат), павернуты ў плане пад прамым вуглом ад касцёла да пабудаванага раней галоўнага будынка. У 1780 г. у Полацак прыязджае Кацярына II. Да гэтай падзеі адбудоўваюцца ў цэгле ўсе адна- і двухпавярховыя будынкі гаспадарчага двара. Яны размяшчаюцца ўздоўж рова Ніжняга замка, паварочваюць на поўдзень і завяршаюцца двухпавярховым флігелем з брамай, што вядзе на мост да Верхняга замка. Каля гэтага флігеля стаяў будынак аптэкі з лабараторыяй і сушыльняй (на гарышчы) для траў. У склепах аптэкі знаходзіўся калодзеж, злучаны сістэмай водаправодных труб з усімі маючымі патрэбу ў вадзе вытворчымі памяшканнямі і іншымі манастырскімі калодзежамі. Акрамя лямусаў, стаен, рамізніцкай, пякарні, вяндлярні, бровара тут працавалі майстэрні (слясарная, такарная, сталярная і г.д.), а таксама суконная фабрыка.