Милость Зорича продолжалась, однако, не более года. Заметив охлаждение императрицы, он пришел в ужас и отчаяние, приписал все интригам Потемкина, вызвал было князя на дуэль, но в конце концов смирился, оставил опостылевшее Сарское Село и Петербург и отбыл на постоянное жительство в свое Шкловское имение. Первое время — впрочем, весьма недолго — он был чрезвычайно расстроен крушением своей государственной карьеры. Пост, который он занимал, очень ему нравился. Кроме того, он находил, что при отставке его обидели. Правда, полученные им алмазная табакерка квадратиком и особенно пояс в фунт золота, усыпанный бриллиантами и смарагдами, были хороши. Но пожалованное Семену Гавриловичу графское достоинство его не удовлетворяло. Он знал, что родовая русская знать иронически относится к смешному немецкому титулу графа, совершенно не известному в старину на Руси, и в свое время очень посмеивалась над Борисом Шереметевым, который, происходя от Андрея Кобылы, не уступая в знатности старейшим родам, тем не менее согласился испортить свое древнее имя этой петровской кличкой, еще вдобавок всякий раз подлежавшей утверждению германского императора.
Денег и имущества Зорич получил также гораздо меньше, чем Орловы или Потемкин. Но это обстоятельство не так огорчало Семена Гавриловича. Он не был корыстолюбив и совершенно не знал цены деньгам. Безмерно щедрый и расточительный, он при всем своем богатстве почти всегда нуждался и имел множество долгов.
Граф Зорич, умом вообще довольно плохо постигавший разницу между добром и злом, был по природе своей чрезвычайно добрый человек. Он очень любил Россию — той особенной любовью, какой ее любят некоторые из русских инородцев. Преуспев на поприще государственной службы и добившись высоких степеней, граф чувствовал потребность засвидетельствовать свою благодарность новой родине. А так как Зорич любил молодежь и, кроме того, сильно скучал в Шклове, то в одно радостное летнее утро он принял решение — не останавливаясь ни перед какими затратами, основать в своем поместье образцовое учебное заведение для детей бедных дворян и служилых людей. Такое училище (из него впоследствии вышел Московский кадетский корпус) действительно было им открыто в 1778 году, 24 ноября, в день именин государыни. Обставил его Зорич с роскошью необычайной. Имелись при училище и манеж, и большой зоологический музеум, и библиотека, купленная у Самойлова за баснословно высокую цену — восемь тысяч рублей, и даже картинная галерея с произведениями Рубенса, Теньера, Веронеза. Главным своим помощником по управлению училищем Зорич пригласил француза де Сальморона; преподаватели тоже были больше иностранцы. Училище скоро приобрело немалую славу. В ту пору, когда у Зорича были деньги, он ничего не жалел для своих питомцев. Если же Семен Гаврилович проигрывался в карты, то воспитанники сидели без сластей и карманных денег, а воспитатели без жалованья. Но ни те, ни другие на графа не сердились. Этот беспутный человек был так красив собой и так обезоруживающе добр, что ему вообще прощались все грехи. Впрочем, обстоятельства его карьеры по тем временам чрезмерного осуждения и не вызывали.
Особенно пышно отпраздновал Семен Гаврилович школьный выпуск 1792 года. К тому времени было почти отстроено и раскинулось овальным полукругом, в шестьдесят сажен длины, на правом, возвышенном берегу Днепра новое трехэтажное каменное здание училища. Нота Ноткин, министр финансов Зорича, раздобыл для графа большую сумму денег, и воспитанникам была сшита новая, парадная обмундировка. На огромном школьном дворе, где по средам и субботам производилась военная экзерсиция, выстроились все четыре эскадрона училища: кирасиры в палевых колетах, гусары в светло-голубых мундирах, гренадеры в темно-синих и егеря в светло-зеленых куртках. Красиво развевались знамена с рисованными по атласу значками шкловского графства; а в момент появления на фронте Зорича был даже троекратно произведен залп из четырех двухфунтовых единорогов. Многочисленные гости, съехавшиеся на праздник со всей округи, были в восхищении. Больше всех сиял сам Семен Гаврилович Зорич.