Князь Сергей Федорович Голицын принадлежал к числу видных военных деятелей екатерининских времен. Он получил образование в кадетском корпусе, изучал математические науки. Женившись на «племяннице» Потемкина, он получил за ней немалое приданое, в том числе имение Казацкое, а также покровительство всесильного князя Таврического.
Сергей Федорович был небольшого роста, но сложения весьма плотного. Он косил на один глаз и имел обыкновение его прищуривать. Это придавало ему несколько насмешливый вид. Он был умен и храбр и пользовался всеобщим уважением. Павел, вступив на престол, осыпал его наградами. Однако за слишком прямо высказанное мнение Голицын вынужден был оставить службу и поселиться в Москве. Война с Францией заставила Павла призвать из деревенского уединения Суворова и вспомнить о других боевых генералах. Голицын был назначен в действующую армию командиром корпуса, но еще не успел доехать до места назначения, как снова впал в немилость и вместо заграничного похода отправился в свое поместье. Опальному генералу не было еще и пятидесяти лет, и вынужденное безделье его тяготило, а незаслуженная опала вызывала недовольство императором и его гатчинской кликой.
Близко знавшая Крылова в этот период его жизни М. П. Сумарокова рассказывала: «Знакомство Крылова с князем Голицыным началось около времени коронации императора Павла, совершившейся в апреле 1797 года. Вскоре после этого события князь впал в немилость за неуважение к какому-то из новых временщиков и получил повеление жить в деревне. Он отправился в Казацкое, и с ним и несколько лиц, хотевших показать ему свою преданность; тогда он взял с собою и Крылова. Поехали на Зубриловку (что ныне в Балашовском уезде Саратовской губернии), и вот в какое время (в июле и августе 1797 года) Крылов прожил в этом прекрасном имении, где он страдал от комаров и мошек, искал спасения от них на высокой колокольне и однажды найден был спящим под самыми колоколами».
Голицыны недолго пробыли в Зубриловке. Княгиня желала скорее переехать в свое киевское имение — Казацкое. Это имение было в забросе, до него не доходили руки. Бескрайние черноземные поля, благодатная природа, армия крепостных холопов, казалось, обеспечивали верный и большой доход, однако Казацкое приносило лишь убытки, и княгине хотелось убедиться в причинах нерадения управляющего и увеличить свои доходы.
Переехав в Казацкое, Сергей Федорович в хозяйственные дела не вмешивался, предоставив их всецело супруге. В хорошую погоду он ездил прогуливаться в коляске или верхом по окрестностям. После обеда отдыхал и читал книги по военной стратегии или истории. До другого чтения был он не охотник. Вечерами сражался на шахматной доске с сыновьями или Крыловым, неизменно выходя победителем.
Семейство князя состояло из жены его Варвары Васильевны и девяти сыновей. Варвара Васильевна считалась племянницей, а фактически была побочной дочерью князя Таврического. Она унаследовала его властный характер и вспыльчивость. Ей было уже за сорок, но она сохранила свою величавую красоту. Живя в Казацком, княгиня скучала без общества. Ближайшие соседи находились за сотню верст. Местные шляхтянки в ее глазах стояли ниже служанок. Она привыкла к роли знатной русской барыни, к русским порядкам и даже кушаньям. На обед в Казацком подавались русские блюда, моченые яблоки и рябиновая пастила.
Из девяти сыновей старший — Григорий — еще при рождении был пожалован чином гвардии капитана, как старший из внуков Потемкина. Император Павел по вступлении на престол сделал его, тогда еще семнадцатилетнего мальчика, полковником и своим флигель-адъютантом, а через год генерал-адъютантом. Но эта стремительная карьера так же неожиданно оборвалась, как и началась. Вслед за отцом опала постигла и сына, и Григорий Сергеевич разделил с отцом ссылку в Казацкое.
Второй сын князя — восемнадцатилетний Федор — уже приобрел известность в свете как обольстительный весельчак, устроитель праздников и маскарадов. Несмотря на необычайную толщину, он умел придать своему костюму и манерам изящество, прекрасно пел романсы и был душой общества. Остальные братья находились еще в отроческом возрасте. Крылов давал им уроки русского языка.
Кроме Крылова, при детях Голицына состоял француз-гувернер, роялист-эмигрант, шевалье Ролен де Бельвиль. Проживал там на бесплатных хлебах и Павел Иванович Сумароков, родной племянник знаменитого писателя, тоже писатель, хотя весьма бездарный. Он был женат на двоюродной сестре князя и гостил в Казацком вместе с дочкой Машенькой. Павел Иванович был заносчив, надут и всерьез считал себя человеком государственного ума и литературным гением.