В 1742 г. в документах Герольдмейстерской канцелярии, ведавшей учетом дворян и порядком прохождения ими службы, появилась запись о рассмотрении в Сенате прошения А.В. Потемкина об отставке, которое и было удовлетворено. Он оставил службу с повышением чина, получив звание подполковника, согласно указу царствовавшей в те времена Елизаветы Петровны, дочери Петра Великого. Отдав царю и Отечеству свои силы, молодость и здоровье, Александр Васильевич был отпущен из Москвы в свое имение с пашпортом, в нем говорилось, что «в нынешнем 1742 году октября 13 дня по Ея императорского величества указу, по смотру и по приговору правительствующего Сената маэор Александр Васильев сын Потемкин за старостию, дряхлостию и за раны от всех дел отставлен вовсе, а за службы ево дан ему ранг подполковничей…». Теперь уже никто — ни губернаторы, ни вице-губернаторы, ни воеводы — не имел права «определять к делам» отставного подполковника. Семья Потемкиных поселилась в родовом имении на Смоленщине — селе Чижеве Духовщинского уезда. Оно насчитывало около 20 дворов, где проживало примерно 200 крестьян. Располагалось село по обе стороны речки Чижевки, в нем была деревянная церковь во имя Покрова Пресвятые Богородицы при речке Славицы, построенная в 1703 г. А.В. Потемкиным вместе с неким «Смоленской шляхты ротмистром» Иваном Осиповичем Шельвичем. Храм был небольшой, с деревянной оградой, без колокольни, ее заменял отдельно стоящий навес на столбах, где помещались колокола. Именно в этой церкви был крещен младенец Григорий Потемкин, как, впрочем, и его сестры.
Чижево было скромной усадьбой без особых затей, но зато приспособленной для удобного и спокойного житья. Господский дом изрядной архитектуры возводил, возможно, малоизвестный или даже крепостной архитектор по указаниям самого барина. План дома был согласован с потребностями широкого домашнего быта, и забота об уюте пересиливала стремление к великолепию. И все строилось прочно, удобно и надолго. С высокого балкона помещичьего дома распахивалась великолепная панорама на заречные луга, поля, перелески. Дом был сооружен из очень толстых дубовых брусьев, с первым каменным этажом, где располагались кладовые. Были предусмотрены все необходимые в дворянских деревенских домах комнаты: лакейская, зала, гостиная, спальня, уборная (там одевались хозяева), столовая, детская, девичья и кабинет, сверх того было место для буфета, просторной кладовой и сеней. В деревенской глуши всегда были рады гостям, для них предназначалось несколько всегда чисто прибранных комнат. Стены и потолки в парадных комнатах были затянуты холстом и расписаны красками домашними художниками, на окнах висели шторы из парусины или ситца, мебель обита черной кожей с золотыми гвоздиками.
Помещичьи крестьяне Потемкиных состояли на изделье, т.е. платили за аренду земли долей урожая, занимались хлебопашеством, пчеловодством, рыбной ловлей, а женщины сверх полевой работы упражнялись в рукоделье, пряли лен, шерсть, посконь и ткали холсты и сукна не только для своего употребления, но и на продажу. Не все благополучно было в небольшом владении Потемкиных, о чем свидетельствует запись в делах Московской конторы Сената о розыске беглых крестьян по челобитью четы Потемкиных.
Обычный день в дворянском доме летом распределялся так: обитатели усадьбы вставали рано, часов в семь, в восемь раскладывались в гостиной ломберные столики, облитые чернилами и изрезанные перочинными ножами, на них выкладывались тетради, книги — и начиналось время занятий арифметикой, грамматикой, французским, историей под предводительством матери или сельского дьячка. По традиции, все жившие в усадьбе вместе собирались только к завтраку и обеду. Обедали, как правило, часа в два, затем подавали десерт и фрукты, а потом наступало затишье: одни ложились вздремнуть на кушетку, другие шли читать или отправлялись всей семьей в сад. После чая дети с прислугой снаряжались в дальний путь, отправлялись в лес за грибами и ягодами. Мать семейства шла на кухню, где надо было присмотреть не только за приготовлением ужина, но и за заготовкой запасов на зиму: варили варенье, солили и мариновали огурцы, квасили капусту, коптили мясо.
Помещик же в это время принимал старосту с отчетом о полевых работах, делал распоряжения на следующий день. Для разнообразия в течение дня предпринимались объезды полей, катанья на лошадях, а то сзывали в столовую или к крыльцу дворовых запевал, плясунов и веселились их нехитрым представлением. Когда солнце садилось за ветхими крышами, на горе подымалась пыль столбом, и раздавалось мычание коров, возвращавшихся на ночлег. Вечер для детей проходил быстро среди игр и рассказов нянюшки, то страшных, то веселых. В воскресенье и в церковные праздники вся семья с детьми отправлялась в церковь, а потом наносили визиты соседям. Зимой, когда выпадал снег, к детским забавам добавлялись катание с гор, строительство снежных крепостей, игра в снежки, святочные затеи и другие прелести русской долгой зимы.