После смерти Петра постепенно Летний сад приходит в запустение. Там, где ныне Михайловский замок, был выстроен Франческо Растрелли Летний дворец императрицы Елизаветы Петровны, который был разрушен Павлом для возведения его замка. Статуя Венеры находилась в Летнем саду до середины XVIII века. С возведением Таврического дворца и сада, первоначально как подарок Екатерины II светлейшему князю Потемкину, со средоточением там произведений искусства, Венеру перевезли туда, что, возможно, спасло ее от новой угрозы гибели.
В 1777 году сильное наводнение с ураганным ветром нанесло большой урон Летнему саду: была разрушена фонтанная система, пострадали грот и значительное число скульптур. Вместо восстановительных работ, были засыпаны «гаванец» у Летнего дворца, поперечный канал и Овальный пруд, разрушен грот, разобраны галереи, беседки, птичники. Трудно сказать, какая судьба ожидала Летний сад, если бы не сооружение ограды со стороны Невы, начатое в 1770 году и завершенное в 1784 году.
Решетка Летнего сада, считают, по проекту архитектора Ю.М.Фельтена, который спроектировал гранитное оформление петербургских набережных, изготовленная тульскими кузнецами и каменотесами села Путилова, высокая, ажурная, прозрачная для вод Невы и неба над городом с золотым шпилем Петропавловского собора явилась венцом создания Петра I. Летний сад обрел уникальное оформление.
Ограда со стороны набережной реки Мойки, с изображением головы Медузы Горгоны на щитах, была отлита в 1827 году на Александровском заводе в Петербурге по проекту архитектора Л.И.Шарлеманя. На месте грота К.И.Росси выстроил павильон «Кофейный домик» (1826 г.). Статуя «Аполлон» в Летнем саду находится с 1830 года. Это копия итальянского скульптора П.Трискорни (1820 г.) с римского оригинала I в. из музея Ватикана. Это и есть Аполлон Бельведерский. Первоначально он был помещен в одной из ниш Михайловского замка.
Летний сад с Летним дворцом Петра I, который не занимает центрального положения, не был задуман изначально как царская резиденция, по примеру резиденций королей Европы. Он был создан в большей степени как общественный сад, где происходили приемы, ассамблеи, балы-маскарады и празднества. Уже в XVIII веке он превратился в городской сад для «прилично одетой публики».
Пушкин, привезенный в Петербург в 1811 году для поступления в Царскосельский Лицей, первым делом отправился на прогулку в Летний сад, где встретил подростка, которого тоже определяли в Лицей, это был Пущин, «мой первый друг, мой друг бесценный...»
Впоследствии Пушкин расскажет с улыбкой о воспитании его героя Евгения Онегина в детстве, что заключало в итоге: «и в Летний сад гулять водил». Онегин, как юные поколения в дворянских семьях, не сознавая, впитывал с восприимчивостью детской души ту особую атмосферу, созданную впервые в России в Летнем саду, затем распространившуюся в Петергофе, в Царском Селе и в Петербурге вплоть до Москвы и других городов России, до дворянских гнезд, героическую и пленительную атмосферу эпохи Возрождения в России.
Пушкин жил всегда неподалеку от Летнего сада - и на Мойке, и на набережной Кутузова, и на Пантелеймоновской улице, в двух последних случаях (по времени первых) совсем близко. Обычно приводят слова Пушкина из его письма жене: «...Летний сад мой огород. Я вставши от сна иду туда в халате и туфлях. После обеда сплю в нем, читаю и пишу. Я в нем дома». Поэт говорит «мой огород», помня об «огороде» Петра I, где взошли, если витиевато выразиться, цветы русской поэзии и культуры. Конечно, Пушкин «в нем дома».
Вероятно, впервые в яви мраморные изваяния полуобнаженных женщин я увидел в Летнем саду, но этого не помню, Летний сад просто вошел в мою жизнь, как и город, чудесное воплощение устремлений Петра I. Это была данность, как небо и солнце, но и небо и солнце в прекрасном городе светят иначе, ни туманов, ни дождей не помню, какие болота, Боже! Самое чудесное - явление Ренессанса в России - не заметили, не осознали до сих пор!
Летний сад закрывается на реставрацию, с какими-то планами реконструкции, вплоть до оранжереи... Но идея Сада, как она прояснилась исторически, с сохранением лишь скульптур, предполагает, что ничего из первоначальных затей, вплоть до оранжерей, не нужно. Деревья и кусты, аллеи - все это требует обновления на будущие времена, а статуи - реставрации или замены на мраморные копии, хотя это по нынешним временам безумно дорого...