В 1785 году «Пане Коханку» принимал в Мирском замке короля Станислава Августа Понятовского, смущенного блеском здешнего богатства. Впрочем, этот блеск был недолгим, ведь Речь Посполитая вскоре пала, а стены княжеской резиденции покрылись пылью и плесенью запустения, остались лишь романтические легенды о замке, воспетом великим Адамом Мицкевичем в поэме «Пан Тадеуш» (впервые опубликована в 1834 году).
Луч надежды на возрождение былого величия под девизом «За нашу и вашу свободу!» блеснул во время восстания Тадеуша Костюшко, но его в 1794 году подавила армия Александра Суворова, выбив повстанцев из Мира. Однако самым значительным испытанием для замка стала Отечественная война 1812 года, когда между русскими и французскими войсками велись ожесточенные бои. Тогда была взорвана северо-восточная башня, где находился пороховой склад, сожжен дворец, а также разрушены фортификационные сооружения.
После Радзивиллов замок принадлежал графам и князьям Гогенлоэ, Берленбургам, Витгенштейнам, а в 1891 году комплекс приобрело знатное семейство Святополк-Мирских, фамилия которых дивным образом совпала с названием местечка. Мирские затеяли в имении новые преобразования. Пейзажная часть парка расположилась между замком и дворцом, она строилась по принципу чередования древесных групп и открытых полян. Главным структурным и художественным элементом ландшафта стал большой водоем, устроенный в 1896–1898 гг. на месте пяти прудов, и с островом в пойме ручья на месте вырубленного сада. Именно он определил основной прогулочный маршрут, который вел от парадного входа вдоль пруда к замку, затем по западной дамбе и по сосновой аллее выводил через мостик опять к дворцу.
Кстати, с вырубленным садом связано печальное поверье. На уничтожение деревьев по приказу землевладельца созвали местных крестьян. А поскольку дело было весной, и яблони стояли в цвету, крестьяне упрямились — мол, нехорошее это дело — рубить цветущий сад. Но против воли помещика не пойдёшь, он заставил их взяться за топоры. Старожилы рассказывали, что за время этих работ, да и после, когда рыли пруд, погибло немало людей, в том числе сын местной ведьмы. После такого происшествия колдунья наложила на пруд проклятие: тонуть в этих водах людям до той поры, пока не сравняется их число с числом погибших при его создании. Первой утопленницей стала княгиня Сонечка в возрасте 12 лет, а сам устроитель пруда умер на его берегу в 1898 году. Скептики могут игнорировать суеверия, но факты — вещь упрямая: даже в наши дни здесь нередко тонут люди. Хотя на вид пруд безобидный и тихий, но глубина, говорят, у него вполне достаточная для того, чтобы, неудачно нырнув, не выплыть на берег, особенно если это погружение происходит под воздействием алкоголя.
После большого пожара в 1914 году замок пришёл в упадок, хотя в уцелевшей части комплекса продолжали обитать жильцы.
Новым потомственным владельцем стал князь Михаил Николаевич Святополк-Мирский (1870–1938), бывший камергер и действительный статский советник Российской империи, посвятивший остаток жизни сохранению родового имения. Князь был человеком незаурядным, даже выглядел он необычно: имел окладистую седую бороду, за что получил прозвище «Сивобородый», носил красную шелковую косоворотку, всегда доброжелательно приветствовал любого прохожего, иногда, якобы в поисках таинственных сокровищ, с лукавым взглядом простукивал замковые стены и любил философски повторять: «Мирский замок — руина, а другая руина — я сам».
Реставрация замка шла, по выражению князя, «в год по комнате». В 1926 году под плитами в подвале были найдены два скелета воинов, о чем свидетельствовала амуниция. По указанию князя их захоронили на православном кладбище. Но с тех пор из года в год, в полночь с 31 декабря по 1 января, на месте их погребения в течение нескольких минут слышны удары мечей, затем продолжительные стоны… Впрочем, услышать это вряд ли удастся, ведь на Новый год в современный поселок Мир прибывает много туристов, которые желают отдыхать и веселиться в замковой атмосфере, а не бродить по мрачному кладбищу.
Князь Михаил Святополк-Мирский умер в 1938 году, а в сентябре следующего года, после бегства из Мира польской администрации, в замке появились новые хозяева. Их появление сопровождалось пропажей богатой библиотеки князя, в которой значились первопечатные инкунабулы, псалтыри в переплетах из слоновой кости, энциклопедии, разноязычная литература по шахматам. Только разрешенные новоявленной советской властью книги перекочевали в поселковую библиотеку, прочие же были оприходованы неизвестно куда или просто выброшены во двор. Замок же стал государственной собственностью и в отношении его дальнейшего использования высказывались самые разные предложения: от открытия здесь Дома творчества до центра по обслуживанию зарубежных туристов. В итоге, 25 июня 1983 года в южную стену замка был m ложен кирпич с датой начала реставрации, а спустя десять лет состоялось торжественное открытие первой экспозиции.