Згодна з тэкстам Андрусаўскага пагаднення, «полон весь, что называется пашенными и рабочими около делания земли людям обоего пола», - гэта значыць асноўную масу вязняў, царскі ўрад пакідаў у сваёй дзяржаве на ўсе гады замірэння. Лёс мяшчанаў, захопленых у няволю пад час вайны, а таксама габраяў, ужо ахрышчаных там у праваслаўе, было вырашана разглядаць на будучых дыпламатычных сустрэчах, а пакуль і яны заставаліся на чужыне. Права вярнуцца на радзіму атрымлівала толькі параўнальна невялікая колькасць выведзеных у няволю людзей - духавенства, шляхта, жаўнеры ды лёзная чэлядзь, зямяне, украінскія казакі, татары ды яшчэ неперахрышчаныя габраі. Калі яны паспелі пажаніцца - маглі пераязджаць з жонкамі, дзецьмі і маёмасцю, але калі жанчыны гэтай катэгорыі палонных выйшлі замуж у Маскоўскай дзяржаве - там павінны былі і заставацца. Гэтаксама было развязанае пытанне звароту маскоўскіх ваеннапалонных, якія знаходзіліся ў Рэчы Паспалітай: хоць тыя калісьці самі перайшлі на бок караля, служылі яму, пажаніліся, прынялі каталіцтва - усім дазвалялася выехаць у сваю дзяржаву [20, с.187-188].
Стараннямі камісараў у тэкст пагаднення ўвайшло надзвычай важнае патрабаванне: аддаць усе культурныя каштоўнасці, па-варварску вывезеныя з акупаваных тэрыторыяў. Гэта «лісты, кнігі гродскія і земскія, трыбунальскія і магдэбургскія прывілеі, казённыя кнігі і бібліятэкі, кнігі касцёльныя і царкоўныя» [20, с.213], а таксама ўпрыгожанні, розныя «рэчы касцёльныя і ўкрасы царкоўныя і званы». Усё гэта трэба было сабраць і адвезці ў памежныя гарады, дзе перадаць камісарам Рэчы Паспалітай. Аднак наколькі рэальным магло стаць вяртанне такіх каштоўнасцяў, калі яны расплыліся па ўсёй неабсяжнай краіне, нават па вёсках і глухіх астрогах, прыкладам, Енісейскага ўезда?
Між тым, не змог вярнуцца дадому і шмат хто з тых, каму гэта фармальна дазволілі. Мясцовыя ўлады часам папросту нічога не паведамлялі людзям «літоўскага палону» пра адпаведныя артыкулы Андрусаўскага пагаднення, часам тыя самі былі не ў стане выкарыстаць дазвол і пераадолець вялізарныя адлегласці, іншыя - ўжо паўміралі. Наагул на шляху да свабоды раптам з'яўлялася мноства перашкодаў. Прыкладам, з Ілімскага астрога, дзе служыла шмат палонных шляхцічаў, чаляднікаў і мяшчанаў з Вялікага Княства Літоўскага, у 1667 г. было адпушчана толькі 17 чалавек (сярод іх Сцяпан Багушэвіч, Казімір Абрамовіч, Пётра Астроўскі, Крыштап Прычэўскі, Янка Селахоўскі, Аляксандр Яткоўскі ды іншыя), праз год вызвалілі яшчэ 54 чалавекі «литовских людей» (палкоўніка Дзімітра Чарняўскага, шляхцічаў Міхася ды Янку Ждановічаў, Рыгора Махнача, Андрэя Паўлоўскага, Паўла Казлоўскага, Уладыслава Бароўскага, Паўла Лазоўскага ды іншых), астатнія засталіся*. У Табольску, дзе па «литовскому списку» праходзіла ад 10 да 16 адсоткаў служылых людзей усёй залогі, у 1663 г. іх было 106, а ў 1699 - 219 чалавек**. Цікава, што пасля Андрусава палонных маглі не толькі адпускаць, але і наадварот - выводзіць далей у сібірскія астрогі. Так, у адным з роспісаў, складзеных у лістападзе 1667 г., значылася, што партыя вязняў з 146 чалавек, сярод якіх блізу 130 - шляхцічы, драгуны, казакі і мяшчане з беларускіх ваяводстваў, падрыхтавана да высылкі ў Сібір [52, с.80].
* Акты «холопьего приказа» часам паведамляюць, што палонныя беларусы дабраахвотна, «аднадушна» адмаўляліся вяртацца дадому. Ці можна ўявіць, каб вольны чалавек па сваёй ахвоце застаўся халопам маскоўскага баярына? Вырашала тут усё, думаю, далёка не вязнева воля, а гаспадарская.