На Кавказе, в маленьких местечках юго-западного края, по которым они кочевали со своей бригадой, братья упорно учились и много думали. Духовно первенствовал младший, более одаренный. Оба были почти самоучками, хотя и слушали короткое время курсы математики, артиллерии и фортификации, но, как писал Петр, «собственному моему старанию и прилежанию обязан я познанием французского языка и польского также и других наук, кроме вышеупомянутых, в них я не имел другого наставника, кроме терпения и желания образовать себя». По-видимому, библиотека одного польского помещика помогла его самообразованию. Библиотека эта состояла из французских авторов XVIII века. Идеи энциклопедистов, Руссо, материализм Гольбаха ожили через полвека в полтавской глуши. И как в революционной Франции, тоги героев Плутарха с увлечением и убежденной наивностью примеривались юными юнкерами. Дух дышит, где хочет, дух, во всём мире мятущий народы, бросавший людей в масонские ложи и карбонарские венты, веял и по русским степям. И вот «13 мая 1818 года», в местечке Решетиловке, русский мальчик Петя Борисов основывает «Питагорейскую секту», под названием «Общество Первого согласия», заимствуя у масонов символы и таинственность. Членов «секты», кроме Петра Борисова, было двое: неизменный последователь его — брат Андрей и юнкер Волков. Целью же его, кроме нравственного усовершенствования, было, не больше и не меньше, как «основание известной республики Плотина» (очевидно, Платона). Потом общество переименовалось в «Друзей Природы», и к нему присоединилось еще несколько юношей, больше по дружбе и на веру.
Все они, и особенно сам Петр Борисов, были отчаянными мечтателями, что он и сам прекрасно сознавал. Но всё же нельзя было по тем временам армейскому офицеру жить в одних эмпиреях, рисовать прекрасные девизы вроде рук, соединенных вместе над жертвенником, с надписью: la gloire, l’amour et l’amitié. Жестокая действительность давала себя знать несправедливостью и грубостью начальства, горькою участью солдат, тяжестью службы. Борисова возмущали насилия помещиков над крестьянами. Когда в его роте, за растрату, наказывали палками фельдфебеля, фейерверкера и рядового, юноша не выдержал, вышел из фронта (тяжкое нарушение дисциплины) и дал себе клятву бороться с такими жестокостями, «хотя бы сие стоило мне жизни».
Скоро он встретился с другим родственным себе по духу мечтателем. Это был молодой польский шляхтич, Юлиан Люблинский. Его, ко всеобщей сенсации, привезли «в цепях» из Варшавы в Новгород-Волынский, где стояла в то время бригада Борисовых, и отдали под надзор полиции. Здесь он поселился в маленьком домике своей матери. Это был хотя тоже самоучка, но по сравнению с Борисовыми образованный и взрослый человек: он читал экономистов и государствоведов, Беккариа и Филанджиери, Адама Смита и Мальтуса. Разумеется, Борисовы заинтересовались таинственным поляком, бывшим для них человеком из высшего революционного света, и добились знакомства с ним. Скоро они подружились той юной дружбой, в которой умственные интересы, прелесть первого познания мира и радость открытия родственных душ сливаются в одно и к которой, как чудесная приправа, примешивается высокая жертвенная настроенность души. Прелестный духовный цветок расцвел в маленьком польско-еврейском местечке, где царила захолустная затхлость и скука. Первая духовная дружба, неповторимая, как первая любовь.
Молодые люди гуляли по окрестным полям и лесам, и Борисов, знакомый с ботаникой и «Натуральной Историей», «разбирал» цветы и животных. Читали книги: «Дух законов» Монтескье, Вольтера. Самоуверенный Люблинский немного «форсил» и смотрел сверху вниз на своих новых друзей. Кроме большей образованности, он просто как поляк принадлежал к более выработанной и утонченной культуре. Но всё же он скоро оказался под влиянием Борисовых, а не наоборот. Когда братья посвятили Люблинского в свою тайну и прочли ему «Правила» своего Общества, он смеясь сказал им: «Ах, маленькие философы, маленькие философы!», но всё же заинтересовался и предложил им новую цель для общества — уничтожение ненависти между славянами и объединение их в федеративную республику. Был составлен новый «Катехизис» или «Правила», а также «Клятвенное обещание». «Обещание» составлено Петром Борисовым, а «Правила», по-видимому, совместно с Люблинским, но с преобладанием Борисова: стиль обоих документов неоспоримо выдает их принадлежность его разгоряченному воображению. При всей смутности географических и этнографических познаний, есть интересное ядро в этих панславистских мечтаниях. В смысле же патетической силы и безудержного романтизма тут взяты очень высокие ноты. Есть в них следы и масонских клятвенных обещаний, есть и самая обыкновенная провинциальная армейская чепуха. И сквозь эту чушь просвечивает смутное прозрение того будущего, о котором мечтали впоследствии более зрелые умы.