Естественно, больше всего Баранова привлекал Париж — один из крупнейших центров русской политической эмиграции. В докладе Лорис-Меликову от 1 июня 1880 года он отмечал недостаточность агентурной деятельности III Отделения в Париже: «Надзор… производится посредством одиночных, часто случайных, малоизвестных агентов. Получаемые таким путем сведения весьма отрывочны, часто не верны, а иногда противоречат одно другому», — и констатировал: «Успешность одиночных розысков, особенно в чужой стране, одного или нескольких мелких агентов — без поддержки местной полиции и без руководства на самом месте действия развитого и разумного лица — почти невозможна». Баранов указывал, что «Париж — центр революции» и поэтому «главное наблюдение русской секретной политической агентуры должно быть сосредоточено там, т. е. в самой главной квартире обшей крамолы».
Находясь в столице Франции, Баранов пытался опереться на «нужных людей» и, по его словам, «не найдя таковых среди русских», обратился за содействием к парижскому префекту — главе столичной полиции Луи Андрие, который был вполне «расположен к русскому правительству». Установив с ним доверительные отношения, Баранов создает русскую секретную агентурную сеть при парижской префектуре. Практическое руководство ею было возложено на ближайшего помощника префекта Мерсье, сотрудника секретно-наблюдательной части парижской полиции, который по совместительству стал тайным агентом русской полиции и должен был обзавестись собственной агентурой. Он получил для этого от царского правительства около 20 300 франков. Общее руководство и наблюдение за деятельностью Мерсье взял на себя сам префект. «Андрие желает, — писал Баранов, — чтобы о характере организации русской агентуры в Париже и его участии в этом в России было известно лишь его императорскому величеству и главному начальнику Верховной распорядительной комиссии… Кроме того, Андрие желал бы, чтобы, если возможно, помимо проектируемой агентуры, в Париже не было агентов III Отделения…»
Глубина разочарования Баранова работой русской Заграничной агентуры была столь велика, что петербургский инспектор сделал наивную попытку наладить сыск с помощью людей, не говорящих по-русски и, естественно, не знавших российской революционной среды. По эти препятствия не смутили Баранова. В помощь Андрие, Мерсье и другим «месье» был нанят переводчиком за 150 франков в месяц бывший судебный следователь, студент Парижского университета Мурашко. Однако в июне 1880 года Баранов писал Лорис-Меликову: «Сознаю, что Мурашко не вполне то, что было бы нужно, но взять неоткуда, да и было бы рискованно искать нового переводчика». В Петербург полетели многочисленные донесения. Но попытка создания русской секретной агентурной сети в Париже с помощью французской полиции большого успеха не имела. Уже в сентябре 1880 года Баранов доложил Лорис-Меликову, что сведения, которые поступали от Мерсье, содержат «в себе мало интересного с правительственной точки зрения».
Баранов пришел к выводу, что Мерсье «сообщает весьма много подробностей, наблюдений за интимной стороной жизни в Париже русских нигилистов и отношениях между ними, но, никем не руководимый в своих наблюдениях, впадает в агентурную сплетню, столь мало идущую к делу». Поэтому руководство русского политического сыска вынуждено было отказаться от дальнейших услуг своих французских коллег. Неудача с созданием русской секретной агентуры при парижской префектуре, несмотря на негласное содействие ее префекта Аидрие, объяснялась также реорганизацией самой французской полиции и отсутствием «частых сношений и руководства» деятельностью Заграничной агентуры из Петербурга.
В докладе Лорис-Меликову от 22 августа 1880 года Баранов пытался обосновать «нерациональность системы действий» в организации заграничного агентурного сыска. Эта «система», по его мнению, не способствовала успеху розыскных мероприятий русской политической полиции за границей. Баранов предложил создать за рубежом «центр, в котором сосредоточивались бы все данные, сообщаемые иностранной агентурой, а равно и направление и руководство ее действиями». В начале 80-х годов центр русской Заграничной агентуры в Париже переместился на улицу Гренель, где размещалось русское посольство. «Оказавшись в безвыходном положении, правительство решило, хотя и временно, пойти по пути совершенно недопустимому, — писал Лурье в книге „Полицейские и провокаторы…", — оно поручило общее руководство политическим сыском во Франции дипломату — русскому посланнику в Париже князю Н. А. Орлову, сыну покойного главноуправляющего III Отделением и шефа жандармов А. Ф. Орлова».