На территории иностранных государств советские разведчики тогда в первую очередь должны были выявлять контрреволюционные организации, ведущие подрывную работу против СССР, освещать линию этих стран по отношению к нему, выявлять правительственные и частные учреждения, занимающиеся шпионажем против Советской страны, добывать документы и материалы, которые можно было использовать в борьбе с этими организациями и их лидерами, наконец, они занимались контрразведывательным обеспечением советских представительств и граждан за рубежом.
Война с Польшей, сложный комплекс взаимоотношений с Эстонией, Латвией, Литвой и Финляндией со всей остротой поставили вопрос о необходимости более полного и качественного обеспечения руководства страны разведывательной информацией.
В сентябре 1920 года, рассмотрев на своем заседании причины поражения в польской кампании, Политбюро ЦК РКП(б) приняло решение о кардинальной реорганизации внешней разведки. В нём, в частности, говорилось:
«Слабейшим местом нашего военного аппарата является, безусловно, постановка агентурной работы, что особенно ясно обнаружилось во время польской кампании. Мы шли на Варшаву вслепую и потерпели катастрофу.
Учитывая ту сложившуюся международную обстановку, в которой мы находимся, необходимо поставить вопрос о нашей разведке на надлежащую высоту. Только серьезная, правильно поставленная разведка спасёт нас от случайных ходов вслепую».
Для выработки документов, связанных с созданием самостоятельного разведывательного подразделения, была создана комиссия, в которую вошли, в частности, И. В. Сталин, К. Е. Ворошилов и Ф. Э. Дзержинский.
В соответствии с решением Политбюро ЦК РКП(б) и материалами комиссии председатель ВЧК Ф. Э. Дзержинский 20 декабря 1920 года издал приказ № 169 об организации Иностранного отдела (ИНО) ВЧК как самостоятельного разведывательного подразделения. В нём, в частности, говорилось:
«1. Иностранный отдел Особого отдела ВЧК расформировать и организовать Иностранный отдел ВЧК.
2. Всех сотрудников, инвентарь и дела Иностранному отделу ОО ВЧК передать в распоряжение вновь организуемого Иностранного отдела ВЧК.
3. Иностранный отдел ВЧК подчинить Начальнику Особотдела тов. Менжинскому.
4. Врид. начальника Иностранного отдела ВЧК назначается тов. Давыдов, которому в недельный срок представить на утверждение Президиума ВЧК штаты Иностранного отдела.
5. С опубликованием настоящего приказа все сношения с заграницей, Наркоминделом, Наркомвнешторгом, Центроэваком и Бюро Коминтерна всем отделам ВЧК производить только через Иностранный отдел».
Штат Иностранного отдела ВЧК составил 70 человек.
Этот приказ явился административно-правовым актом, оформившим создание советской внешней разведки.
Временно исполняющим обязанности начальника Иностранного отдела ВЧК был назначен Яков Христофорович Давтян, профессиональный революционер, дипломат, ответственный сотрудник Наркомата иностранных дел. В целях конспирации он руководил разведкой под фамилией Давыдов.
Создавая внешнюю разведку молодого Советского государства, Дзержинский, разумеется, не мог опираться только на дореволюционные кадры, поскольку речь шла о политической разведке органов госбезопасности. Однако уже с середины 1920-х годов «дореволюционные специалисты», особенно знатоки восточных языков, мастера перлюстрации и изготовления документов прикрытия, стали всё шире привлекаться к работе закордонной разведки ВЧК.
Вслед за Давыдовым-Давтяном Иностранный отдел ВЧК с августа 1921-го по март 1922 года возглавлял Соломон Григорьевич Могилевский. Затем он руководил чекистами Закавказья.
Среди первых руководителей разведки органов госбезопасности профессионалом высокого класса по праву можно назвать Михаила Абрамовича Трилиссера. На этом посту он проработал с марта 1922-го по октябрь 1929 года, что в те времена было своего рода рекордом. При нём внешняя разведка получила дальнейшее развитие и добилась впечатляющих результатов в своей деятельности. По рекомендации Трилиссера в Иностранный отдел пришли такие знаменитые в дальнейшем разведчики, как Владимир Владимирович Бустрем, отбывавший вместе с ним при царском режиме срок в Ярославской каторжной тюрьме, а также Дмитрий Георгиевич Федичкин, которого Трилиссер знал по работе на Дальнем Востоке.
6 февраля 1922 года ВЦИК РСФСР упразднил ВЧК и образовал Государственное политическое управление (ГПУ) при НКВД РСФСР. Внешняя разведка (ИНО) вошла в состав ГПУ. В связи с образованием Союза Советских Социалистических Республик (30 декабря 1922 года) постановлением ЦИК СССР 2 ноября 1923 года было создано Объединенное государственное политическое управление (ОГПУ) при СНК СССР, в которое вошёл и Иностранный отдел (штат – 122 человека, из них 62 сотрудника находились в резидентурах за границей).