В сентябре 1919 года Давтян был направлен на Южный фронт начальником политотдела 1‑й Кавказской кавалирийской дивизии. В начале 1920 года его вновь отзывают в Москву, теперь уже для работы в Наркомате иностранных дел. Он назначается на должность первого секретаря советского полпредства в Ревеле (Таллине) и направляется туда в командировку. Затем из Ревеля его переводят в Лондон секретарем делегации Л. Б. Каменева.
После возвращения из Лондона в октябре 1920 года Яков Христофорович работает в центральном аппарате НКИД заведующим отделом Прибалтийских стран и Польши и одновременно является членом коллегии наркомата.
По рекомендации Инессы Арманд на молодого дипломата обратил внимание Дзержинский. По его ходатайству Оргбюро ЦК РКП(б) на своем специальном заседании от 12 ноября 1920 года принимает решение «откомандировать Я. Х. Давтяна в распоряжение ВКЧ», где, как предполагалось, он должен был возглавить создаваемый Иностранный отдел (внешнюю разведку).
Дело это было новое и связанное с многочисленными трудностями. Не хватало грамотных сотрудников, владевших секретами чекистского мастерства, навыками ведения разведработы за рубежом и свободно говоривших на иностранных языках. Скудным был и бюджет внешней разведки, а задачи перед ней стояли большие. Сам Давтян, правда, имел некоторый опыт работы за рубежом, в основном по линии НКИД, однако разведка, которой он должен был руководить, была для него «терра инкогнита». К тому же, первому организатору ИНО ВЧК в ту пору было всего 32 года.
Поскольку Яков Христофорович числился сразу за двумя ведомствами, было решено, что в целях конспирации в ИНО ВЧК он будет работать под фамилией Давыдов.
В приказе Ф. Э. Дзержинского о создании Иностранного отдела ВЧК, в частности, указывалось:
«1. Иностранный отдел Особого отдела ВЧК расформировать и организовать Иностранный отдел ВЧК.
2. Всех сотрудников, инвентарь и дела Иностранного отдела ОО ВЧК передать в распоряжение вновь организуемого Иностранного отдела ВЧК.
3. Иностранный отдел ВЧК подчинить начальнику Особотдела тов. Менжинскому.
4. Врид. начальника Иностранного отдела ВЧК назначается тов. Давыдов, которому в недельный срок представить на утверждение Президиума штаты Иностранного отдела.
5. С опубликованием настоящего приказа все сношения с заграницей, Наркоминделом, Наркомвнешторгом, Центроэваком и Бюро Коминтерна всем отделам ВЧК производить только через Иностранный отдел».
Яков Христофорович активно включился в процесс разработки Положения об Иностранном отделе ВЧК, определения его структуры и штатного состава. Но если в Наркоминделе, где Давтян одновременно продолжал работать, он был официально утвержденным начальником отдела и членом Коллегии, то его статус в ИНО в качестве исполняющего обязанности начальника был менее определенным. Дзержинский, которому Давтяна рекомендовала Инесса Арманд, разумеется, знал об их дружеских отношениях. Знал он и о теплых отношениях революционерки с Лениным. Однако с официальным назначением Давтяна на ответственный пост начальника ИНО Дзержинский не торопился, желая, очевидно, более детально изучить его личные и деловые качества.
Подобное положение, видимо, не устраивало Давтяна. Через месяц официальной работы в качестве исполняющего обязанности руководителя внешней разведки органов госбезопасности он пишет служебную записку в Управление делами ВЧК:
«Ввиду того, что исполняя обязанности начальника Иностранного отдела с 30 ноября 1920 года, я числюсь в резерве назначения Административного отдела, прошу провести меня приказом по занимаемой должности».
Однако просьба Давтяна не была удовлетворена. Сегодня трудно сказать, чем это было вызвано. Возможно Дзержинский присматривался к исполняющему обязанности начальника внешней разведки, но не исключено, что причиной был его неровный характер и «кавказский темперамент», о чем речь пойдет дальше. Тогда Давтян подает рапорт с просьбой перевести его на дипломатическую работу за рубежом.
20 января 1921 года руководство ВЧК освободило Я. Х. Давтяна от занимаемой должности в ИНО. Он возвращается в НКИД, который в ту пору возглавлял Г. В. Чичерин, и назначается советником полпредства РСФСР в Венгерской Советской Республике. Одновременно с Давтяном было оговорено, что за рубежом он будет выполнять и поручения Дзержинского. Преемником Якова Христофоровича Давтяна на посту начальника ИНО ВЧК стал Рубен Павлович Катанян.