На допросы Ильина вызывали в течение четырех лет, с 1943 по 1947 год. Его держали в одиночной камере и периодически избивали, чтобы получить признания. Через четыре года на него махнули рукой, но еще целых пять лет он оставался в тюрьме, где в разное время его сокамерниками были министр авиационной промышленности Шахурин, маршал авиации Новиков и министр иностранных дел Румынии. Ильин никому не говорил, что он офицер-чекист. По его версии, он работал в техническом отделе киностудии документальных фильмов. Понимая, что является жертвой борьбы за власть, Ильин дал себе слово ни в чем не признаваться и лучше умереть, чем запятнать свою честь. Ему удавалось даже сохранять чувство юмора. Однажды он спросил у своего следователя, проводившего допрос:
– А что означает орденская ленточка у вас на груди?
Офицер ответил, что это орден Ленина. Ильин заметил:
– Вот какая мне оказана честь – дело поручено человеку, награжденному орденом Ленина. Значит, мое дело очень важное!
В июле 1951 года Ильин был переведен в Матросскую тишину и помещен в специальный блок тюрьмы ЦК партии. Находившимися там подследственными занимался Комитет партийного контроля, который расследовал дела членов ЦК и офицеров госбезопасности. Начальник тюрьмы предупредил его о серьезных последствиях, если он не признает свою вину перед партией. Новый следователь, появившийся на очередном допросе в форме генерал-майора юстиции, был заместитель военного прокурора Советского Союза Китаев. К безмерному удивлению Ильина, Китаев потребовал от него показаний о предательской деятельности Абакумова, в ответ Ильин попросил предъявить доказательства, что это не провокация. Охранник вывел его в коридор и подтолкнул к глазку камеры, где сидел заклятый враг Ильина Абакумов.
Тем не менее, Ильин отказался свидетельствовать против Абакумова, дальновидно рассудив, что Абакумов в свое время обо всем докладывал Сталину и если он, Ильин, сейчас расскажет о сфабрикованных Абакумовым делах, то его могут обвинить в содействии этим преступлениям. Ильин дал показания, что в своей работе после 1933 года не имел с Абакумовым никаких контактов, лишь изредка встречал его на Лубянке, а также во время инспекционной поездки в Ростов в 1938 году. Китаев был неудовлетворен его заявлением и перевел Ильина обратно на Лубянку, где допросы тут же возобновились. Однако их тон сделался совершенно иным. Теперь его обвиняли в том, что он неправильно понимал свой служебный долг, поддерживая контакты и дружеские отношения с подозрительными людьми. Через полгода Комендант Министерства госбезопасности (МГБ) генерал-майор Блохин объявил ему: за служебные упущения Особое совещание приговаривает Ильина к девяти годам тюремного заключения.
Срок заключения истек – Ильин отсидел девять лет. Перед освобождением ему предложили пройти в кабинет для оформления необходимых документов. Ильин рассказывал мне, что Блохин являлся не только начальником комендатуры, но отвечал и за приведение смертных приговоров в исполнение (в ряде случаев он сам приводил их в исполнение), поэтому, когда его вызвали к Блохину, перед ним за одну-две секунды мысленно прокрутилась вся его жизнь. Он был уверен, что сейчас, сию минуту, его поведут в комендатуру на расстрел. Однако его привели в обычный кабинет, где он дал подписку о неразглашении обстоятельств дела и условий содержания под стражей. Он получил справку об освобождении, временный паспорт и свою старую форму комиссара госбезопасности, теперь генерал-майора, без погон, которая за эти годы порядком обветшала».
16 февраля 1952 года обвинительное заключение по делу Теплинского утверждает заместитель министра государственной безопасности СССР полковник Рюмин. В нем, в частности, указывалось: «во время учебы в Военной академии в 1923 году Теплинский установил связь с рядом троцкистов, разделял их взгляды и сам выступал против политики партии и Советского правительства. В 1927 году якобы от троцкизма отошел. В 1927–1928 годах встречался с активными троцкистами Радеком и Серебряковым. В 1933 году в беседе с Трухиным и Бессоновым высказывал “террористическое намерение против главы Советского правительства”».
27 марта 1952 года дело Теплинского рассмотрела Военная коллегия Верховного Суда СССР. В содержании протокола судебного заседания будет отмечено: «Теплинский признал себя виновным в проведении антисоветской агитации и заявил, что в тюрьме он находится за дело». Более того, суд признает Теплинского виновным в том, «что он в 1937–1940 годах, будучи антисоветски настроенным, среди своего окружения вел антисоветскую агитацию, направленную против мероприятий партии и Советского правительства. Во время Отечественной войны в 1941–1942 годах в Новосибирске продолжал вести антисоветскую агитацию, также направленную против мероприятий партии и Советского правительства. Заявлял о необходимости упразднения в Советской Армии военных советов и института комиссаров. На основании ст. 58–10, ч. 2 УК РСФСР Теплинский приговаривается к лишению свободы на 10 лет с конфискацией всего имущества».