Подозрения относительно Полякова нашли подтверждение в 1979 году, когда сотрудник нью-йоркского отделения ФБР передал через Амторг (советская торговая организация, должности в которой активно использовались в качестве прикрытий как КГБ, так и ГРУ) секретный список советских дипломатов, которых американцы подозревали в шпионской деятельности против США. Американец также передал информацию, согласно которой агентом ФБР под псевдонимом «Tophat» был Поляков. Этим американцем был молодой сотрудник ФБР по имени Роберт Хансен.
Было невозможно проигнорировать сведения, полученные от Хансена. В 1980 году ГРУ отозвало генерала из затянувшейся командировки в Дели и перевело на работу в своей штаб-квартире на Хорошевском шоссе. Он не был арестован. Хотя к этому времени различные источники указывали, что Поляков является американским агентом, руководство ГРУ отказывалось верить, что один из самых заслуженных генералов военной разведки — предатель. Хотя ГРУ положительно оценивало полученные от Хансена сведения, оно подозревало, что Хансен являлся агентом-двойником американских спецслужб. Сведения на Полякова носили косвенный характер, и у части руководства ГРУ, выступавшего за проведение в отношении генерала тщательного расследования, не было конкретных доказательств его преступления, чтобы убедить сомневающихся. Защитники генерала утверждали, что налицо попытка американцев бросить тень на ГРУ и дискредитировать его сотрудников. Более правдоподобной причиной было нежелание руководства ГРУ выносить сор из избы, если признать факт измены Полякова. По этой же причине ни о чем не было проинформировано и КГБ.
Поляков через свои контакты и связи в ГРУ узнал, что он находится под подозрением. Опасаясь, что ведущееся расследование может закончиться его арестом, он после возвращения в Москву из командировки вышел в отставку, а вскоре ГРУ закрыло его дело. План сработал: ГРУ его больше не беспокоило, а генерал-пенсионер спокойно жил на даче в Подмосковье. Так он прожил до новой волны разоблачений в 1986 году, когда на сцене появился Олдрич Эймс.
4 июля того года Поляков находился на даче, когда получил из ГРУ приглашение на следующий день присутствовать на торжественном собрании в честь выходящих в отставку офицеров — сотрудников Управления. У него были определенные основания ожидать своего ареста — поблизости от его дома были запаркованы две машины «скорой помощи» — явный признак, что генерал находится под наблюдением. Утром в понедельник он появился у штаб-квартиры ГРУ в полной парадной форме со всеми своими наградами на груди. Перед входом в здание он был схвачен, обыскан, с него были сняты все награды, а сам он был привезен в лефортовскую тюрьму КГБ, где обычно сидели подозреваемые в шпионаже. Генерал вскоре был расстрелян. Один из его сыновей, также являвшийся офицером ГРУ, позже кончил жизнь самоубийством.
Поляков был одним из многих американских агентов, которые были раскрыты и осуждены после вербовки нами Эймса и Хансена в «год шпиона» — в 1985 году. Однако его место особое в этом трагическом и страшном списке, поскольку никто другой из остальных не занимал столь высокого положения в иерархии советского разведывательного сообщества и никому так долго и так эффективно не удавалось шпионить в пользу нашего противника.
Случай с Поляковым был уникален, поскольку ему удалось, сотрудничая с ФБР, избежать ареста в течение долгих двадцати пяти лет. Это к вопросу о профессионализме работавших с ним сотрудников спецслужб США и неэффективности советских органов безопасности.
Подобно Пеньковскому, Поляков на Западе подается как «настоящий патриот» России, который считал, что власть в стране узурпировала Коммунистическая партия. Как и Пеньковский, он якобы пересмотрел свои идеологические позиции, когда работа в ГРУ и за рубежом открыла ему глаза на истинную сущность системы, которую он защищал во время войны. Такой точки зрения он придерживался, сотрудничая с ЦРУ и ФБР, и принципиально отказывался от предлагаемых ему денег, только иногда принимая подарки в виде охотничьего или рыболовного снаряжения.