Оспаривание интеллектуальной основы нейтралитета было одной из главных целей американской политики времён холодной войны, и теперь оно предлагалось в качестве официальной точки зрения Конгресса. Представитель ЦРУ Дональд Джеймсон объяснял: «Существовало особое беспокойство по поводу тех, кто говорил: «Ну, Восток - это Восток, Запад - это Запад, и к чёрту вас обоих». Мы старались переместить их хотя бы чуть-чуть к западному пониманию положения вещей. Многие считали, что нейтралитет... был позицией, скомпрометировавшей себя. Некоторые надеялись, что число сторонников этой позиции будет уменьшаться. Но, с другой стороны, я думаю, существовало общее понимание того, что нельзя было нападать на приверженца нейтралитета и говорить ему: «Ты плохой человек, ты совсем как комми», потому что это могло их подтолкнуть влево, что, конечно же, было нежелательным. Но, разумеется, нейтралисты являлись главной целью» [186].
Кёстлер тоже стал мишенью. Он даже не был приглашён на обсуждение его документа руководящим комитетом. Нетерпимость Кёстлера к разногласиям, его иррациональный гнев и высокомерное утверждение собственной гениальности уже убедили Вашингтон в том, что он скорее обуза, чем полезный ресурс. После июньской конференции Кёстлер регулярно проводил встречи у себя дома в «Вер Рив» с Бэрнхамом, Брауном, Раймондом Ароном, Ласки и другими членами «узкого круга». Как говорила Мамэн, он стал «совершенно одержим Конгрессом» и «почти не мог спать». Эти встречи не остались незамеченными. В августе 1950 года еженедельник Французской коммунистической партии «Л'Аксьон» сделал впечатляющий вывод, что Кёстлер планировал организовать террористическую группу в своём доме вместе с Бэрнхамом и Брауном.
Теперь Джоссельсон был убеждён в том, что умеренный тон имел значение, если Конгресс за свободу культуры собирался достичь одной из своих главных целей - победить колеблющихся. Ответом штаб-квартиры ЦРУ было требование удаления Кёстлера от центрального положения в организации. Таким образом, человек, который составил «Манифест за свободу культуры», теперь был устранён. В третьем пункте Манифеста говорилось: «Мир может быть обеспечен только тогда, когда каждое правительство подчиняется контролю и проверке его действий со стороны людей, которыми оно управляет» [187]. ЦРУ, маргинализируя Кёстлера и скрытно управляя тем, что должно было стать крупнейшим скоплением интеллектуалов и «вольнодумцев», успешно нарушало ту самую декларацию прав, за которую оно платило. Для того, чтобы пропагандировать свободу выражения мнений, Управлению сначала надо было её купить, а потом ограничить. Рынок идей был не так свободен, как казалось. Для Кёстлера это стало ошеломляющим предательством. Он заболел «нервным расстройством», вылетел в Штаты и оттуда с горечью наблюдал за тем, как Конгресс за свободу культуры отходил от его идей.
Другим важным человеком, с которым работал Конгресс, был Артур Шлезингер. Он являлся частью того, что Стюарт Хэмпшир, Исайя Берлин и Стивен Спендер прозвали «аппаратом, контролирующей группой». Поздравляя в письме Ирвинга Брауна после встречи в Берлине, Шлезингер с энтузиазмом заметил: «Я думаю, что мы здесь построили очень мощный инструмент политической и интеллектуальной борьбы» [188]. Шлезингер немного разбирался в таких вопросах, получив ценный опыт во время работы в военное время в Управлении стратегических служб в Отделе исследований и анализа, получившем прозвище «кампус» из-за своей непринуждённой атмосферы.
Шлезингер поддерживал тесные связи с элитным «клубом» ветеранов УСС, многие из которых, включая его самого, впоследствии стали ведущими политиками и советниками президента. Он знал Аллена Даллеса, который с самого начала пригласил его в Исполнительный комитет радиостанции «Свободная Европа», созданный ЦРУ в 1950 году. Его участие было скрыто от общественности путём создания дочерней организации - Национального комитета за Свободную Европу. Шлезингер также был в курсе тайных операций, когда он работал помощником Аверелла Гарримана, руководителя «Плана Маршалла» в Европе. Шлезингер вспоминал: «Существовало общее мнение, что Советский Союз тратил много денег на организацию работы среди своей интеллигенции, мы должны были что-то сделать в ответ на это» [189]. При Гарримане он стал участвовать в секретном распределении совместных фондов среди европейских профсоюзов, часто имея дело с Ирвингом Брауном.