В сентябре 1938 года Голикова отправили в распоряжение Управления по командному составу РККА. Вспоминает его дочь Нина Филипповна: «Сначала папа был освобожден от занимаемой должности и уволен из армии. Это был тяжелейший удар, тем более что в семье подрастали трое детей, а он был единственным кормильцем. На работу устроиться не мог, жить стало сложнее, но родители как-то выкручивались, и на детях это сильно не отражалось. Только время от времени я замечала, как из дома исчезали мамины вещи: то какая-то хорошая кофта, то меховая шубка, подаренная папой. Но о страшной беде, которая в тот момент нависла над нашей семьей, мы узнали только спустя годы. Как оказалось, после увольнения папу готовились арестовать по какому-то нелепому обвинению. Все документы и бумаги были уже готовы, необходимые подписи собраны. Последнее слово оставалось за наркомом обороны Климентом Ворошиловым. Когда ему принесли на утверждение санкцию на арест Филиппа Голикова, Климент Ефремович отказался ставить свою подпись. Он сказал: “Я не знаю ТАКОГО командира дивизии”».
В ноябре Филиппа Ивановича назначают командующим Винницкой армейской группой войск Киевского особого военного округа; месяцем ранее группа была приведена в боевую готовность и должна была прийти на помощь Чехословакии.
В сентябре 1939 года его назначают командующим только что сформированной 6-й армии, которая в составе Украинского фронта участвовала в освобождении Западной Украины. Затем армия была развернута на львовском направлении.
11 июля 1940 года Филипп Иванович назначен начальником Разведывательного управления Генерального штаба РККА, заместителем начальника Генштаба. В этой должности он пробыл до июля 1941 года. Сотрудник военной разведки в 1933–1946 годах, генерал-майор, а в то время капитан, начальник отделения 1-го (западного) отдела Разведупра ГШ КА М. Мильштейн писал: «В советской исторической литературе существуют разные и довольно противоречивые описания его деятельности на этом посту'. В некоторых работах можно даже найти мнение, якобы именно на этом генерале лежит вина за несвоевременность решения о приведении войск в боевую готовность накануне начала Великой Отечественной войны. Могу сказать лишь одно: как начальник военной разведки он делал все для того, чтобы наша служба в крайне сложных, чрезвычайных условиях того времени функционировала эффективно и могла успешно выполнять возложенные на нее задачи… Перед войной советская военная разведка своевременно и в полном объеме предоставила политическому и военному руководству страны все необходимые данные о сосредоточении немецких войск, их составе, планах и сроках возможного нападения фашистской Германии на Советский Союз… Соглашусь, что не всегда данные были точными и своевременными, поступали сообщения противоречивые, а иногда и ложные. Но нет и не было еще в мире такой разведки, которая всегда и при любых обстоятельствах предоставляла бы только точные сведения! Главная трудность для нашей (и не только нашей) разведки состояла не в том, чтобы добывать информацию, а в том, чтобы в нее поверило политическое и военное руководство — особенно если собранные сведения не укладывались в схему, в плену которой находилось само это руководство… 20 марта 1941 года начальник Главного разведывательного управления генерал Ф.И. Голиков представил руководству страны доклад, содержавший сведения исключительной важности. В этом документе назывались возможные направления ударов немецко-фашистских войск при нападении на Советский Союз. Как позднее выяснилось, эти данные последовательно отражали этапы разработки гитлеровским командованием плана “Барбаросса’’, а в одном из вариантов практически была изложена суть этого плана. Правда, в конце доклада говорилось о том, что слухи и документы, говорящие о неизбежности войны Германии против СССР весной этого года, необходимо расценивать как дезинформацию. Как понимать этот вывод? Думаю, что, если бы Голиков в конце доклада не сделал такого вывода, этот документ никогда не дошел бы до Сталина. Такие были времена. Но текст доклада говорил сам за себя, и он полностью снимает обвинения с военной разведки. В дальнейшем стал известен еще один подписанный Филиппом Ивановичем Голиковым подробный доклад о сосредоточении немецких войск на советской границе. Он датирован 5 мая 1941 года и был адресован Сталину, Молотову и другим руководителям ВКП(б) и советского государства. В выводах говорилось о том, что ‘‘необходимо считаться с дальнейшим усилением немецкого сосредоточения против СССР"».