Если оставить мысль о передаче короны нормандскому герцогу (из которой и проистекают упомянутые выше предположения), то оказывается далеко не очевидным, что речь идет именно о «продвижении нормандцев». Во-первых, король Эдуард изначально привез с собой в Англию очень мало чужеземцев; во-вторых, лишь о трех назначенных епископах мы можем с уверенностью утверждать, что они действительно были нормандцами. О происхождении еще четырех чужеземных священнослужителей и четырех (или пяти) светских придворных Эдуарда мы ничего не знаем126. Мало того, «французы» из херефордского замка, Осбеорн Пятидесятница, а также Гуго и Ричард Фиц-Скроб, были приближенными эрла Ральфа и, скорее всего, прибыли из его родного Вексена, а не собственно из Нормандии127.
Еще одним аргументом против версии о «нормандской пятой колонне» служит местоположение владений, полученных чужеземными ставленниками короля Эдуарда. В перспективе вторжения из Нормандии земли эрла Ральфа в Херефорде и Восточном Мидленде, как и владения бретонцев Ральфа и Роберта в Линкольншире и Восточной Англии, не имели никакого стратегического значения128. Для этих целей гораздо важнее было бы внедрить потенциальных сторонников в Кенте, Суссексе и Гемпшире, где предстояло высаживаться войску завоевателей. Правда, нормандец Роберт Жюмьежский в конце концов стал архиепископом Кентерберийским, нормандец Вильгельм занял епископскую кафедру Лондона, нормандский священник Осберн сделался настоятелем церкви в Бошеме, а нормандский монастырь Фекан получил земли в Стейнинге (Суссекс); однако ни у кого из них не было собственных войск, чтобы поддержать завоевателей или удерживать захваченные территории. Годвине, строя свои отношения с королем, расценивал «французов», скорее, как потенциальных и реальных соперников, покушавшихся на его власть и влияние, а не как «нормандскую пятую колонну». Отвергнув, таким образом, идею о «пронормандской» ориентации короля, мы можем принять, что в 1044―1045 годах дела Гарольда и всех его родичей шли прекрасно; но в течение следующего года над их благоденствием нависла тень.
В 1046 году старший брат Гарольда, эрл Свейн, объединившись с Гриффидом, королем Северного Уэльса, разграбил Южный Уэльс; эта военная кампания, вероятно, имела своей целью предотвратить набеги валлийцев на Херефордшир, который входил в провинцию Свейна. Такого рода успешные грабительские походы считались обязанностью любого эрла, чьи территории располагались на границе с Уэльсом; союз с Гриффидом соответствовал обычной для англосаксов практике стравливания валлийских правителей друг с другом. Но возвращаясь назад со своим победоносным войском, Свейн повел себя совершенно неприлично. Как сказано в Англосаксонской хронике, «он повелел, чтобы к нему привели настоятельницу Леоминстера, и держал ее при себе столько, сколько ему хотелось». Иоанн Вустерский пишет, что настоятельницу звали Эдит и что Свейн в действительности хотел жениться на ней129. В таком случае за похищением, скорее всего, стояла не просто слепая страсть, а нечто более серьезное. Настоятельницами обычно становились знатные женщины130; возможно, Свейн хотел, по примеру Гарольда, приобрести родственные связи и земли в своей провинции посредством брачного союза; но если так, то он ошибся в выборе предполагаемой супруги. Каковы бы ни были его намерения, и даже при том, что он был старшим сыном эрла Годвине, его поведение выходило за рамки приличия131. Спустя примерно год он наконец отпустил женщину, возможно, под угрозой отлучения от церкви. В итоге Свейн отправился в изгнание132, перезимовал в Брюгге во Фландрии, а летом 1048 года отплыл в Данию. Могущества Годвине не хватило, чтобы спасти старшего сына от такой судьбы; хотя, возможно, влиятельному эрлу удалось отсрочить на целый год принятие решительных мер и смягчить наказание.
Данный эпизод важен по нескольким причинам. Во-первых, Гарольд присоединил к своей провинции новые территории, поскольку он и его двоюродный брат Беорн получили части бывшей провинции Свейна133. Вероятно, такое решение было принято, чтобы умерить гнев Годвине по поводу изгнания его старшего сына. Во-вторых, случившееся показывает, что влияние Годвине, сколь бы велико оно не было, имело свои пределы, и ему, как и другим, приходилось приносить собственные интересы в жертву ради сохранения согласия среди англосаксонской знати. Необходимость находить приемлемые для всех решения окажется важным фактором в последующих жизненных перипетиях и Годвине, и его сына Гарольда; но в том, как они поведут себя в подобных ситуациях, станет отчетливо видна разница между ними. Пока же из-за вопиющей дерзости Свейна союз эрла Годвине и короля дал трещину. Годвине наверняка защищал сына, несмотря на его поведение, и подобное вмешательство в сферу королевского правосудия рассердило короля. За первым инцидентом последовали другие, и за всеми этими столкновениями постепенно материализовался призрак бесплодного брака Эдуарда и Эдит.