Все в Facebook понимали эту концепцию - это разница между медианой и средним значением, тема, которую обычно преподают в средней школе. Но в интересах целесообразности все основные показатели Facebook были основаны на совокупном использовании. Это было похоже на то, как если бы биолог измерял силу экосистемы на основе сырой биомассы, не в силах отличить здоровый рост от токсичного цветения водорослей.
Если Карлос Гомес-Урибе обрушивался с резкой критикой непосредственно на руководителей, контролировавших News Feed, то Макнелли работал внутри системы. Он с энтузиазмом воспринял попытки Гомеса-Урибе отменить льготное отношение News Feed к гиперактивным пользователям и был разочарован, когда по настоянию Цукерберга эта попытка застопорилась, а ее эффект снизился на 80 %. Но прагматизм Макнелли отражал прагматизм систем, которые он пытался создать. В рамках параметров, установленных Facebook, его команда предпринимала самые эффективные шаги.
Демонстрацией такого подхода стала ранняя работа Facebook над дезинформацией. К 2017 году Facebook отказалась от убеждения, что благодаря мудрости толпы пользователи будут самостоятельно распознавать ложь и не распространять ее. Разоблачения, связанные с выборами 2016 года, быстро поставили крест на этой линии мышления. Но Facebook по-прежнему не желал брать на себя работу по определению истины самостоятельно, поэтому он наладил партнерские отношения с внешними организациями по проверке фактов.
Их журналистские усилия помогли Facebook выявить сомнительные истории и затем наложить штрафные санкции на другие истории, появившиеся на тех же доменах. Но эти меры имели лишь ограниченный эффект. К тому времени, когда Facebook занялся проблемой фальшивых новостей, македонцы и их подражатели уже давно вышли за рамки статуса хоббистов. Теперь они поддерживали сотни в основном бесполезных сайтов с названиями вроде "The Denver Guardian". Когда один из них становился мишенью, организация, стоящая за ним, могла просто переключиться на другой, продвигая контент через сети страниц Facebook.
"В Facebook осознание того, что есть противники, играющие в движок, пришло поздно, - говорит Макнелли. Чтобы вытеснить распространителей фальшивых новостей с платформы, Facebook должен был сделать публикацию бредовых историй невыгодной на постоянной основе. И, как и в предыдущей работе Макнелли по борьбе со спамом и рекламным мошенничеством, первым шагом было выяснение того, чем поведение издателей фальшивых новостей отличается от поведения легальных изданий.
Отличительной чертой стало бесстыдство издателей фальшивых новостей в их стремлении привлечь к себе внимание. Наряду с плохой информацией на их страницах неизменно присутствовали clickbait (сенсационные заголовки) и engagement bait (прямые призывы к пользователям взаимодействовать с контентом, тем самым распространяя его дальше).
Facebook уже не одобрял эти методы ажиотажа, считая их немного спамными, но, по правде говоря, ничего особенного с ними не делал. Насколько большой ущерб может нанести вирусная запись "Поделитесь этим, если вы поддерживаете войска"?
Оказалось, что ответ на этот вопрос, когда такой способ повышения вовлеченности используется в операциях по созданию фальшивых новостей, был весьма существенным. Поэтому команда Макнелли начала работать над усилением мер по борьбе с тем, что раньше считалось мелким проступком. Если бы Facebook могла бороться с гиперболическими высказываниями и попытками искусственно подтолкнуть пользователей к участию, возможно, это сделало бы проблему фальшивых новостей более решаемой.
Для того чтобы провести такую репрессию, Facebook необходимо было создать системы для обнаружения плохих постов. Инженеры скормили системе машинного обучения примеры сенсационных постов и постов-приманок, обучив ее отличать такие материалы от более сдержанного контента. Полученный алгоритм предсказывал вероятность того, что пост является приманкой, по шкале от нуля до единицы.
Эта техника, называемая контролируемым обучением, была технически сложной, но концептуально простой. Цель заключалась в том, чтобы надежно распознавать весь плохой контент, который он видел, без ложных срабатываний. Конечно, такое автоматическое совершенство невозможно, и при определении того, как и стоит ли использовать инструмент, который неизбежно приведет к ошибкам, приходилось принимать сложные решения. Всегда существовал компромисс между точностью (как часто классификатор ошибается) и отзывом (какой процент целевого контента он действительно распознает).