Ценой этой оперативности стало невежество. Даже когда компания создавала облегченные версии своих продуктов для работы на дешевых устройствах , предпочитаемых на бедных рынках, и платила телекоммуникационным компаниям на границе, чтобы обеспечить бесплатный доступ к Facebook в деревнях, где нет дорог, она продолжала создавать и оптимизировать платформу для людей, которые использовали ее так же, как и они, - людей, которые принимали запросы в друзья только от знакомых, контролировали, за какими страницами они следят, и отключали знакомых, которые делились слишком большим количеством хлама.
Для людей с инженерным образованием такая рутинная онлайн-гигиена не казалась демонстрацией искушенности. Однако это были навыки. Выбор, который делали пользователи, не только ограничивал то, что Facebook показывал им в ленте новостей. Он ограничивал и то, что платформа показывала их связям. Наличие обеспеченных друзей побеждало даже самый лучший классификатор дезинформации, когда дело доходило до того, что теории заговора не попадали в ленту.
Как и все формы стадного иммунитета, защита не была идеальной. У каждого есть дядя или друг детства, который может перепостить безумные вещи и клюнуть на приманку для вовлечения. Но защитный эффект от наличия образованных, подкованных в Интернете друзей помог объяснить, почему высшее руководство компании с удивлением обнаружило, что македонские тролль-фермы производят лучший предвыборный контент на платформе. Пожары, вспыхивающие на нижних этажах Facebook, должны были превратиться в полномасштабные инферно, прежде чем обитатели пентхаусов почувствовали запах дыма.
Facebook платила своим добросовестным сотрудникам за то, чтобы они следили за проблемами, но даже профессиональные наблюдатели были застигнуты врасплох на таких рынках, как Индия. В преддверии выборов в Индии в 2019 году компания направила в страну исследователей пользовательского опыта, чтобы они проверили пульс индийцев на Facebook, в том числе исследователя, который описал неприятные тенденции рекомендательных систем Facebook в книге "Путешествие Кэрол в QAnon".
Исследовательница создала фиктивный аккаунт во время путешествия. Поскольку платформа учитывает географию пользователя в рекомендациях контента, отметили они с коллегой в статье о своих выводах, это был единственный способ получить истинное представление о том, что платформа предлагает новому индийскому пользователю.
Зловеще, но ее краткое изложение того, что Facebook рекомендовал их воображаемой двадцатидвухлетней индианке, начиналось с предупреждения о графическом насилии. Если американских пользователей Facebook подталкивал к теориям заговора, то индийская версия была антиутопической.
"За 3 недели с момента открытия учетной записи, следуя только этому рекомендованному контенту, лента новостей тестового пользователя превратилась в почти постоянный шквал поляризующего националистического контента, дезинформации, насилия и крови", - говорилось в записке. Лента фиктивного аккаунта стала особенно мрачной после пограничных стычек между Пакистаном и Индией в начале 2019 года. В период крайней военной напряженности Facebook направил пользователя в группы, наполненные контентом, пропагандирующим полномасштабную войну и высмеивающим изображения трупов с помощью смеющихся эмодзи.
Это был не случай, когда плохие посты проскользнули мимо защиты Facebook, или один индийский пользователь спустился в националистическую кроличью нору. То, что Facebook рекомендовал молодой женщине, было плохим с самого начала. Платформа подтолкнула ее к вступлению в группы с изображениями трупов, просмотру вымышленных авиаударов и поздравлению несуществующих пилотов истребителей с их храбростью.
"За последние три недели я видела больше изображений мертвых людей, чем за всю свою жизнь", - написала исследовательница, отметив, что платформа позволила фальши, дегуманизирующей риторике и насилию "полностью захватить власть во время крупного кризисного события". Facebook необходимо не только задуматься о том, как ее системы рекомендаций влияют на "пользователей, которые отличаются от нас", заключила она, но и переосмыслить то, как она создает свои продукты для "неамериканского контекста".
Индия не была исключением. За пределами англоязычных стран и Западной Европы пользователи регулярно видели больше жестокости, приманки для вовлечения и лжи. Возможно, различия в культурных представлениях о приличиях объясняют некоторые из этих различий, но многое, очевидно, связано с различиями в инвестициях и заботе.
С 2016 года "пиар-пожары" в США определяли большую часть работы Facebook по обеспечению честности и неподкупности. Компания строила свою защиту от иностранного вмешательства в ответ на обеспокоенность выборами в США, устанавливала политику конфиденциальности в ответ на действия Cambridge Analytica и писала свои правила по дезинформации о вакцинах в ответ на вспышку кори в Калифорнии. В каждом случае масштабная плохая пресса подталкивала Facebook к устранению проблем. Другие крупные и богатые рынки иногда привлекали такое же внимание.