По мере того как алгоритмы социальных сетей всасывали и обрабатывали все больше данных о поведении пользователей, в том числе о политике, и перерабатывали их в рекомендации, они оказались чрезвычайно точными, предлагая то, что интересовало людей, но при этом вызывало тревогу и аморальность. В период с 2013 по 2015 год начали появляться признаки непредвиденных последствий: алгоритмические рекомендации глубоко токсичных сообществ. Например, в 2014 году у Twitter возникли проблемы с базирующейся в Сирии и Ираке террористической группировкой "Исламское государство" (ИГИЛ, или ДАЕШ). Вербовщики и фанбои ИГИЛ присутствовали на платформе, используя ее как инструмент пропаганды и влияния, распространяя свои сообщения и увеличивая число своих последователей. 36 Они поддерживали идеологию своего так называемого виртуального халифата, и если вы следовали за одним аккаунтом, алгоритм предлагал другие.
В 2016 году система рекомендаций групп Facebook начала предлагать группы "Пиццагейт" пользователям, которые состояли в других группах, посвященных теории заговора, таких как сообщества псевдонауки, посвященные вакцинам и химтрейлам. 37. К началу 2018 года он начал предлагать группы QAnon, задолго до того, как QAnon (или "Удивительная Полли") стала предметом широкого освещения в СМИ, что помогло зарождающейся периферийной теории перерасти в омниконспирологию, сингулярность, в которой всевозможные теории заговора слились воедино и привлекли гораздо больше приверженцев, чем любая их составная часть. 38 Система рекомендаций работала как нечто вроде матрицы корреляции теорий заговора: Вы цените контент о плоской Земле и верите, что НАСА вам лжет, поэтому вам обязательно стоит заглянуть вот к этим людям, которые верят, что педофилы пьют кровь детей в пиццерии, а Джон Кеннеди-младший вернулся. Это непредвиденное последствие сохраняется годами и проявляется во многих темах; в мае 2023 года моя команда в Стэнфордской интернет-обсерватории обнаружила, что следование за одним аккаунтом в сети эксплуатации детей в Instagram приводит к предложениям о других. 39 Люди, ищущие этот вид крайне незаконного и очень вредного контента, были связаны друг с другом не только ключевыми словами или реальными отношениями, но и рекомендательной системой, которая интуитивно поняла, что у них есть общие интересы.
Алгоритм коллаборативной фильтрации делал именно то, для чего он был создан: предлагал контент или сообщества людям, которые, вероятно, будут заинтересованы в них из-за некоторого сходства с другими людьми (в случае с матрицей корреляции заговоров, возможно, общего недоверия к правительству). В значительной степени эти алгоритмы отражают существующие человеческие предпочтения: птицы, схожие по перу, собираются вместе. И действительно, PYMK и другие рекомендательные алгоритмы, объединяющие людей в сети, часто создают сообщества очень похожих пользователей (сети с высокой гомофилией), что вызвало обеспокоенность по поводу эхо-камер.
Однако некоторые из этих крайних случаев выходили за рамки эхо-камер: рекомендательные системы толкали людей в сообщества, которые были пограничными, если не прямо вредными. К концу 2018 года QAnon уже был, по сути, децентрализованной сектой, 40 связанной с несколькими случаями насилия, а также с достаточным количеством историй ужасных последствий для семей, чтобы создать специальную группу поддержки (под названием "QAnonCasualties"). 41 В нескольких случаях в группах против вакцин, продвигаемых алгоритмом, наблюдалась смерть детей после того, как заблуждающиеся родители игнорировали здравые медицинские советы в пользу предложений от коллег. Одна мать из группы "Остановить обязательную вакцинацию" ( ), рекомендованной алгоритмом, решила отказаться от тамифлю после того, как члены группы предостерегли ее от лечения, предлагаемого "Большой Фармой", и посоветовали попробовать бузину или грудное молоко, или положить лук в носки сына вместо этого. Позже он умер от гриппа. 42 Еще одна участница отказалась от прививки с витамином К, которая предотвращает кровоизлияния в мозг новорожденных, опасаясь, что это вакцина с токсичными ингредиентами - заблуждение, широко распространенное в группе. В то время поисковые системы также выдавали антивакцинальные блоги в ответ на запрос "прививка с витамином К". 43 Алгоритмы работают с тем, что у них есть.
Хотя некоторые ученые, журналисты и активисты (как и я в то время) писали об этих ситуациях и призывали переосмыслить этику рекомендательных систем, платформы в основном избегали действий, хотя внутри себя они тайно начинали испытывать некоторые опасения. В 2016 году внутреннее исследование Facebook показало, что 64 процента людей, вступивших в экстремальную группу, сделали это по рекомендации и что эти группы, как выразился Джефф Хорвиц из Wall Street Journal, "непропорционально сильно подвержены влиянию подгруппы гиперактивных пользователей". 44 Летом 2019 года внутренние исследовательские группы Facebook создали персональный аккаунт - политически консервативную мать по имени Кэрол - и обнаружили, что в течение двух дней ее тоже стали подталкивать в группы, посвященные QAnon. 45 В общем и целом, именно так люди вроде Полли и ее аудитории связывались друг с другом, как росло сообщество и как его авторитеты становились центрами притяжения для большого количества людей. И все же руководство Facebook в значительной степени проигнорировало свои собственные выводы.