При наличии более 7000 признанных языков во всем мире математика была не на стороне Facebook. Даже если компания отбрасывала все, на чем говорит менее 10 миллионов человек, это оставляло более ста языков в резерве. Независимо от ресурсов Facebook, создание классификаторов для такого количества языков - не говоря уже о хороших классификаторах - не представлялось возможным. Каждый новый язык требовал глубокого культурного контекста, машинного обучения и регулярного обновления. Когда в группу безопасности Facebook обратились правозащитники, предупреждавшие о грядущей катастрофе в Мьянме, они не то чтобы не поверили им. Дело было в том, что их предупреждали о надвигающейся катастрофе в десятках стран, о которых компания мало что знала. Они не могли отличить настоящие тревоги от ложных.
Макнелли, который пришел в компанию после окончания первой волны этнических чисток и незадолго до начала второй, назвал это провалом в понимании. "Facebook сделал в Мьянме то же самое, что и в любой другой стране - все, что, по мнению модели, понравится пользователям и чем они будут делиться, будет возвращено им", - сказал Макнелли. "Отличие в том, что люди, распространяющие дезинформацию, были представителями истеблишмента. Если большинство решает преследовать меньшинство на платформе, основанной на популярности, большинство побеждает".
Работа по предотвращению дальнейшего насилия была разделена между командой McNally's News Feed Integrity и командой Civic, которая выделила специальных сотрудников для наведения порядка на платформе в Мьянме и, в идеале, предотвращения следующего подобного инцидента в других местах. Чакрабарти сказал своей команде, что его инструкции от руководства сводятся к "Делайте то, что нужно".
Система, доставшаяся Сивику в наследство, была позорной. Классификаторы, необходимые для определения того, какой контент поддерживает политическое насилие, были грубыми или вовсе отсутствовали, а техническая слабость бирманской системы отчетов пользователей Facebook означала, что рецензенты могли увидеть посты, отмеченные как разжигающие ненависть, только после двадцатичетырехчасовой задержки. Когда же контент все же просматривался, то зачастую людьми, которые его не понимали. "Перевод Google на бирманский нечитаем", - заметил один из участников.
Civic приступила к работе. Они начали систематически удалять посты пользователей, которые неоднократно нарушали стандарты сообщества Facebook, и создали систему, которая не позволяла сомнительным пользователям появляться в рекомендациях друзей. Они снизили уровень доверия, которого должны были достичь классификаторы Facebook, чтобы удалить контент, и начали создавать "Зеленый фонарь" - самообучающийся алгоритм, который определял вариации ругательств и слова, которые использовались как синонимы запрещенной лексики.
Facebook предпринял последнее действие. Она прекратила субсидирование телекоммуникаций, благодаря которому использование Facebook в Мьянме было бесплатным. Компания была так близка к тому, чтобы признать, что ее продукт не всегда стоит общественных затрат.
У Facebook хватило ума понять, что Мьянма вряд ли будет единичным случаем и что подобные инструменты понадобятся ей снова. По настоянию Чакрабарти и Макнелли компания создала новую команду для работы со "Странами риска", или ARC. Никто никогда не уточнял, чем именно они рискуют, но критерии были очевидны. Чтобы получить статус "Страны риска", страна должна была иметь историю насилия, потенциальный триггер для будущего конфликта, например предстоящие выборы, и высокий уровень проникновения Facebook на рынок. Другими словами, этот статус был зарезервирован для мест, где продукты Facebook могли бы стать причиной геноцида или гражданской войны или усугубить их.
Причисление страны к "группе риска" давало ей шанс получить мониторинг , защиту безопасности и инженерные работы сверх того, что могло бы оправдать ее стратегическое значение для Facebook. С точки зрения бизнеса, у Facebook не было причин обращать внимание на такие страны, как Мьянма или Шри-Ланка, но с точки зрения гуманности и потенциального репутационного ущерба они выглядели более значительными.
Команда Civic, которой было поручено заниматься ARC, была разделена на тех, кто стремился изучить и предсказать обстоятельства, при которых Facebook может быть использован не по назначению, и тех, чьей задачей было разработать инструменты для предотвращения этого. Команда никогда не была огромной - несколько десятков сотрудников на пике своей деятельности, - но в итоге она сыграла огромную роль в создании более широкой защиты компании от дезинформации и языка ненависти. Привлеченная для разрешения кризиса за кризисом, команда смогла экспериментировать с мерами, выходящими за рамки обычной программы действий Facebook.