Но расистские мосты – не единственные бездушные, немые контролеры, способные тайно управлять людьми. История знает множество случаев, когда предметы и технические инновации обретали власть, которой им на самом деле никто не давал[3]. Бывало, что конструкторы вынашивали какие-то недобрые планы и умышленно добавляли такие свойства, но случался и простой недосмотр – вспомните хотя бы о нехватке в городе удобных пандусов для инвалидных колясок. Последствия могли быть самыми неожиданными, как в случае с ткацкими станками девятнадцатого столетия. Эти машины создали для того, чтобы упростить производство тканей со сложным рисунком, а в итоге заработки, условия труда и занятость рабочих изменились так, что станки превратились в гораздо более жестоких эксплуататоров, чем любой капиталист в викторианской Англии.
Не лучше обстоят дела и с современными изобретениями. Спросите жителей английского городка Сканторпа, которым крупнейший интернет-провайдер AOL заблокировал аккаунты, потому что название города не удовлетворяло новому фильтру ненормативной лексики[4][5]. Или нигерийца по имени Чуквуэмека Афигбо, обнаружившего, что автоматический диспенсер жидкого мыла не реагирует на темную кожу, хотя аккуратно выдает положенную порцию на подставленные руки его белого друга. Или Марка Цукерберга, которому в 2004 году, когда он писал код новой соцсети Facebook в кампусе Гарвардского университета, и в голову не могло прийти, что его детище обвинят в содействии манипулированию выборами по всему миру[6][7].
В основе каждого такого изобретения лежит тот или иной алгоритм. Ленты соцсетей и поисковики, спутниковая навигация, программы подбора музыки – все это и многое другое держится на алгоритмах, невидимых фрагментах кода, винтиках и шестеренках современных технологий, и в наши дни алгоритмы – это такая же неотъемлемая часть инфраструктуры, как и привычные мосты, дома и фабрики. Алгоритмы работают в больницах, залах судебных заседаний и автомобилях. Они используются в полиции, супермаркетах и на киностудиях. Они знают, что мы любим и что ненавидим, диктуют нам, что смотреть, что читать и с кем встречаться. И при этом они обладают тайной властью, вынуждая нас исподволь, почти незаметно для себя менять представления о том, что значит быть человеком.
В этой книге мы откроем для себя самые разнообразные алгоритмы, которым мы всё больше доверяем, хотя порой и безотчетно. Мы самым внимательным образом изучим их предназначение, посмотрим, какой еще властью они наделены и какие они ставят новые проблемы. Мы увидим, по каким алгоритмам полицейские решают, кого следует арестовать, и нам придется выбирать, что для нас дороже – защита жертв преступлений или невиновность обвиняемых. Мы узнаем, на какие алгоритмы опираются судьи при вынесении приговоров преступникам – и всерьез задумаемся о том, каким должно быть правосудие. Познакомимся с алгоритмами, которые управляют беспилотными автомобилями (и заставляют нас внятно прописывать нравственные нормы), помогают медикам проверять диагнозы, влияют на наши чувства и несут в себе угрозу – демократии.
Я вовсе не утверждаю, что зло заложено в самих алгоритмах. На этих страницах вы найдете массу причин для оптимизма. Ни одна вещь и ни одна программа сами по себе ни плохие, ни хорошие. Важно, как их применяют. GPS придумали для наведения ядерных ракет, а теперь этой системой пользуются разносчики пиццы. Поп-музыка на бесконечном повторе стала орудием пытки. И даже самой прекрасной цветочной гирляндой при большом желании можно задушить человека. Чтобы составить мнение об алгоритме, необходимо разобраться во взаимоотношениях человека с компьютером. Каждый компьютер связан неразрывными узами со своими создателями и пользователями.
В сущности, отсюда следует, что эта книга – о людях. О том, кто мы, куда мы движемся, что для нас важнее всего и как на все это влияют новые технологии. О наших отношениях с вездесущими алгоритмами, которые работают вместе с нами, повышают наши возможности, исправляют наши ошибки, решают наши проблемы и заодно создают нам новые.
Это книга о том, насколько вообще полезны для общества компьютерные программы. О том, когда стоит согласиться с верховенством машины в принятии решения, а когда лучше побороть в себе соблазн свалить ответственность на нее. О том, как проникнуть в тайны работы алгоритма и узнать, где заканчиваются его возможности, о том, что мы должны внимательно посмотреть на себя и разобраться в себе. О том, как отделить добро от зла и решить, в каком мире мы хотим жить.
3
На эту тему написаны изумительные эссе, советую почитать. Например: Langdon Winner, Do artifacts have politics?
5
В английском названии города
6
Чуквуэмека Афигбо (@nke_ise) опубликовал в
7
Из интервью Марка Цукерберга CNN: