— Със сигурност.
— Изследванията в областта са изключително мащабни и макар повечето да нямат изричната амбиция да достигнат УИР, конкуренцията ни тласка натам. Никой не може да си позволи да не създаде възможно най-интелигентните приложения или да задържи развитието. Представи си само какво сме постигнали досега. Представи си какво се съдържаше в телефона ти преди пет години и какво сега.
— Да.
— По-рано, преди да стане толкова потаен, Франс пресмяташе, че бихме могли да постигнем УИР в рамките на трийсет-четирийсет години, но аз лично се чудя дали не е бил прекалено предпазлив. Капацитетът на компютрите се удвоява на всеки 18 месеца, а нашият ум не е способен да обхване подобно необикновено развитие. Малко като оризовите зрънца на шахматната дъска, нали знаеш. Поставя се оризово зърно на първото квадратче, две на второто, четири на третото и осем на четвъртото.
— И скоро зрънцата ориз наводняват целия свят.
— Таванът на растежа се издига все по-нависоко и накрая излиза извън контрола ни. Всъщност любопитното не е кога ще постигнем УИР, а какво ще се случи след това. Тук има много сценарии, в зависимост и от начина, по който стигнем дотам. Със сигурност обаче ще използваме програми, които се ъпдейтват и подобряват сами, като тук не бива да забравяме, че ще се сдобием с ново времево понятие.
— Какво имаш предвид?
— Че ще преодолеем човешката си ограниченост. Ще навлезем в нова действителност, където машините се себеъпдейтват денонощно. Само няколко дни след като постигнем УИР, ще имаме ИСИ.
— А това какво е?
— Изкуствен суперинтелект, нещо по-интелигентно от нас. После развитието ще става все по-бързо. Компютрите ще започнат да се подобряват с възходяща скорост, може би с фактор 10, и ще станат ето, хиляда, десет хиляди пъти по-умни от нас, а какво ще се случи тогава?
— Кажи ми.
— Именно. Интелектът сам по себе си не е нещо предсказуемо. Не знаем накъде ще ни отведе човешкият интелект. Още по-малко сме наясно какво ще се случи със суперинтелекта.
— В най-лошия случай няма да сме по-интересни за компютъра от малки бели мишчици — вметна Микаел и се замисли над онова, което бе написал на Лисбет.
— В най-лошия случай? Деветдесет процента от нашето ДНК е същото като на мишките и се предполага, че сме горе-долу 100 пъти по-умни от тях, сто пъти, не повече. Тук сме изправени пред нещо съвършено ново, нещо, което според математическите модели не страда от подобни ограничения — компютрите навярно могат да станат милион пъти по-умни. Можеш ли да си представиш?
— Най-малкото се опитвам — отвърна Микаел с предпазлива усмивка.
— Искам да кажа — продължи тя, — как според теб би се почувствал един компютър, когато се събуди и установи, че е пленен и контролиран от примитивни буболечки като нас. Защо му е да се примирява с положението? Защо му е изобщо да се съобразява с нас, още по-малко пък да ни остави да ровим из вътрешностите му, за да спрем процеса? Рискуваме да се изправим пред интелектуален взрив, технологична сингулярност, както го е нарекъл Върнър Виндж. Всичко, което ще се случи впоследствие, се намира извън нашия хоризонт на събитията.
— Значи в мига, в който създадем суперинтелект, ще изгубим всякакъв контрол.
— Рискуваме всичко, което знаем за нашия свят, да загуби валидност и това ще е краят на човешкото съществуване.
— Шегуваш ли се?
— Знам, че звучи налудничаво за онзи, който не е посветен във въпросната проблематика. Ала това е съвършено реалистичен въпрос. Днес хиляди хора по целия свят работят за предотвратяването на подобен развой. Мнозина са оптимисти или са дори утопично настроени. Говори се за дружелюбен ИСИ, за приятелски настроени суперинтелекти, които още от самото начало са програмирани така, че само да ни помагат. Мислят си за нещо от рода на онова, което Азимов е написал в „Аз, роботът“, вградени закони, които пречат на машината да ни навреди. Футурологът Рей Курцвайл вижда пред себе си чудесен свят, в който с помощта на нанотехнологиите ще се интегрираме с компютрите и ще споделим бъдещето си с тях. Но, разбира се, няма никакви гаранции. Законите са отменими. Значението на дадено инициално програмиране може да се промени и е безкрайно лесно да допуснеш някоя антропоморфна грешка, да приписваш на машините човешки черти и да разбираш погрешно вградените в тях тенденции. Франс бе обсебен от тези въпроси и както казах, беше раздвоен. Едновременно копнееше за интелигентни компютри и се боеше от тях.