Юваль Харари: «Технологии доведут нас до ГУЛАГа. Претенденты на роль нового Сталина есть»

Известный писатель-футуролог Юваль Ной Харари, чьи книги расходятся огромными тиражами по всему миру, выступил на  Международном экономическом форуме в Давосе. В рамках сессии, посвященной рискам и угрозам XXI века, он прочел мини-лекцию, которая многих испугала. Главное — в материале DK.RU.

— Подрывные технологии могут разрушить самую суть нашего общества множеством способов — от создания класса «бесполезных» людей из-за широкого внедрения искусственного интеллекта до неконтролируемой экспансии колониализма данных и цифровых диктатур.

Автоматизация рабочих процессов уничтожит миллионы и миллионы рабочих мест. Неясно, насколько быстро люди научатся осваивать новые профессии. Да, технологии создадут достаточное количество альтернативных рабочих мест, но сможет ли, к примеру, 50-летний водитель грузовика, которого только что заменили беспилотной технологией, заново обрести себя в профессии разработчика программного обеспечения или учителя йоги?

В прошлом люди много и активно боролись против эксплуатации в разных ее формах. Но XXI век делает более актуальной другую борьбу — против собственной «бесполезности». Стать «бесполезным» сегодня гораздо опаснее, чем «эксплуатируемым». Из тех, кто не сможет победить в этой борьбе, сложится целый новый класс. Это будут бесполезные с точки зрения экономической и политической систем люди. И пропасть между ними и могущественной элитой будет только расти.

Просто представьте себе, что случится с развивающимися экономиками, если текстиль или автомобили станет выгоднее производить в Калифорнии, а не, к примеру, в Мексике? А что будет с элитами ваших стран, если в Сан-Франциско или Пекине будут храниться все данные об истории их болезней и другая чувствительная персональная информация? Когда у вас достаточно данных, не нужно посылать никуда солдат — отстающие страны и без того вынужденно станут вашими сателлитами.

Еще один риск неравномерного освоения технологий — появление цифровых диктатур, способных постоянно следить за всеми своими гражданами. Собрав данные для нехитрой формулы, вы взломаете мое тело, мой мозг, мое сознание и поймете меня лучше, чем я сам.

Система сможет предсказывать чувства и решения человека, манипулировать ими и в конечном итоге решать за него. В прошлом о такой системе мечтали многие тираны, но ни у кого из них не было достаточно представлений о биологической природе человека, развитых технологий и массива данных, доступных сегодня. Мы больше не какие-то там загадочные души, мы животные, которых можно взломать.

Читайте также: «Нас ждет крупнейшая революция, которая изменит тело и ум человека. Это страшнее нацизма»

Да, вся эта информация может использоваться и во благо, например для создания эффективной системы здравоохранения. Но представьте себе попадание наших аргументов в руки условного нового Сталина — тогда всем нам грозит диктатура, невиданная доселе. А ведь претенденты на роль этого нового Сталина уже есть — давайте подумаем, какой будет та же Северная Корея через двадцать лет?

На граждан там смогут надевать биометрические браслеты, замеряющие все данные, и когда человек будет слушать по радио речь верховного лидера, «большой брат» будет знать, что он думает о правителе на самом деле. Вы можете улыбаться и хлопать в ладоши, но если вы в этот момент злы, то уже завтра утром окажетесь в ГУЛАГе.

Люди все больше и больше будут доверять искусственному интеллекту, передавать свои знания и умения алгоритмам. В недалеком будущем теоретически они легко могут предсказать за человека, куда ему идти работать и с кем заводить брак, а компаниям и банкам — кого нанимать на работу и кому одалживать. И даже центробанки способны опираться на ИИ в расчете оптимальной ставки. Все это будет происходить только потому, что так решил компьютер.

Однажды мы попросту перестанем понимать решения искусственного интеллекта. Даже в относительно свободных странах люди рискуют потерять контроль над собственной жизнью и государственным управлением. То, как работает финансовая система, уже сегодня понимает в лучшем случае 1% человечества. Через двадцать лет этот показатель может снизиться до нуля.

Политические и бизнес-элиты посредством новых технологий могут создавать на Земле рай и ад по своему усмотрению. Но философы пока не могут концептуально осмыслить эти перспективы. В итоге в этом новом цифровом аду рискует оказаться все человечество. Подрывные технологии грозят и нашему биологическому устройству. В ближайшие десятилетия искусственный интеллект и биотехнологии способны дать нам богоподобные свойства, вплоть до искусственного создания новых людей, органической жизни, сформированной разумным замыслом. Армии, корпорации и государства могут использовать новые умения и для манипуляций — формировать у зависимых от них граждан особый набор свойств. Это будет раса лояльных дисциплинированных людей, не умеющих сострадать, быть творцами и духовно глубокими личностями.

Все это не приговор, а лишь один из сценариев развития. ИИ и биотех позволят построить в XXI веке разные по устройству общества. Лидерам важно помнить, что ни одна страна в одиночку не справится с рисками вроде ядерной войны и климатической катастрофы. То же и с ИИ.

Важно доверие — государства должны быть уверены, что сосед не поставит подножку и не разработает в одиночку смертоносную технологию. Потому что в противном случае не будет иметь значения, кто был первым, — проиграет все человечество.

Конечно, даже если человечество уничтожит само себя, это будет еще не конец света. Кто-то, вероятно, выживет. Возможно, крысы. Выживут и изобретут новую цивилизацию. И даже учтут наши ошибки.