2 октября на HBO стартовал сериал «Мир Дикого Запада» — новый крупнобюджетный хит телеканала по мотивам фантастического фильма 1973 года «Западный мир». Шоу рассказывает о высокотехнологичном парке развлечений в декорациях вестерна. Парк населяют андроиды, ежедневно отыгрывающие придуманные разработчиками сюжеты в угоду посетителям — и каждый следующий день забывающие о событиях предыдущего. Аттракционом руководит огромная команда во главе с мудрым доктором Фордом, которого играет Энтони Хопкинс, — но, несмотря на их пристальный дозор, в работе андроидов начинают происходить сбои, влекущие за собой нежелательные последствия. В России «Мир Дикого Запада» показывает «Амедиатека».

Чтобы обсудить этические вопросы, связанные с созданием многозадачного искусственного интеллекта, реалистичность новой научной фантастики и перспективы восстания машин, The Village посмотрел сериал с Константином Лахманом, специалистом по нейросетевым технологиям «Яндекса».

Интервью: Настя Курганская

— В этом сериале рассказывается про парк андроидов, которые выглядят и действуют абсолютно как люди, — они многозадачные, полностью копируют человеческое поведение и речь. Насколько подобное теоретически возможно в реальном мире — и если возможно, то насколько мы от этого далеки?

— Я бы не хотел делать прогнозы в стиле Рэя Курцвейла, который говорит о том, что технологическая сингулярность наступит через 30 лет. Искусственным интеллектом достаточно плотно занимаются с середины XX века — и все эти годы делаются прогнозы. В 1950 году говорили, что через 15 лет будет создан искусственный интеллект, в 1970 году говорили, что через 15 лет будет создан искусственный интеллект, — и сейчас люди говорят то же самое. 15 лет остаются, а год, в который делается прогноз, сдвигается.

Я бы сказал, что мы сейчас как никогда к этому близки, но создание искусственного интеллекта может занять очень много времени. Более четкие прогнозы давать сложно. Мы научили искусственные системы решать многие утилитарные задачи: распознавать картинки или анализировать текст. Но до системы, которую можно выкинуть в лес, а она там адаптируется к условиям окружающей среды, сможет выжить, питаться и сохранять себя в безопасности, мы еще очень далеки.  

— Понятно. Мне как человеку, который, как и многие современные потребители информации, часто читает только заголовки, кажется, что сейчас появляется все больше новостей о прорывах в машинном обучении. Компьютер выиграл у человека в го, появилось приложение Prisma, которое обрабатывает фотографии под известных художников, робот уже даже написал стихи в стиле Егора Летова. Мы будто бы стали еще стремительнее двигаться к созданию интеллекта, который может ставить задачи и принимать решения. Это, наверное, иллюзия? 

— Этот хайп поднимается периодически. Если поднять подборки околонаучных газет 60-х годов, то там тоже были фотографии не совсем антропоморфных роботов, которые должны были вскоре начать ходить по улицам, готовить нам обед, убирать со стола и все такое. Этого не произошло ни в 70-х, ни в 80-х, ни в 90-х. Подобный всплеск интереса к искусственному интеллекту иногда поднимается и, к сожалению, потом затухает. Есть такие понятия, как лето и зима искусственного интеллекта, — и их на протяжении последних 60 лет было три-четыре. Инженеры что-то делали, потом журналисты не без помощи этих инженеров и ученых убеждали людей, что скоро все случится, — а потом, когда «скоро» не происходило, интерес угасал. Возможно, теперь нас ждет то же самое.  

Мы хорошо умеем решать утилитарные задачи, но пока остаемся далеки от понимания того, как наш мозг адаптируется к меняющимся условиям среды — у людей и животных происходит непрекращающееся накопление опыта. Как это воссоздать в машине, мы пока не знаем.

Исследования в этой области ведутся, но они фокусируются на игрушечных задачах, которые далеки от реальности. Проблема прогнозов как раз заключается в том, что у нас не количественное отставание, когда не хватает вычислительных мощностей, а концептуальные проблемы. Пока мы не понимаем, как создавать самообучающиеся алгоритмы так, чтобы они могли непрерывно адаптироваться к среде. 

— Пока мы говорили, у меня появился вопрос по поводу первых сцен сериала. Мы видим девушку Долорес, которая, видимо, будет главной героиней в следующих эпизодах. Мы знаем, что она андроид, и слышим ее размышления. Она не просто механически действует, а еще и рефлексирует, размышляет, у нее есть внутренний голос, который звучит за кадром. Насколько это реалистично? 

— Кажется, это не внутренний голос, а рассказ Долорес кому-то. В конце эпизода будет сцена, когда она говорит то же самое разработчику этого парка.

Про внутренний голос интересная история. Мы пока не знаем, как на самом деле создать искусственный интеллект того высочайшего уровня, который видим в сериале. Многие вещи вроде внутреннего голоса, размышлений, воспоминаний, возможно, будут неотделимы от него. Нельзя сказать, что это побочные эффекты, — скорее сопутствующие. 

Отдельный вопрос — можно ли создать интеллект такого уровня, у которого бы не было воспоминаний?

В медицине есть примеры пациентов с антероградной амнезией — это заболевание, при котором человек лишается эпизодической памяти и не запоминает, что с ним происходит. Он помнит все до того момента, когда антероградная амнезия наступила, и перестает запоминать события после. При этом он может спокойно приобретать навыки — например, научиться рисовать. Но он не запомнит, когда этому научился и кто его научил. Эти примеры подтверждают гипотезу о том, что вообще-то без эпизодических воспоминаний человек может нормально функционировать и приобретать навыки.

Но тут проблема еще в том, что у человека есть и накопленный багаж знаний и воспоминаний. Может ли он существовать без него, как эти андроиды? Это тоже открытый вопрос.

Дальше по сюжету будут интересные моменты, которые не связаны напрямую с искусственным интеллектом. Каждый день здесь повторяет предыдущий, но в мелочах все-таки отличается: человек может подойти немного в другое время, немножко меняется таймлайн. И очень сомнительно, что даже чуть-чуть меняющийся таймлайн не разносит всю историю к чертям. Жизнь — это множество случайностей, все эти случайности и формируют историю. Если произошло две-три случайности, то из-за эффекта бабочки все должно разлететься. 

В сериале несколько раз говорят о том, что сейчас эти роботы неидеальны — у них есть нечеловеческие жесты — и можно предположить, что 30 лет назад они были совсем неидеальны и еще меньше похожи на людей, чем то, что нам показывают сейчас.

— Да, это то, о чем я хотела поговорить. В мире сериала Westworld как будто бы преодолен эффект «зловещей долины» (теория, согласно которой робот, сильно, но не идеально похожий на живое существо, вызывает недоверие или страх у человека. — Прим. ред.) — людей совершенно не пугают андроиды, они охотно вступают с ними в контакт. Это тоже утопия?

— Да, это утопия. Понятное дело, что актеры не могут воспроизводить какие-то нечеловеческие жесты, но в реальности поведение андроидов было бы не настолько похоже на человеческое. Это бы отталкивало людей.

Можно привести в пример компанию Boston Dynamics, которая выпускает известных собак для агентства DARPA. Многих пугают видео с этими собаками. Мы видим, что роботы двигаются, как настоящие собаки, — так же перебирают лапами, удерживают равновесие, — но мы понимаем, что это не собаки. Пугает то, что они не выглядят как животные, но их движения достаточно реалистичны. 

— Это же, наверное, работает и в обратную сторону? Роботы могут вызывать такую же эмпатию, как и люди? Как в фильме «Она», где главный герой влюбился в операционную систему с голосом Скарлетт Йоханссон. 

— Да, безусловно. Люди могут испытывать к роботам те же чувства, что и к другим людям, собакам, кошкам, любым существам. Мы испытываем эмпатию, потому что воспринимаем образ, а не самого человека. Точно так же у нас в воображении может появиться образ андроида, к которому мы начнем испытывать эмпатию. С роботами может быть интересно общаться. В сериале, например, герой Энтони Хопкинса общается с ними, потому что ему интересно. Конечно, одновременно он проводит исследование.

Страх, который мы испытываем перед антропоморфными роботами, — это подсознательный страх, который мы не можем контролировать. 

— Как преодолеть этот страх? Это наша задача или задача технологий? 

— Это сложно. Может быть, его можно преодолеть, если тебя с детства окружают подобные роботы и ты привыкаешь к ним. Возможно, герои сериала выросли именно в таком мире.

С другой стороны, по сюжету пока неизвестно, есть ли роботы за пределами парка. Во второй серии покажут героя, который прибыл сюда впервые и смотрит на все с удивлением. Значит, подобных роботов нет во внешнем мире. Тогда интересно, почему эта технология не распространилась. Это патент? 

Еще любопытно, почему на территории парка не видно ни одной технологии, за исключением антропоморфных роботов, которая сильно бы опережала наше время: люди точно так же одеваются, такие же двери, лифты. Окружающая среда выглядит обыденно на фоне прорыва, сделанного в области искусственного интеллекта. 

— Если говорить о технологиях, каким образом в перспективе могут программироваться человекоподобные роботы?

— В сериале постоянно говорят: «Загрузить программу», «Сбросить обновление», «Перейти к исходной версии», — они называют это словом «программа», потому что оно хорошо знакомо людям. У нас в ноутбуках есть программы, например. Но запрограммировать такую систему руками невозможно. Это в любом случае будут самообучающиеся системы.

Они могут обучаться не в процессе непосредственно своей жизни. До попадания в реальный мир они могут жить в мире смоделированном, пока обучаются поведению в каких-то ситуациях. 

— А можно ли поэтапно контролировать процесс самообучения?

— Да. Но я не уверен, что можно будет сделать обновление, которое затронет лишь одну характеристику и не затронет больше ничего. Сказать: «Мы хотим, чтобы включились воспоминания», — и загрузить обновление. Мы можем обучить новую систему, но загрузить и интегрировать обновление в уже сложившуюся будет, мне кажется, тяжело.

Еще очень интересно, что роботов диагностируют, общаясь с ними. Но на самом деле, если разработчики в этом парке их создали, они могут диагностировать процессы, с помощью которых андроиды принимают решения. Это какой-то алгоритм — может быть, нейронная сеть, — который можно пробовать анализировать напрямую. Здесь, общаясь с машиной, анализируют только выход этого алгоритма — что тоже несколько странно выглядит.

— Какие могут быть алгоритмы, помимо нейронных сетей?

— Алгоритмов, с помощью которых пытались построить искусственный интеллект, много. Экспертные системы, например, которые тоже строятся из данных и обучаются. Но сейчас все больше людей сходятся во мнении, что пока только искусственные нейронные сети имеют хоть какой-то шанс стать прообразом таких систем искусственного интеллекта. 

Искусственные нейронные сети — это штамп. В рамках этого подхода существует миллион разных архитектур; они могут быть сколько угодно сложные, блочные или гомогенные. Есть множество очень разных подходов, которые называются общим словом и имеют некоторые общие признаки.

Мы уже обсуждали игру в го, в которую компьютер AlphaGo выиграл этой весной у профессионального игрока Ли Седоля. Существует проблема с масштабированием подобного подхода. Она заключается в том, что система AlphaGo — и была куча шуток на эту тему — лучше Ли Седоля только в одном: в игре в го. Во всем остальном Ли Седоль лучше этой системы. Система не умеет распознавать изображение, не умеет ходить, двигаться и управлять своим телом — ее создали для того, чтобы решить одну задачу. Вот эта возможность выведения алгоритма решения новой задачи из предыдущего опыта — ключевая вещь, которой сейчас не хватает в алгоритмах искусственного интеллекта. 

Мне кажется, что здесь роботы тоже должны обладать такой возможностью. Может быть, ее как-то искусственно ограничивают, чтобы они не начинали размышлять о нежелательных вещах.

— Здесь есть персонаж, который запрограммирован на насилие. Он свой алгоритм каким-то образом нарушает, начинает бесконтрольно убивать, и у парка возникают проблемы. Это тоже этический момент — насколько реальна в перспективе система, запрограммированная на уничтожение? Может ли она нам вообще понадобиться? 

— Запрограммировать на уничтожение точно реально. Вопрос в том, что этот персонаж не просто запрограммирован на насилие. Он еще и сам решает, когда и по отношению к кому проявлять агрессию. Вот это более сложная история. Непонятно, как он это решает.

«Мир Дикого Запада» поднимает много морально-этических вопросов не только в отношении андроидов, но и в отношении человечества. Этично ли создавать парк, где люди могут творить все что угодно даже по отношению к роботам?

— Насколько я помню, недавно снова была новость на тему робоэтики — на этот раз о том, что в Британском институте стандартов разработали свод этических принципов для роботов. Пишется все больше текстов о том, что мы должны как можно скорее подумать о некой системе законов, которая будет учитывать особенности жизни с искусственным интеллектом, в том числе с беспилотниками. Это тоже информационный шум?

— Иногда это информационный шум, но перспектива необходимости разрешения таких этических вопросов значительно ближе, чем кажется. Например, в Калифорнии беспилотные автомобили уже появились, проводятся их тест-драйвы. Тут намечается первая этическая проблема: представим себе, что машина кого-то сбила. Не очень хороший пример, но как есть. Кто в таком случае должен нести ответственность? Разработчики алгоритмов, на которых работает автомобиль, или человек, который сидел в этой машине и теоретически мог контролировать ситуацию?

И вторая этическая проблема в этом случае. Человек-водитель не программируется на то, чтобы выбирать, нажать ему на тормоз или нет и как себя вести, — он принимает это решение во многом неосознанно, за доли секунды. Машину же мы можем запрограммировать на то, что делать в чрезвычайных ситуациях. Но этично ли это? Тогда мы решаем, кому жить, а кому умереть. Это важнейшие проблемы, которые нужно решать уже сейчас, потому что они возникнут не через десять лет, а через год или два. Безусловно, современное законодательство не адаптировано для их решения.

— А имеем ли мы компетенцию для этого? Насколько человеческие нормы этики позволяют прописывать нормы для роботов? 

— Любой закон и любая норма морали — это элемент общественного договора. С робоэтикой та же самая история — как общество договорится, с таким законами в отношении роботов потом и жить. Определение законов — это вопрос не компетенции, а того, как общество договорится по какому-то вопросу.

— Сейчас будет кровавая перестрелка, все будут друг другу стрелять в лицо и так далее. Продолжая разговор об этике: интересно, что гости приходят в этот парк не только для того, чтобы посмотреть на Дикий Запад и роботов, а еще и потому, что там все дозволено. Они могут убивать, могут стрелять в роботов, заниматься сексом с кем угодно и как угодно. Это же тоже сложный момент. Искусственный интеллект используется в угоду запретным желаниям.

— У этой монеты две стороны. С одной стороны, да, действительно не очень понятно, насколько такое поведение этично по отношению к искусственному интеллекту и вообще к кому-либо. С другой стороны, есть исследования, которые показывают, что у детей, которые много играют в видеошутеры, на самом деле понижен уровень агрессии в реальной жизни.

И тут, может быть, такая же история — это позволяет снижать уровень агрессии среди людей за пределами парка. 

— А роботы смогут испытывать физическую боль? 

— Да, почему нет. Наша боль идет из головы. Боль — это защитный механизм. Она появилась в результате эволюции как сигнал, что нам надо срочно что-то предпринять, например, отдернуть руку от горячего предмета. Как защитный механизм это вполне возможно заложить и в робота.

— Вот здесь, возвращаясь к сюжету, мы видим, что Долорес отключили эмоции.

— Да, я про это и говорил. Возможно, это будет очень сложно сделать технически. Есть люди, у которых эмоциональный интеллект вообще не развит, при этом с интеллектуальной точки зрения они вполне себе полноценны, могут быть умными и даже гениями. Но это все-таки скорее исключение, чем правило. У большинства людей эмоции и интеллект сильно связаны. Но, наверное, если хотя бы у некоторых из нас эмоции и интеллект разделяются, это можно будет повторить и в машине. Точно мы не знаем.

Вообще в этом сериале не показано ничего вопиюще неправильного. Ни про что не могу сказать, что так точно нельзя будет сделать.

— А насколько правдоподобна способность роботов к лжи? Мы видим, что диагностика всех андроидов проводится при помощи речи. С ними все время разговаривают, что-то спрашивают — они отвечают, и все их ответы априори считаются честными. Но андроид с таким развитым интеллектом, наверное, может и соврать?

— Вполне. Вопрос в том, что для них является целью.

Теоретическая нейробиология считает, что все наши действия сопряжены с какой-то целью. Грубо говоря, мы должны предсказывать события, совершать действия и в конце проверять, достигнута цель или нет. Если нет, то нужно модифицировать свое поведение, чтобы достигнуть поставленной цели. Лжем мы по тому же принципу. Наверное, есть патологические лжецы, которым просто нравится врать, но даже так они удовлетворяют, например, потребность в доминировании. Мне кажется, что если у андроида появится цель, то он солжет для ее достижения. Но роботов в сериале, видимо, программировали таким образом, чтобы у них не было важных целей. Андроиды здесь разговаривают с людьми, как с друзьями. Когда у них спрашивают, не лгут ли они, многие отвечают: «А зачем?»

— При этом существует какая-то кнопка, на которую можно нажать и выключить робота. Это тоже кажется немного примитивным.

— Нет, это вполне возможно. У них же есть какой-то элемент, который питает тело. Если у разработчиков есть автономный доступ к нему, а сами роботы не могут его контролировать — у их головного мозга нет обратной связи на этот элемент питания, — тогда, наверное, мы сможем их выключать. Это как раз не кажется чем-то нереалистичным.

— Какая сейчас существует общепринятая точка зрения относительно пресловутого восстания искусственного интеллекта, которой нас с детства пугают фильмы и книги? Что думают исследователи о том, может ли искусственный интеллект гипотетически выступить против человека? 

— Исследователи искусственного интеллекта об этом вообще не думают. Эта проблема кажется очень далекой. Мы нескоро сможем с этим столкнуться — может быть, и через 100 лет. Ничто не предвещает, что в ближайшие пять-десять лет мы создадим такой искусственный интеллект. Это особо не воспринимают как серьезную проблему внутри инженерного и математического научного сообщества. 

— Дальше получается, что, когда искусственный интеллект, который может быть создан через 30 или через 100 лет, появляется, перед нами открывается огромный спектр этических вопросов. Как себя с ним вести? Как искусственный интеллект должен себя вести с нами?

— Надо понимать, что не будет дня, когда мы скажем: «Опа, мы создали искусственный интеллект». Будто вчера искусственного интеллекта не было, а сегодня он появился. Это будет происходить постепенно, по мере того, как машины будут становиться все более интеллектуальными, решать все более широкий спектр задач, все лучше адаптироваться и обучаться. Сейчас, когда ничего подобного нет даже близко, очень сложно размышлять о том, как воплотить в искусственном интеллекте законы Айзека Азимова. У нас достаточно времени, чтобы подумать.

— А в чем тогда для нас — обычных людей, не вовлеченных в научное сообщество, — практическая значимость новостей о том, что искусственный интеллект научился писать стихи, играть в шахматы и рисовать картины? Что нам это все дает?

— Большинство таких фановых новостей — это побочный продукт улучшения технологий. Новость о том, что нейронная сеть научилась писать стихи, — это сигнал, что мы можем лучше анализировать тексты или синтезировать речь. Решение этой задачи применится в множестве продуктов. 

Мы в «Яндексе» используем нейронные сети для анализа изображений, текстов, видео. Ведь как происходил картиночный поиск испокон веков: вокруг картинок были какие-то тексты, и, когда мы вводили запрос, мы искали по этим текстам. Мы предполагали, что если рядом с картинкой написано, что это собака, то с большой вероятностью на картинке действительно изображена собака. Сейчас же мы анализируем контент и с уверенностью говорим, что это собака, здание или человек.

Очень популярная тема сейчас — диалоговые системы. Google выпустил приложение Allo, Amazon выпустил Echo — тоже диалоговую систему-помощника, с которой можно общаться. Ты можешь попросить ее поставить песню Луи Армстронга — она ее поставит. Можешь попросить заказать билеты в кино — она спросит, сколько билетов, на какое время, в какой кинотеатр и на какой фильм. Люди, которые не так сильно разбираются в технологиях, обычно не замечают, как эти технологии входят в нашу жизнь.

Допустим, Siri в айфоне — в ней куча компонентов. Ей нужно распознавать голос, нужно распознавать фразу, которую мы говорим, ей нужно понимать смысл, реагировать в ответ. Это тоже технологии искусственного интеллекта в широком смысле.

— У меня есть еще один вопрос, который вытекает из всего, что вы сказали. Львиная доля произведений об искусственном интеллекте строится на наших представлениях о том, что людей от развитого искусственного интеллекта отличает некий набор качеств: способность к эмпатии, способность лгать, рефлексировать. Какие-то человеческие характеристики, которые присущи только нам и которые, как часто бывает в произведениях популярной культуры, роботам несвойственны. При этом мы с вами обсудили, что у нас нет основания полагать, что, когда искусственный интеллект такого уровня появится, он не будет обладать всеми этими способностями. В сериале Долорес убивает муху, и мы сразу думаем: «Хм, она врет», значит, что-то пошло не так, наверное, она уже не совсем андроид. Но ведь, возможно, когда искусственный интеллект будет создан, этого разделения на черты человека и черты роботов просто не будет? 

— Я боюсь разочаровать вас: ответ на этот вопрос примерно такой же, как и на все остальные. Мы не знаем. С одной стороны, возможно, — по крайней мере, никем не доказано обратного — будет создан интеллект, совершенно не похожий на человеческий. Он будет иначе работать, у него будут абсолютно другие цели, он не будет обладать никакими человеческими качествами, но будет обладать качествами другими.

Точно так же вполне возможно, что интеллект, который был создан в рамках человеческого вида в процессе эволюции, — это хорошая точка притяжения для создания искусственного интеллекта. Это означает, что системы, обладающие интеллектуальными качествами, присущими человеку, будут обладать еще и присущим ему набором побочных эффектов.

Я считаю, что у искусственного интеллекта, который мы когда-нибудь создадим, будут сопутствующие качества, напоминающие наши собственные эмоции. Эмоции не совсем в том смысле, в каком их понимаем мы, но с позиции стороннего наблюдателя это будут очень похожие эффекты. Думаю, что множество вещей, которые, как нам кажется, не относятся напрямую к интеллекту, так или иначе станут подспорьем в его создании. 


изображения и видео: HBO/Amediateka