В городе Тэджон, Южная Корея, производитель вооружений спроектировал и построил пулеметную турель, которая в состоянии определять, отслеживать и отстреливать цели, теоретически, без человеческого вмешательства. Кто будет обучать этих солдат правилам войны? Корреспондент BBC побывал в гостях у южнокорейского производителя автономных роботов-убийц. Дальнейшее повествование — от первого лица.

На зеленом холме с видом на усаженный деревьями периметр Тэджона, города в центральной части Южной Кореи, установка пулеметной турели лениво обшаривает горизонт. Она размером  с большую собаку: грузная, белая и чистая. Ремень с патронами — .50 калибра, вроде тех, которыми можно прошивать грузовики — переброшен через плечо установки. Сетевой кабель выходит от основания пушки и устремляется через аккуратную траву к небольшому навесному тенту, под которым в жаркий корейский полдень можно перехватить несколько бутербродов с огурцом и чашку чая.

Брезгуя чаем, кабель скользит вверх по столу и уходит в заднюю часть компьютера, экран которого отображает цветастую коллекцию изображений с камер. Одна выводит «рыбьим глазом» 180-градусную развертку горизонта перед нами. Другая показывает несколько спутниковых снимков ландшафта, как на Google Maps, привязанная к нашей позиции.

Красный конус, наложенный на изображение, показывает диапазон обзора турели. Он протекает через пейзаж: четырехкилометровый кусок территории, которого достаточно, чтобы проникнуть вглубь города с этой благоприятной точки зрения. Рядом с клавиатурой находится сложный джойстик, который пригодился бы любителям летных симуляторов на ПК. Перед контроллером приклеен ламинированный лист, сообщающий о функциях различных кнопок. Одни нацеливают. Другие измеряют дистанцию от турели до цели. Третьи посылают патроны в магазин. Нажмите на курок и турель будет стрелять.

Вокруг стола стоит стайка инженеров, вздрагивающая, когда начинает работать динамик, установленный на массивном штативе. Квадрат цели мигает на экране компьютера, в его центре транспорт, который движется в видоискателе камеры. Ствол орудия нацеливается на красный квадрат, словно выуженный из футуристического шутера Call of Duty. Динамик, обязанный сопровождать турель во всех ее экспедициях, известен как робот акустического предупреждения. Его голос раздается в радиусе трех километров. Звук доставляется с невероятной точностью, предупреждая потенциальную цель о том, что в нее будут стрелять (по международным законам, как сказал мне один из инженеров, предупреждение должно предварять любую стрельбу). «Повернитесь, — говорит он на скоропалительном корейском языке. — Повернитесь, или мы будем стрелять».

Это «мы» имеет важное значение. Super aEgis II, южнокорейская популярнейшая автоматическая турель, не только не будет стрелять без одобрения со стороны человека. Человек-оператор должен сперва ввести пароль в компьютерную систему, чтобы активировать способность турели стрелять. Затем он должен вручную ввести вводные данные, которые позволят турели стрелять. «Изначально она проектировалась не так, — объясняет Юнгсук Парк, главный исследовательский инженер из DoDAAM, производителя турели. Парк работает в подразделении роботизированного наблюдения компании, которое расположено в техническом тэджонском районе Юшонг. В подразделении работает 150 человек, большинство из которых, как и Парк, инженеры. «Изначально мы задумывали систему автоматической стрельбы, — объясняет он. — Но все наши клиенты попросили включить системы безопасности. Технологически это не было проблемой для нас. Но они переживали, что машина может совершить ошибку».

Super aEgis II, впервые показанное в 2010 году, является одним из новейших автоматических орудий, способных идентифицировать, отслеживать и уничтожать движущуюся цель с большого расстояния, в теории, без участия человека. Машина оказалась популярной и прибыльной. DoDAAM сообщает о продаже более 30 единиц с момента выпуска, каждая из которых стала частью интегрированных защитных систем стоимостью более 40 миллионов долларов за штуку. Турель в настоящее время активно используется в многочисленных местах на Среднем Востоке, включая три авиабазы в ОАЭ (Аль-Джафра, Аль-Сафран и Аль-Минад), Королевский дворец в Абу-Даби, оружейню в Катаре и множество других аэропортов, электростанций, трубопроводов и военных авиабаз по всему миру.

Последние 15 лет мир наблюдал согласованное развитие как подобного автоматизированного оружия, так и беспилотных летательных аппаратов. Американские военные используют таких полуавтономных роботов для обезвреживания бомб и наблюдения. В 2000 году Конгресс США постановил, что треть военного наземного транспорта и самолетов глубокого поражения должны быть заменены роботизированным транспортом. Спустя шесть лет сотни роботов PackBot Tactical Mobile Robots прошли крещение Ираком и Афганистаном, открывая двери в городских сражениях, прокладывая оптоволокно, обезвреживая бомбы и выполняя другие, опасные для людей задачи без помощи извне.

«Собственные ограничения»

Еще в 2005 году New York Times сообщил о планах Пентагона заменить солдат автономными роботами. Легко понять почему. Роботы снижают необходимость использования солдат в бою, тем самым спасая жизни этих солдат, матросов и летчиков. Какой родитель отправит своего ребенка в военную зону, если робот может пойти вместо него? Но хотя такие устройства, как Super aEgis II, способные убивать автономно, существуют больше десяти лет, насколько известно общественности, полностью автономных оружейных роботов пока не было в активном использовании.

Первый закон робототехники, который вывел писатель-фантаст Айзек Азимов и который утверждает, что робот «не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред», в скором времени может быть нарушен. Призыв Комитета по человеческим правам запретить «разработку, производство и использование полностью автономного оружия» кажется вообще нелепым. Такие машины уже существуют и продаются на рынке — хотя и с «собственными ограничениями», как это обозвал Парк из DoDAAM.

«Когда мы затевали этот бизнес, мы видели возможность, — говорит Янгчан Сонг, управляющий директор стратегического планирования DoDAAM, пока мы сидим в прохладном конференц-зале. — За автоматизированным оружием будущее. Мы были правы. Эволюция были быстрой. Мы уже отошли от боевых устройств с дистанционным управлением, поэтому сейчас работаем вот над чем: умные устройства, которые могут принимать самостоятельные решения».

Южная Корея стала лидером в области военных роботов, поскольку страна граничит со своим заклятым врагом, как говорит генеральный директор DoDAAM, Мен Хван Чанг (дородный человек, который бродит по своей фабрике с прекрасным голубоглазым хаски, которого, как меня предупредили, я не должен был трогать никогда). «Надо — это мать изобретений, — говорит он. — Мы живем в уникальной ситуации. Рядом с нами мощный и вездесущий враг. Из-за постоянной угрозы у нас есть традиция разрабатывать мощные военные и инновационные технологии в своей стране. Наше оружие не должно спать, как люди. Оно должно видеть в темноте, чего люди не умеют. Наши технологии должны закрыть бреши в возможностях людей».

В пределах демилитаризованной зоны, тонкой полоски ничейной земли, отделяющей демократическую Южную Корею от Северной во главе с диктатором, DoDAAM и ее конкурент Samsung, который тоже спроектировал (ныне прекратившую свое существование) автоматическую турель, проводила испытания Super aEgis II. ДМЗ — идеальное место для такого оружия. Эта зона разделяет две Кореи с конца официальных переговоров в 1953; поскольку страны никогда не подписывали соглашение о прекращении огня, ДМЗ скрупулезно охраняют тысячи солдат с каждой стороны. Турели не только никогда не спят и должны видеть в темноте (благодаря тепловизорам), но и будучи направленными в нужную точку, они должны определять движущиеся цели как вражеские. Это может быть сложно, когда свои смешиваются с чужими. В настоящее время никакое оружие не может отличить своих от чужих.

Сонг сидит за широким столом в окружении пяти молодых инженеров, большинство из которых учились в колледжах Лиги Плюща в Америке, прежде чем вернуться к работе в прибыльной сфере оружия Южной Кореи. «Следующим шагом для нас станет точка, когда наше программное обеспечение может различать друзей, врагов, гражданских и военных, — объясняет он. — Сейчас люди должны определять, является цель противником или нет». Парк и другие инженеры утверждают, что почти достигли этой цели. Super aEgis II способен искать потенциальные цели в области. (Оператор может даже очертить виртуальный периметр, в пределах которого на движущегося противника будет наставляться пушка). Затем, благодаря многочисленным камерам, по словам Парка, ПО орудия может определять, есть ли у потенциальной цели взрывчатка под одеждой. «Через десять лет, думаю, мы сможем компьютерным путем определять тип противника по униформе», — говорит он.

После того как оружие научится отличать друга от врага и автоматически открывать огонь по последнему, это ознаменует короткий шаг к полной автоматизации. И как только оружие научится определять, когда и когда убивать, фантастика «Робокопа» станет реальностью. Немецкий философ Томас Метцингер утверждал, что перспектива увеличения количества страдания в мире настолько ужасна морально, что мы должны прекратить создание роботов с искусственным интеллектом немедленно. Но финансовые выгоды для компаний, которые строят такие механизмы, делают идеи Метцингера совершенно устаревшими. Роботы не просто идут к нам — они уже пришли. Вопрос в том, чему мы будем их учить.

Сложные правила

Проблема вагонетки Филиппы Фут, впервые определенная в 1967 году, известна всем, кто хоть немного обучался этике. Она предположила следующий сценарий: беглая вагонетка приближается к стрелке железнодорожных путей. Если она продолжит движение, умрет пять работников. Если пустить ее по другому пути, умрет только один. Что вы будете делать, оператор? На этот этический вопрос скоро придется отвечать не нам, а нашим машинам. Самоуправляемый автомобиль может принять решение, врезаться в машину впереди, тем самым подвергая опасности едущих в ней людей, либо же свернуть на обочину, подвергнув опасности собственного пассажира. (Разработка автомобилей Google частично была вдохновлена дизайнером Себастьяном Труном, который потерял кого-то в автокатастрофе. Говорят, это привело к появлению у него морального императива создавать самоуправляемые автомобили, которые будут спасать жизни людей.

Точно так же полностью автономная версия беспилотного «Хищника», возможно, будет решать, стрелять или не стрелять по дому, в котором находятся как вражеские солдаты, так и гражданские. Как вам, инженеру программного обеспечения, создать набор правил поведения для таких устройств в таких сценариях? Возможно ли запрограммировать устройство на самостоятельное принятие решений? Для многих простым решением будет обойти эти вопросы — отдать принятия решения, которое нанесет вред человеку, оператору. По этой причине договором в Оттаве в 1997 году были запрещены мины. По большей части это автономное оружие, которое может взорвать любого, кто на него вступит.

В этом контексте предоставление прав управления человеку полностью убивает весь смысл. Кажется очевидным, например, что пилоты должны иметь полный контроль над системой автопилота самолета. Но катастрофа Germanwings 2015 года, когда второй пилот Андреас Любиц намеренно врезал самолет во французские Альпы, убив всех 150 пассажиров, усложняет дело. Может быть, в самом деле, не позволять пилоту брать на себя управление компьютером — по крайней мере если он хочет пустить самолет в горы?

«Есть несколько подходов в попытке разработать этические машины и множество проблем, — объясняет Гэри Маркус, когнитивный ученый Нью-Йоркского университета и главный исполнительный директор и основатель Geometric Intelligence. — Мы можем пытаться запрограммировать все заранее, но это не тривиально — как, к примеру, внушить программе понятия вроде «справедливости» или «вреда»?». Существует еще один аспект проблемы, кроме неоднозначных определений. К примеру, любой набор правил, выданных автоматизированному солдату, будет либо слишком абстрактным, чтобы быть правильно вычисляемым, либо слишком конкретным, чтобы охватить все ситуации.

Некоторые считают, что ответ лежит в имитации того, как люди выстраивают этические рамки, с обучением реагировать на разные моральные правила, выбирая те, которые наиболее подходят к месту.

«Мы приобретаем интуитивное чувство того, что это этически приемлемо, когда наблюдаем, как другие ведут себя и реагируют на ситуации, — говорит Колин Аллен, профессор когнитивных наук и философии наук Университета Индиады. — Другими словами, мы учимся тому, что приемлемо, а что нет, говоря языком этики, у других — не без опасности выучить плохое поведение, репрезентующее плохое ролевое поведение. Даже если у машин будут похожие способности к обучению или же им придется действовать в жестко ограниченных рамках, будут оставаться подводные камни».

В DoDAAM у Парка есть вроде бы разумный компромисс. «Когда мы достигнем точки, в которой у нас есть турель, которая может принимать автономные решения самостоятельно, мы гарантируем, что ИИ будет придерживаться армейского свода правил. Мы будем следовать этим прескрипциям и включать эти правила в наши системы».

«Замороженные значения»

Однако Аллену этот план кажется хлипким. «Google признает, что одна из сложнейших проблем для их программирования — это то, как автоматизированный автомобиль должен вести себя в случае знака «стоп» по четырем направлениям, — объясняет он. — В таком сценарии должен стоять вопрос обращения к местным нормам, нежели следования заранее заложенному коду — без строгого выполнения человеческого указа». В хаотических условиях бойни робот должен думать самостоятельно. Есть опасность «заморозить» наши значения, как военные, так и гражданские, в аппаратном обеспечении. «Представьте если бы отцы-основатели США заморозили свои значения на разрешение рабства, ограничение свободы женщин и так далее, — говорит Маркус. — Вероятнее всего, нам нужна машина с уверенной базой самообучения, которая, возможно, превосходит наши способности рассуждать морально».

Для Андерса Сандберга, старшего научного сотрудника Школы Оксфорд-Мартин Института будущего человечества, потенциальные выгоды предложения машин выстраивать собственные этические рамки приходят параллельно со значительными рисками. «По-настоящему самообучающаяся система может узнать различные значения и теории, по которым будет выполнять действия, и если отразит их на себе, то может стать настоящим нравственным агентом в философском смысле. — говорит он. — Проблема в том, что она может получить некие безумные или чуждые нам значения, даже если начнет с общего диапазона взглядов людей».

А часики тикают. Компании вроде DoDAAM продолжают выходить на новый уровень в своей области еще до того, как наш вид найдет адекватные ответы на ее вопросы, которые возникают по роду деятельности. «Мы должны инвестировать в выяснение того, как урегулировать программное обеспечение, как вообще форсировать это урегулирование, как проверить программное обеспечение, — призывает Маркус. — Мы должны также инвестировать в выяснение того, как включить этические рассуждения в машины. Все это непросто, все это станет критически важным в ближайшие десятки лет».

Аллен считает, что время еще есть. «У нас есть возможность обдумать последствия и возможные пути их решения, пока технология находится в разработке, — говорит он. — Я хотел бы увидеть объединенные комитеты бизнесменов, политиков и граждан, которые наблюдают и оценивают разработку машин, которые могут работать без надзора людей в публичных местах, на дорогах и в небе. Такие панели должны наблюдать за развитием этой области, так же как человеческие комитеты наблюдают за делами людей».

Сандберг соглашается, хотя считает, что мы далеки от действенных ответов, которые могут быть приведены в какое-либо урегулирование. «Срочно нужно больше исследований, — говорит он. — Серьезные исследования машинной этики и безопасности ИИ — это исключительно новое поле. Первые идеи появились в конце 90-х, спустя десятки лет после того, как появились институты ИИ. Мы находим новые сюрпризы постоянно: нестабильность очевидных методов создания этических машин и глубокие философские проблемы вытекают из простейших, казалось бы, инженерных проблем». Сандберг считает, что ключ лежит в междисциплинарной работе философов, инженеров, социологов и даже экономистов. «Теории недостаточно, — говорит он. — Мы должны объединяться с людьми, проектировать и развертывать эти системы».

На фабрике DoDAAM в Тэджоне у инженеров нет четких ответов на вопросы, которые так быстро всплыли по роду их деятельности. «Человеческая жизнь превыше всего, поэтому мы и включили системы безопасности в свою турель», — говорит Сонг. Но для Парка и других инженеров, это состояние — временное. Их цель — сделать продукт «умнее», сосредоточившись на «увеличении автономной функциональности орудия», представить «определение целей» и «создать сетевую систему турелей», в которой одна турель будет связываться с другой, покрывая огромные расстояния.

Независимо от того, что будет возможно в будущем, автоматические машины, которые могут определять, отслеживать, предупреждать и уничтожать цели среди людей, не нуждаясь в руке помощи людей, уже существуют в нашем мире. Без четких международных определений, единственное, что сдерживает производителей оружия от продажи таких машин, это здравый смысл, причем со стороны клиентов скорее, а не робота или инженеров. «Если кто-то придет к нам, желая получить турель без включенных систем безопасности, мы, конечно, посоветуем его их включить и опишем потенциальные проблемы, — говорит Парк. — Но за ними останется окончательное решение. И мы изготовим турель по желанию клиента».