В вопросах и рассуждениях о будущем искусственного интеллекта есть две основные противоборствующие стороны. В одном углу находятся такие компании, как Google, Facebook, Amazon и Microsoft, «агрессивно» инвестирующие в развитие технологий, чтобы сделать ИИ-системы умнее, в другом — такие выдающиеся мыслители нашего времени, как Элон Маск и Стивен Хокинг, которые считают, что развитие ИИ сродни «заклинанию по вызову демона».

Одна из самых передовых компаний по разработке ИИ, DeepMind, принадлежащая Google, создала меры безопасности на случай, если человеку потребуется «перехватить управление роботом, чей сбой может привести к непоправимым последствиям». Можно предположить, что речь идет о… «убить всех человеков». Конечно же, в реальности принятая мера не является намеком на возможный апокалипсис, речь идет скорее о мерах безопасности, связанных с умными роботами, которые трудятся и будут трудиться в будущем на различных фабриках и заводах.

Опубликованный документ с предписаниями является совместной работой DeepMind и оксфордского Института будущего человечества, который, как становится ясным из названия, занимается вопросами, которые позволят этому самому человечеству в будущее все-таки попасть. Директор-учредитель института Ник Бостром не одно десятилетние очень ярко высказывался о возможных опасностях развития искусственного интеллекта и написал по этому поводу не одну книгу, в которых обсуждал последствия создания суперумных роботов.

В руководстве, о котором мы говорим сегодня и получившем название «Безопасно отключаемые агенты», исследуется вопрос того, как отключить ИИ, если он начнет делать то, что человеческий оператор совсем не хочет, чтобы это делалось. Работа состоит из различных вычислений и формул, которые, скорее всего, не поймут 99 процентов из нас. Поэтому, если говорить проще, речь идет о «красной кнопке», способной отключить ИИ.

Можете смеяться и удивляться, но пионеры робототехники и ИИ смотрят те же самые научно-фантастические фильмы, что и мы. Те, в которых роботы однажды понимают, как игнорировать команду выключения. Так вот теперь мы к этому будем готовы. Опубликованный документ описывает способы и пути решения, которые позволят убедиться в том, что «обучаемый агент» (читай ИИ) не сможет научиться игнорировать или предотвращать воздействие внешней среды или человека-оператора.

Это может показаться излишним, особенно если учесть, что наиболее продвинутый ИИ сейчас действительно хорош разве что в настольных играх. Однако Бостром считает, что до того момента, как мы начнем создавать ИИ уровня человеческого мозга, необходимо принять соответствующие меры:

«Как только искусственный интеллект достигнет уровня человека, во многих сферах ожидается резкий скачек в развитии. Кроме того, вскоре после этого сами ИИ будут создавать новые ИИ. Только оцените эти перспективы и в то же время возможные опасности. Поэтому лучше перебдеть, чем недобдеть».