Роботы, как и автономные системы в целом, могут вызывать беспокойство и неуверенность, особенно когда их использование в повседневной жизни становится возможным. Чтобы уменьшить уровень беспокойства, нам нужно слегка сместить фокус с тех вещей, которые делают роботы, на то, чем они являются. В некотором смысле они могут быть более надежными, чем люди.

Нравится вам это или нет, автономные системы уже здесь и останутся здесь. Под автономностью мы имеем в виду способность системы принимать собственные решения о том, что делать и когда делать. До сих пор большая часть примеров — роботы-пылесосы, автопилот самолета и другие мелочи, просты и не особо автономны. Эти системы адаптируются к окружающей среде, автоматически отвечая на изменения в ней. Они запрограммированы адаптироваться к окружающей среде.

Но старые как мир истории научной фантастики говорят нам о том, что будет дальше. Нас беспокоит то, что произойдет, когда пилот-человек, водитель или оператор будет заменен программным обеспечением, которое самостоятельно решает, что делать.

Во время воздушного перелета система автопилота может удерживать самолет на определенной траектории, но пилот решает, какой путь выбрать, когда это сделать и что делать в чрезвычайной ситуации. Подобным образом круиз-контроль позволяет нашим автомобилям выполнять определенные действия самостоятельно, хотя именно водители принимают важные решения.

Но когда мы перейдем к настоящим автономным системам, программное обеспечение будет играть гораздо большую роль. Нам больше не понадобится человек для изменения маршрута самолета или сворачивания автомобиля на обочину.

Именно в этот момент люди начинают беспокоиться. Если машина действительно сможет принимать собственные решения, откуда нам знать, что это безопасно? Посмотрев пару «Терминаторов», мы задаемся вопросами, как можно доверять машинам? Для многих идея посадки в самолет, который летит сам по себе, уже кажется безумной, не говоря уж о том, чтобы позволить роботу отвезти себя по всем этим дорогам с безумцами за рулем.

Похоже на то, что мы находимся на развилке. Либо мы слепо доверяем этим машинам, либо мы от них отказываемся. Но возможен и 3 вариант.

Когда мы имеем дело с другим человеком, мы не можем быть уверены в том, какое решение он примет, но мы можем предполагать в зависимости от того, что думаем о нем. Мы считаем, сколько раз человек лгал нам в прошлом, и записываем все его ошибки. Но мы не можем быть уверены наверняка, что этот человек еще раз обманет нас.

Наши автономные системы, с другой стороны, контролируются программным обеспечением, поэтому если мы можем изолировать все решения программного обеспечения на высоком уровне — те, которые должен принимать человек, — мы сможем детально проанализировать работу этих программ. С человеческим мозгом такое не пройдет.

Популярное направление исследований в информатике сегодня обеспокоено глубоким анализом программного обеспечения, а также приведение логических доказательств, что программное обеспечение всегда соответствует формальным требованиям. Этот подход, который называется формальной верификацией, особенно полезен для анализа и оценке критического программного обеспечения, которое влияет на безопасность людей, например системы энерго-, жизне- и транспортного обеспечения. Изолировав ПО, принимающего важные решения внутри автономной системы, мы можем проанализировать его работу с помощью формальной верификации.

В некоторых случаях мы можем доказать, что программное обеспечение никогда не примет плохое решение.

Процесс принятия решений — центральный при создании робота, которому можно доверять. Все это приводит к тому, что хотя несчастные случаи все еще могут произойти, мы можем убедиться, что система всегда старается их избежать. Этого недостаточно, но это решит некоторые из проблем старой научной фантастики.

Хотя мы не можем сказать, что робот никогда не причинит кому-нибудь вреда случайно, формальная верификация надежно докажет, что робот никогда не причинит вред намеренно. Зачастую, при оценке программного обеспечения и его работы, мы оцениваем не только то, что будет делать ПО, но и почему. Если люди будут уверены в том, что система не попытается причинить вред, вероятнее всего, они станут доверять таким системам немного больше. Вопрос не только в попытке причинить вред, но и в попытке избежать его нанесения.

И тут в дело вступают философские вопросы. Мы могли бы попытаться доказать, что робот никогда не навредит человеку сознательно. Но что делать медицинским и полицейским роботам? 1 может попытаться реанимировать кого-то, сделав искусственный массаж сердца. Но это может причинить человеку вред.

Полицейский робот отвечает за защиту населения, но что делать, если преступник стреляет в кого-то из ружья? Может ли робот причинить вред преступнику, чтобы предотвратить большую опасность?

Чтобы создать правильные алгоритмы поведения, придется выяснить, что такое приемлемое для роботов поведение, а что такое робототехническая этика. Интересно, не этими ли вопросами будет заниматься совет по этике Google?