Моделируем чрезвычайную ситуацию.
2034 год. Пьяный пешеход идёт ночью по тротуару. И неожиданно падает прямо перед пустым (без пассажиров) робомобилем (автомобилем без водителя), который его сбивает насмерть. Если бы за рулём сидел человек, то, после всестороннего расследования, водителя скорее всего оправдали бы, посчитав это происшествие несчастным случаем. Потому что в данной ситуации пешеход был явно виновен. И в такой ситуации даже самый опытный водитель вряд ли успел бы избежать столкновения. Но в 2020-х водитель (человек) уже «исчез как класс». А безопасное вождение обеспечивается самими робомобилями.
Логично, что семья погибшего предъявит иск производителю робомобиля, утверждая, что, несмотря на то, что у робомобиля не было времени, чтобы затормозить, он, возможно, мог бы объехать пешехода, пересекая двойную желтую полосу (нарушая правила дорожного движения). При этом манёвре, он бы врезался в пустой робомобиль, стоящий на противоположной стороне дороги. Реконструкция столкновения робомобиля с пьяным прохожим (зафиксированная авторегистратором) подтверждает это. Поверенный истца, спрашивает ведущего разработчика программного обеспечения робомобиля: «Почему робомобиль не сделал попытку объехать пешехода»?
Сегодня суд иногда не спрашивает, почему водитель в критический момент перед катастрофой поступил именно так. Относительно ответственности водителя вопрос спорный: испуганный водитель не всегда может осознать ситуацию, а повинуется инстинкту. Но когда автомобилем управляет робот, вопрос «Почему?» становится актуальным. Человеческие этические нормы, (которые ещё недостаточно хорошо прописаны в юридических законах), рассматривают ситуации, о которых инженеры еще не думали. Самое важное в этих этических нормах то, что законопослушный и этичный человек сможет определить, когда можно игнорировать букву закона, чтобы соблюсти дух закона. То, что должны теперь сделать инженеры – преподать элементы этики самоуправляющимся автомобилям и другим самоуправляющимся машинам. То есть – роботам.
Компьютеризация вождения началась ещё до 1970-х годов введением в эксплуатацию электронных антиблокировочных тормозных систем. Теперь автомобильный компьютер выполняет вместо водителя всё больше функций, таких как контроль скорости, аварийное торможение. И таких функций каждый год становится всё больше. Испытания полностью автоматизированных автомобилей (при условии, что водитель в нём остается) разрешены в США и других странах. Ожидается, что в течение ближайших 5-10 лет начнётся эксплуатация робомобилей без подстраховки водителями.
Автоматизированные транспортные средства получают информацию об окружающей обстановке при помощи множества датчиков, таких как видеокамеры, ультразвуковые датчики, радары, лазерные локаторы. При тестировании робомобилей в штате Калифорния, Департамент автомобилей требует, чтобы в случае любого столкновения робомобиля с чем либо, были представлены данные со всех датчиков робомобиля в течение 30 секунд до столкновения. Это необходимо для того, чтобы разработчики робомобиля получили возможность восстановить события до столкновения с высокой точностью, понять, что робомобиль «ощущал», какие рассматривал альтернативные варианты действий. И понять логику принятого решения. Это может помочь приблизить автоматизированные механизмы к «сверхчеловеческим» стандартам безопасности и подвергать их интенсивному исследованию после неизбежных (хотя и редких) катастрофических отказов.
Производителям и разработчикам программного обеспечения робомобилей придётся защитить их действия. Ведь управление автомобилем всегда включает риски. И решение, как распределить эти риски между водителями, пешеходами, велосипедистами. У которого обязательно этический компонент. Как для инженеров, так и для широкой публики важно, чтобы система принятия решений робомобилем взвешивала этические последствия своих действий. Распространенный ответ на нравственно неоднозначную ситуацию водитель должен следовать этическому закону: минимизировать трагические последствия. Эта стратегия привлекательна, потому что она не только позволяет без большого усилия оправдывать разработчику действия своего робомобиля («Мы действовали в полном соответствии с законом»). Она также перекладывает ответственность определения «этического поведения» робомобиля на законодателей.
К сожалению, в законах дорожного движения этические вопросы не прописаны. Например, в большинстве государств, закон полагается на здравый смысл водителя. И водитель мало что может рассказать о своих действиях непосредственно (за доли секунды) перед катастрофой. В примере, рассмотренном выше, робомобиль, запрограммированный, чтобы следовать букве закона дорожного движения, отказывается пересекать двойную желтую линию. Даже при том, что он рискует переехать пьяного пешехода. И, даже при том, что на другой стороны дороги есть только робомобиль, который, как известно, пуст. В данном случае, перед разработчиками программного обеспечения не стояла задача научить алгоритм решать, когда из этических соображений нужно пересечь двойную желтую линию.
Редко, когда робомобиль будет абсолютно уверен, что пересечение двойной желтой линии будет безопасным. Вместо этого он оценит уровень уверенности, например, в 98 процентах или 99.99 процентах. Инженеры должны будут заранее решить, какой должен быть уровень доверия пересечения двойной желтой линии. И как порог уровня доверия может изменяться в зависимости от того, столкновения с чем автомобиль пытается избежать. Является ли этот объект полиэтиленовым пакетом или упавшим пешеходом.
В патенте 2014 года компания Google описывает, как роботизированное транспортное средство может минимизировать свою «рискозависимость». Компания приводит пример автоматизированного автомобиля, едущего по трёхполосной дороге. Справа движется большой грузовик, а слева – маленький автомобиль. Чтобы улучшить свою безопасность, автоматизированный автомобиль сместился бы от осевой линии своей полосы ближе к маленькому автомобилю (и подальше от большого грузовика). Это кажется разумным. И, вероятно, большинство водителей так и поступают: или сознательно или подсознательно. Срабатывает инстинкт самосохранения. Однако такое поведение вызывает этические вопросы. Перемещаясь к автомобилю меньшего размера, автоматизированный автомобиль уменьшает полный риск, но незаконно его распределяет. Маленькому автомобилю придется взять на себя больше риска лишь потому, что он маленький? Если бы эта проблема включила привычки только одного водителя, то она не имела бы особого значения. Но если такое перераспределение риска будет выполняться всеми автомобили без водителя, то могут быть существенные неприятные последствия.
В каждом из рассматриваемых примеров компьютер робомобиля принимает решение о нескольких ценностях: ценность объекта, который он мог бы повредить, а также «ценность» человека. В отличие от людей, которые принимают такие решения инстинктивно, автоматизированное транспортное средство сделало бы выбор в результатe следования тщательно запланированной стратегии управления рисками. Стратегия определяет риск как величину неудачи (связанной с событием, которого боятся), умноженной на вероятность события. Google также запатентовал применение этого способа управления рисками. В данном патенте компания описывает транспортное средство, которое может перестроиться на другую полосу, чтобы лучше «видеть» светофор. Или транспортное средство может остаться на своей полосе, где меньший риск аварии. Каждому потенциальному результату назначается вероятность, а также положительная или отрицательная величина (преимущество, или затраты). Величина каждого события умножается на его вероятность, и полученные «ценности» суммируются. Транспортное средство выполнит то действие, у которого сумма «ценностей» максимальная. Проблема этого подхода в том, что трудно собрать необходимые данные. Риск серьёзной аварии достаточно мал. В США типичный водитель попадает в аварию с жертвами один раз на 257,000 километров пробега, или один раз в 12 лет. Поэтому, пройдёт много времени, пока будут известны вероятности катастрофы для каждого из многих возможных сценариев.
А назначение величины ущерба еще более трудно. Затраты имущественного ущерба достаточно просто оценить (в отрасли страхования есть много опыта). Но «ущерб» при смертельном случае является другой сущностью. Как оценить стоимость человеческой жизни? Её можно оценить, как сумма денег, которой можно было бы оправдать расходы, чтобы предотвратить статистический несчастный случай. Меры по повышению безопасности, которые имеют 1-процентную возможность спасения жизни для 100 человек, представляют один статистический несчастный случай. Министерство транспорта США рекомендует тратить 9.1 миллионов долларов США, чтобы предотвратить статистический несчастный случай.
Все это кажется очень привлекательным. Но такая оценка риска не захватывает большую часть соображений этического характера. Например, автоматизированное транспортное средство, которое рассматривает каждую человеческую жизнь одинаково, должно будет дать больше пространства на дороге мотоциклисту, едущему без шлема, чем другому мотоциклисту, носящему полный защитный комплект. Потому, что большая вероятность того, что не полностью защищенный мотоциклист переживёт катастрофу. С точки зрения этики это кажется несправедливым: почему более сознательный мотоциклист должен быть наказан за его сознательность?
Другое различие между этикой робота и человека в том, что этика робота может быть «деформирована» программистом, у которого были только лучшие побуждения. Предположим, что алгоритм, управляющий автомобилем без водителя, скорректировал размер буферного пространства, которое он присваивает пешеходам в различных ситуациях. Несмотря на то, что это – совершенно разумный, полный благих намерений и эффективный способ управлять поведением робомобиля, он может привести к плохим результатам. Например, программист решил, что нужно обеспечивать пешеходам большее буферное пространство в богатых кварталах и меньшее – в бедных кварталах.
Здесь рассматриваются только некоторые гипотетические ситуации, в которых робомобиль должен принять решение, между двумя или больше плохими результатами. Самой известной ситуацией является так называемая «проблема вагонетки». Движущаяся вагонетка может задавить ничего не подозревающих детей, идущих по дорожному полотну (нарушающих правила безопасности на железной дороге). Единственный способ остановить вагонетку – сбросить с моста на рельсы тяжёлого человека. Приносится в жертву одна жизнь, чтобы спасти многие жизни. С точки зрения робота – это нормально. А с точки зрения человеческой этики? Многие ли люди смогли бы так поступить?
По таким мысленным экспериментам есть много литературы. И они позволяют провести стресс-тест простых систем этики и найти области, где необходимо учитывать больше нюансов ситуации. Предположим, что робомобиль запрограммирован так, чтобы любой ценой избежать наезда на пешехода. Если пешеход внезапно появится в туннеле с двумя полосами движения и робомобиль не может своевременно остановиться, он будет вынужден выехать на встречную полосу, даже навстречу автобусу, загруженного пассажирами. При выезде на встречную полосу жертв может быть больше, чем один человек. Водитель инстинктивно этого делать бы не стал. И суд бы оправдал его действия.
Всё же хочется верить, что вопросы этики, возникающие при автоматизации дорожного движения, будут решены. Потому что в других областях человеческой деятельности приходится разумным способом выбирать между плохим и очень плохим исходом.