Обучение искусственного интеллекта с использованием метода проб и ошибок, когда компьютеру «скармливаются» записи огромного количества уже отыгранных партий, на основе которых он оттачивает свое мастерство, доказало, что машина способна превзойти человека в таких классических настольных играх, как шахматы и логическая игра го. Из наиболее свежих примеров можно считать недавнюю сокрушительную победу компьютера над человеком в стратегической компьютерной игре StarCraft II, где машину обучали по тому же принципу. Однако другая группа специалистов в области ИИ показала, что данный метод обучения можно использовать и для более практических задач, например, для тренировки роботизированных протезов.

Метод машинного обучения с подкреплением (reinforcement learning), при котором испытуемая система обучается, взаимодействуя с некоторой средой, показал многообещающие результаты в ходе небольшого эксперимента с участием пары добровольцев – одним полностью здоровым человеком и одним с ампутированной выше колена ногой.

При использовании традиционных методов техникам обычно требуется несколько часов для того, чтобы правильно настроить роботизированный протез, вручную отрегулировав каждое искусственное сочленение и подстроив его под определенный стиль ходьбы к которому привык человек. Эксперимент специалистов из Университета штата Северная Каролина показал, что метод машинного обучения с подкреплением позволяет делать это гораздо быстрее – уже через 10 минут после полностью автоматической настройки человек может плавно ходить.

«До реального применения этой технологии еще очень и очень далеко. Мы лишь показали, что это возможно. Результат нас восхитил», — комментирует Хелен Хуанг, профессор биоинженерии из Университета штата Северная Каролина.

Хуанг с коллегами опубликовали свои выводы в журнале IEEE Transactions on Cybernetics. Результаты их работы могут стать важным первым шагом в направлении автоматизации типичных процессов ручной настройки роботизированных конечностей, которая как правило занимает довольно много времени и требует от пациентов посещения специалистов всякий раз, когда протезы требуют регулировки. В перспективе все эти настройки люди смогут выполнять дома самостоятельно, не прибегая к помощи техников.

Сама настройка роботизированного протеза представляет собой комплексный процесс подгонки различных параметров, определяющих уровни взаимодействия между конечность и протезом требуемых при выполнении тех или иных задач. Например, некоторые параметры определяют уровень жесткости роботизированного коленного сочленения или диапазон отклонений, допустимых при качении ноги вперед и назад. В обсуждаемом случае колено роботизированного протеза требовало настройки 12 различных параметров. При стандартном подходе конечный результат как правило получался далек от идеального, но тем не менее был вполне пригоден для того, чтобы человек мог вставать на протез и совершить простые движения.

Тренировка роботизированной конечности – это очень сложный процесс коадаптации. Протез в буквальном смысле должен научиться работать в паре с человеческим мозгом, управляющим взаимным приспособлением органов в целом организме. При этом, учить ходить нужно не только сам протез, но и человека. Как правило первые результаты выглядят довольно неуклюже – недалеко от примеров с лыжами или коньками, на которые человек впервые встал.

«Наше тело может довольно странно реагировать на посторонние объекты, имитирующие его продолжение. В некотором смысле наш компьютерный алгоритм машинного обучения с подкреплением учится взаимодействию с телом человека», — говорит соавтор опубликованного исследования Дженни Си, профессор электронной, компьютерной инженерии и энергетики из Государственного университета Аризона.

Задача по обучению роботизированных протезов усложняется еще и весьма ограниченным набором доступных для обучения алгоритма данных. Например, для обучения своих алгоритмов AlphaZero и AlphaStar для игры в шахматы, го и StarCraft II компания DeepMind использовала записи миллионов уже сыгранных партий этих игр. В свою очередь человек с ампутированной конечностью для сбора нужных данных для обучения алгоритма не сможет ходить очень продолжительное количество времени. Например, те, кто посетил лабораторию Хуанг могли ходить без остановки только 15-20 минут, после чего им требовался небольшой отдых.

Но это далеко не все сложности и ограничения, не позволяющие охватить весь спектр обучающей информации, отмечают исследователи. Например, даже между Си и Хуанг перед началом своего проекта возник некоторый спор на тему того, можно ли разрешать добровольцам, участвующим в эксперименте, падать, чтобы алгоритм смог обучиться и этой информации. В итоге от этой идеи решили отказаться, списав на безопасность добровольцев.

И все-таки, даже не смотря на все эти сложности первые результаты впечатлили. Исследователи обучили алгоритм определять конкретные закономерности в данных, собираемых сенсорами, установленными в роботизированном колене. Это в свою очередь позволило установить порог функциональности роботизированного протеза, что позволило избежать нежелательных ситуаций, которые могли бы привести к падению. В конечном итоге алгоритм обучился опираться на определенный шаблон действий, что позволило добиться стабильности, плавности и большей естественности в движении роботизированной конечности.

Автоматизированный подход обучения роботизированных конечностей пока еще очень далек от массового применения. Сейчас ученые хотят обучить алгоритм плавному управлению протезом при вставании, подъеме (например, со стула) и спуске (например, по лестнице). Кроме того, стоит задача сделать систему более автономной, что позволит проводить тренировку и настройку протезов не только в лабораторных условиях.

Одной из сложнейших и в то же время важнейших задач, по мнению исследователей, является разработка метода «общения» алгоритма и человека, чтобы последний мог говорить ему, какая из выбранных настроек протеза наиболее удобна. Ранние попытки решить эту задачу через обычные кнопки и другие простые методы ввода информации оказались малоэффективны. Возможно, отчасти потому, что такой вариант интерфейса «компьютер-машина» не позволяет передать всю полноту картины восприятия координации человеком.

«Этот метод не сработал потому, что мы не до конца понимаем все особенности человеческого организма. Прежде всего требуется заполнить некоторые пробелы в фундаментальных знаниях о психологии и физиологии», — подытоживает Хуанг.