Комната «дополненной реальности» демонстрирует, как роботы думают.
У большинства из нас нет абсолютно никаких предположений, как роботы думают. У кого-то, кто строит и программирует робот, действительно есть некоторое понятие, того, как робот действует в той или иной ситуации. Это понятие основано на том, что управляющая компьютерная программа робота анализирует поступающие сигналы с датчиков и отдаёт команды исполнительным механизмам робота. Однако, датчиков становится всё больше, программное обеспечение – всё сложнее. И наступает момент, когда уже сами робототехники перестают понимать, что реально происходит в “мозге” робота. Массачутский институт технологии (MIT) пытается решить эту проблему. Для этого исследователи из института используют «дополненную реальность». Попробуем разобраться, что это такое.

В эксперименте исследователи использовали свою навигационную систему. Роботы должны были пробраться через виртуальный город. А на их пути возникали препятствия в виде пешеходов. Роботы должны были обнаружить пешеходов и затем вычислить оптимальный маршрут, чтобы избежать столкновения с ними. Поскольку роботы справились с этой задачей, а специальная система визуализации показала их “мысли” на ”полу” комнаты «дополненной реальности», и исследователи смогли увидеть “мысли” в режиме реального времени. “Мысли” состояли из цветных линий и точек: представления препятствий, возможных путей и оптимального маршрута, которые постоянно изменялись по мере того, как роботы, и пешеходы двигались.

Зачем читать мысли робота? Исследователи считают, что это может помочь проследить каждое решение, которое робот принимает и цепочку кода, соответствующую этому решению. Идея здесь состоит в том, что, если видеть в режиме реального времени, когда и как робот решает выполнить действия, которые он делает, то будет проще отладить робота и научить его выполнять действия, которые реально имеют смысл.
С другой стороны, эту комнату с большим полом, на который проецируются изображение города, можно использовать, для тестирования систем машинного видения.

Вот что говорится в пресс-релизе.
В дополнение к визуализации “мыслей” роботов исследователи могут также спроецировать пейзажи, чтобы смоделировать окружающую среду. В испытательных сценариях группа управляла настоящим квадрокоптером над спроецированным лесом (см. видео) и моделировали представления квадрокоптера о том, как будто он летит над верхушками деревьев.

Исследователи спроецировали огонь в различных частях лесного пейзажа и направили квадрокопер, чтобы он сфотографировал изображения ландшафта. Эти изображения могут помочь научить роботов распознавать признаки особенно опасного огня.