В прошлом году Google выложила около 400 миллионов долларов за малоизвестную компанию по разработке искусственного интеллекта под названием DeepMind. С тех пор компания практически не раскрывает, что происходит за закрытой дверью DeepMind, но кое-что все-таки просочилось. Там есть профессиональный тестировщик видеоигр, который борется с искусственным интеллектом DeepMind на цифровом поле боя.

Поле боя представлено классическими видеоиграми. И согласно новому исследованию, опубликованному на днях в журнале Nature, программное обеспечение Google работает довольно хорошо и совершенствуется в играх вроде Breakout, Video Pinball и Space Invaders, подбираясь все ближе и ближе к человеческому уровню мастерства.

Google не тратит сотни миллионов долларов на возрождение игр Atari, но это новое исследование позволяет предположить нечто, чего Google пытается достичь с DeepMind. Программное обеспечение DeepMind использует две техники ИИ — одна называется глубокое обучение; а другая — глубокое усиленное обучение. Методы глубокого обучения широко используются в Google, а также в таких компаниях, как Facebook и Microsoft. Они работают с восприятием — помогают Android понимать, что вы говорите; а Facebook — знать, чье фото вы загружаете. Но до нынешнего момента никто не добился таких успехов, как Google в слиянии методов глубокого и глубокого усиленного обучения — эти алгоритмы позволяют программному обеспечению усовершенствоваться со временем, используя систему поощрений.

Путем слияния этих двух техник Google построила «алгоритм общего обучения, который может быть применим ко многим другим задачам», — говорит Корай Кавукчуоглу, исследователь Google. Команда DeepMind говорит, что они пока еще присматриваются к возможностям нового алгоритма, но вполне очевидно, что улучшенный поиск и приложения для смартфонов стоят первые на очереди.

Есть и другие интересные области. Гуру инженеров Google Джефф Дин говорит, что методы искусственного интеллекта в настоящее время изучаются Google — и другими компаниями — и в конечном счете могут серьезно улучшить те виды технологий, которые взращиваются в исследовательских лабораториях Google X. «Потенциальное применение есть в роботах и самоуправляемых автомобилях такого типа, — говорит он. — Для всех этих вещей компьютерное зрение очень важно».

Google утверждает, что его программное обеспечение ИИ, которое он назвал «сетевой агент Deep Q», получил 75% очков от профессионального тестировщика по результатам 29 сыгранных игр из 49. Лучше всего ИИ играет в «пинбол».

Хорошо Deep Q справляется с отбиванием мячиков в Breakout (одного из «арканоидов» под Atari), но когда дело доходит до планирования вещей в долгосрочной перспективе — вроде лазания по лестницам и перепрыгивания скелетов — с этим пока сложно. Бедный старый Deep Q набирает ровно ноль очков в этой игре.

По мере улучшения работа DeepMind может стать «движущей технологией робототехники», говорит Итамар Арель, исследователь искусственного интеллекта, работающий над способом совместить глубокое обучение и глубокое усиленное обучение. Он считает, что технология DeepMind в 18-24 месяцах от точки, когда ее можно будет использовать с настоящими роботами — и у Google есть, с чем экспериментировать, после покупки Boston Dynamics и прочих робототехнических компаний в 2013 году.

Вы не найдете в статье в Nature технологических прорывов, но она демонстрирует, что случится, если методики DeepMind будут использоваться в широких масштабах. «Мы используем нейронные сети покрупнее, выбираем лучшие режимы обучения и тренируем систему дольше», — говорит Демис Хассабис, основатель DeepMind. В 2013 году DeepMind представляла «очень ранние предварительные результаты выборки», но к нынешнему моменту у компании есть «полные результаты, собранные под тщательным контролем и по качественным оценкам».

Хассабис не рассказывает, занимается ли Google программированием роботов, но очевидно, что работа над Atari 2600 — это только начало. «Я не могу комментировать нашу нынешнюю работу, но мы пытаемся моделировать все виды игр и окружения», — говорит он.