Есть ли среди читателей те, кто не посещает YouTube хотя бы один раз в день? Сервис уже стал неотъемлемой частью нашей с вами жизни. Сложно представить, что для просмотра видеороликов мы будем использовать что-то другое. YouTube предлагает огромную базу контента. Всего сервис насчитывает 1,9 млрд активных пользователей каждый месяц. По статистике 79% пользователей Интернета имеют аккаунт на YouTube. Так как же Google удается поддерживать работу такого огромного продукта? В этом материале мы рассмотрим принцип работы алгоритма предложений YouTube, и он интересен, поверьте.
Рекомендации YouTube умнее, чем вам кажется
Основываться данный материал будет на официальной публикации Google, в которой объясняется принцип работы алгоритмов рекомендаций YouTube на основе нейросетей. Почему же я решил изучить данный вопрос? Дело в том, что не так давно перед сном я решил включить звуки водопада (белый шум), чтобы быстрее уснуть. На следующий вечер в то же время я заметил, что на самом первом месте в рекомендациях располагалось то самое видео. Я опять включил его. На третий день в то же время это видео опять было на той же самой первой позиции. И это при том, что в любое другое время YouTube мне рекомендует совсем другие видеоролики.
И тут я окончательно понял, что алгоритмы YouTube работают куда сложнее, чем нам кажется. Как минимум, они способны адаптироваться под ваши предпочтения в различное время суток. Тогда же я решил изучить, как работают алгоритмы YouTube и наткнулся на интересную информацию, которой готов поделиться с читателями.
Перед разработчиками YouTube при разработке алгоритма стояло несколько проблем:
- Огромное количество видеороликов в различной тематике, что усложняет оптимальный подбор в рекомендациях
- Высокая динамика сервиса. Каждый час на YouTube загружаются сотни-тысячи часов видеороликов. Необходимо, чтобы система рекомендаций была гибкой и динамичной
- Непостоянность интересов зрителей
- Оптимизация ресурсов на подбор рекомендаций, так как работа алгоритмов подбора — сложный процесс, требующий немало мощностей
Архитектура рекомендательной системы YouTube
Алгоритм работы рекомендаций YouTube
На вход в систему подаются миллионы видеороликов, а на выходе она предлагает те самые десятки видео, которые попадают пользователю на экран во вкладке «Рекомендации».
Система состоит из двух сверточных нейронных сетей: «candidate generation» и «ranking» (ранжирование). Первая сеть из миллионов видео отбирает сотни наиболее подходящих, вторая нейросеть ранжирует полученную подборку от наиболее до менее интересных пользователю. При составлении выборки система учитывает всю историю пользователя и контекст. Под контекстом понимается, например, время суток, возраст, пол, географическое положение. Также в момент создания выборки происходит A/B тестирование, когда ради эксперимента пользователю показывают различные выборки, если какая-либо из выборок оказывается более просматриваемой, система самообучается и адаптируется под данную выборку.
При оценке выборки учитывается не только время просмотра но и CTR (click through rate) — число пользователей, которые начали просмотр видеоролика по отношению к числу пользователей, кто увидел видео в рекомендациях.
На этапе ранжирования выборка строится по показателю expected watch time, поэтому чем дольше пользователи смотрят видео, тем выше шанс того, что оно попадет в топ рекомендаций. YouTube не основывается только на click through rate, так как видео может быть простым кликбейтом. Целью обучения нейросети ранжирования является предсказание времени просмотра видео.
Итого
Система действительно сложная и я не стану пытаться объяснять сложные термины и полную архитектуру этапов формирования подборки, просто потому, что сам до конца не понимаю как именно она работает, но очевидно, что подбор рекомендаций наравне с поиском Google — сложнейший алгоритм, над которым работают лучшие умы мира.
Нет комментарий