В начале 2024 года компания OpenAI показала миру возможности своей новой нейросети Sora. Она умеет создавать видео по текстовому описанию, и делает это на профессиональном уровне — смотря на примеры работ Sora можно подумать, что это кадры из кино и мультфильмов. С возможностями нейросетей для генерирования текста и картинок мы уже наигрались вдоволь, теперь всем нам хочется создавать видео. Но доступ к Sora закрыт, и когда нейросеть станет доступна для всех желающих, никто точно не знает. К счастью, другие компании не такие жадные и позволят генерировать видео при помощи своих сервисов. Если делать все правильно, качество роликов оказывается на уровне Sora. Вы уже готовы создать свое первое видео при помощи нейронки? Засучите рукава и повторяйте за нами — сейчас всему научим.

Кадр из видео, созданного нейросетью Dream Machine от Luma AI

Бесплатная нейросеть для создания видео

Самый лучший аналог Sora — это нейросеть Dream Machine, разработанная компанией Luma AI. Она была представлена миру в середине июня 2024 года и работает бесплатно, но с ограничениями. Бесплатные пользователи могут генерировать 30 видео в месяц, длительность которых не превышает 5 минут. Чтобы увеличить лимит, можно купить премиум подписку на Luma AI Dream Machine стоимостью от 30 до 500 долларов.

Цены на премиум-версию Luma AI. Источник: habr.com

Нейросети уже давно умеют генерировать изображения, они делают это быстро и в шедевральном качестве. Создание множество связанных между собой кадров искусственному интеллекту всегда давалось тяжело. Нейросеть от Luma AI смогла нас удивить — видео получаются такими, что некоторые люди могут принять их за работы профессиональных операторов и художников.

Как нейросеть делает видео по тексту

Сервис Dream Machine от Luma AI доступен всем, даже жителям России. Чтобы воспользоваться им, не нужно много уметь — все делается в пару кликов.

Чтобы сгенерировать видео при помощи нейросети, нужно перейти на сайт Luma AI и нажать на кнопку Try Now. В следующем окне сервис попросит войти в свой Google-аккаунт, нужно обязательно это сделать, иначе система дальше не пустит.

Главная страница Dream Machine, кнопка «Try Now» находится справа сверху

После авторизации начинается все самое интересное. Посередине экрана есть поле для ввода: туда нужно написать, что должно происходить на видео. Писать нужно на английском (!), поэтому лучше воспользоваться переводчиком.

Поле для ввода промта Dream Machine

В качестве примера попробуем создать видео с космонавтом, который сидит в автобусе. Описание должно быть максимально подробным и иметь описание стиля, поэтому мы попробуем промпт: an astronaut sits in the bus and takes off his spacesuit, sunlight falls on him from the left, it’s summer outside the window, photorealistic, hollywood movie.

Перед генерацией нужно поставить галку в пункте «Enhance prompt», который в фоновом режиме значительно улучшает ваше описание.

В итоге действительно получилось видео с астронавтом в автобусе, которое похоже на отрывок из голливудского кино. Только мы просили, чтобы он снял свой скафандр, но этого не произошло, нужно было расписать движения подробнее. Посмотрите на результат.

Двушка на фоне пустыни

Как живить мемы при помощи нейросети

Нейросеть Dream Machine от Luma AI также умеет превращать фотографии в видео. Для этого рядом с полем ввода нужно нажать на иконку фотографии и загрузить файл. После этого нужно написать описание как в инструкции выше и ждать результата.

Кнопка для загрузки картинки

Для примера, попробуем оживить картинку из статьи, в которой мы учились пользоваться нейросетью Bing от Microsoft. На ней изображена девочка в белом платье и зонтом в руке — сделаем так, чтобы шел дождь, дул ветер, а люди сзади проходили мимо. Промпт выглядит так: a girl with an umbrella in her hand stands in the pouring rain, drops fall from the umbrella, people pass by in the background, dramatic film.

В итоге получилось прекрасное видео, но почему-то нейронка не нарисовала дождь. Оцените результат.

Видео с летающим котом

В очередной раз получилось не совсем то, что мы хотели, но результат все равно впечатляет. Нейросети развиваются очень быстро, и уже спустя полгода или год каждый человек сможет создавать шедевры.

Как можно понять, нейросеть для создания видео от Luma AI не всегда понимает то, что от нее требуется. К тому же, на видео можно заметить искажения. Ну и, самый главный минус заключается в наличии ограничений на количество генерируемых в день видео.