Новая функция преобразования изображения в видео в Runway
Создатель видеоконтента Runway, использующий искусственный интеллект, добавил обещанную функцию преобразования изображения в видео в свою модель Gen-3, которая вышла несколько недель назад. Это может быть столь же впечатляющим, как и обещалось. Runway улучшил эту функцию, чтобы устранить основные ограничения модели Gen-2, выпущенной в начале прошлого года. Улучшенный инструмент значительно лучше поддерживает консистентность персонажей и гиперреализм, делая его мощным средством для создателей, стремящихся производить высококачественный видеоконтент.
Преимущества Gen-3 модели
Модель Gen-3 от Runway все еще находится в стадии альфа-тестирования и доступна лишь подписчикам, которые платят $12 в месяц за базовый пакет. Новая модель уже привлекла значительное внимание, даже когда она предлагала только возможность создания видео из текста. Однако у текстово-видео двигателя есть свои ограничения, особенно когда дело касается того, чтобы персонажи в видео выглядели одинаково на протяжении нескольких сцен и казались реальными. Без визуальной непрерывности сложно создать какой-то связный сюжет. В ранних версиях Runway пользователи часто сталкивались с трудностями в поддержании однородности персонажей и настроек при использовании только текстовых подсказок.
Решение проблемы консистентности
Обеспечение надежной консистентности в дизайне персонажей и окружения – задача не из простых. Однако использование начального изображения в качестве опорной точки для поддержания непрерывности на разных кадрах может помочь. В Gen-3 искусственный интеллект Runway может создать 10-секундное видео, используя дополнительные движения или текстовые подсказки на платформе.
Переход от кадров к фильмам
Функция преобразования изображения в видео в Runway не только обеспечивает сохранение одинаковых людей и фонов при просмотре с расстояния. Gen-3 также включает функцию синхронизации губ, благодаря которой движения рта персонажа соответствуют произносимым словам. Пользователь может указать ИИ модель, что он хочет, чтобы персонаж сказал, и движение будет анимировано в соответствии со словами. Сочетание синхронизированного диалога и реалистичных движений персонажей привлечет интерес многих разработчиков в сфере маркетинга и рекламы, ищущих новые и, желательно, более дешевые способы производства видео.
Будущее платформы Gen-3
На этом улучшения платформы Gen-3 не заканчиваются. Следующим шагом станет применение тех же самых улучшений к функции видео-видео. Идея заключается в том, чтобы сохранить те же самые движения, но в другом стиле. Например, человек, бегущий по улице, может превратиться в анимированного антропоморфного лиса, мчащегося через лес. Runway также собирается добавить свои управляющие функции в Gen-3, такие как Motion Brush, Advanced Camera Controls и Director Mode.
Конкуренция в области ИИ инструментов для видео
ИИ инструменты для создания видео все еще находятся на ранних стадиях развития. Большинство моделей превосходно справляются с созданием короткометражного контента, но испытывают трудности с длинными рассказами. Это ставит Runway с его новыми функциями в выгодное положение на рынке, но он далеко не единственный. Такие компании, как Midjourney, Ideogram, Leonardo (ныне принадлежащая Canva), и другие, также стремятся создать лучший ИИ генератор видео. Конечно, все они внимательно следят за OpenAI и его видео генератором Sora. OpenAI обладает преимуществами в узнаваемости имени и другими плюсами. Например, Toys»R»Us уже создала короткометражную рекламную фильм с использованием Sora и презентовала его на фестивале Каннских Львов. Тем не менее, история ИИ генераторов видео только начинается, и пока еще рано говорить о победителе.
Источник: TechRadar
