Meta представляет Movie Gen: Новый шаг в гонке ИИ-кино
Meta представила очередного участника в гонке видеогенерации с помощью искусственного интеллекта, которая, похоже, захватила большую часть индустрии за последние месяцы. Новый модельный продукт от технологического гиганта получил название Movie Gen. Как следует из названия, он предназначен для создания фильмов. Новинка предлагает более широкий набор функций по сравнению с аналогичными продуктами, включая модель Sora от OpenAI, вызвавшую ажиотаж при первых демонстрациях. Однако доступ к Movie Gen также ограничен только для конкретных кинематографистов, сотрудничающих с Meta, вместо общего выпуска.
Особенности Movie Gen
Movie Gen удивляет своими возможностями — он может создавать видео на основании текстовых запросов, что было продемонстрировано на практике. Модель способна генерировать видео продолжительностью 16 секунд и улучшать их качество до 1080p. Одним из ограничений является частота кадров 16 fps, что ниже стандартов видеосъемки. Если вам нужно больше стандартных 24 кадров в секунду, продолжительность видео не может превышать 10 секунд.
Тем не менее, 10 секунд может быть вполне достаточно, если правильно задать тему. Meta внедрила в Movie Gen функцию персонализации, напоминающую инструмент Imagine, который позволяет создавать изображения с вашим участием. Теперь Movie Gen может делать нечто подобное с видео, используя фото для вставки реального человека в видеоряд. Если модель будет стабильно реализовывать такие возможности, многие кинематографисты могут заинтересоваться ею.
Редактирование и гибкость
Видео, созданные с помощью Movie Gen, можно редактировать без переписывания запроса. Модель предлагает текстовые функции редактирования, которые позволяют уточнять или изменять отдельные элементы сценария. Например, вы можете поменять одежду персонажей или изменить локацию фона. Такая гибкость впечатляет, учитывая возможность управлять движением камеры с помощью текстовых запросов, таких как панорамирование и слежение. Это связано с недавно выпущенной моделью SAM 2, способной отмечать и отслеживать объекты в видео.
Будущее аудиоыскусственного интеллекта
В настоящее время создаваемое ИИ видео всё чаще отличается высоким качеством изображения, поэтому Meta уделяет внимание и аудиокомпоненту кинопроизводства. Movie Gen будет использовать текстовые запросы не только для видео, но и для создания звуковой дорожки, соответствующей визуальному ряду — от звуков природы до шума автомобильных моторов. Музыка также будет создаваться для фона, стараясь соответствовать настроению видео. А вот озвучивание речи пока не входит в возможности модели.
Meta уже выпускала впечатляющие ИИ-модели для узкого круга пользователей, как это было с генератором песен, который, по мнению компании, не стоило выпускать из-за риска неправильного использования. Хотя открыто не заявлено, наверное, это одна из причин ограничения доступа к Movie Gen.
Но, следуя примеру OpenAI с Sora, Meta рискует потерять часть рынка в пользу более открытых конкурентов. Ведь количество ИИ-генераторов видео, уже доступных или готовящихся к запуску, велико. Такие компании и проекты, как Runway, Pika, Stability AI, Hotshot и Luma Labs с их Dream Machine, активно развиваются в этом направлении.
Источник: TechRadar
