Google DeepMind представляет новую видеомодель, чтобы конкурировать с Sora

Google DeepMind, флагманская исследовательская лаборатория Google по искусственному интеллекту, хочет победить OpenAI в ИИ для генерации видео.

В понедельник DeepMind анонсировала Veo 2, искусственный интеллект для создания видео следующего поколения и преемника Veo. Veo 2 может создавать клипы продолжительностью более двух минут с разрешением до 4k (4096 x 2160 пикселей).

В экспериментальном инструменте Google для создания видео VideoFX, где Veo 2 теперь эксклюзивно доступен, видео имеют максимальное разрешение 720p и продолжительность восемь секунд. (Sora может создавать до 1080p клипы продолжительностью 20 секунд).

Эли Коллинз, вице-президент по продуктам в DeepMind, также сообщил, что Google сделает Veo 2 доступным через свою платформу разработчика Vertex AI, "если модель будет готова к использованию в масштабе".

«В течение следующих месяцев мы будем продолжать итерацию на основе отзывов пользователей, – сказал Коллинз, – и попытаемся интегрировать обновленные возможности Veo 2 в убедительные варианты использования в экосистеме Google. Мы ожидаем, чтобы поделиться новостями в следующем году».

Как и Veo, Veo 2 может генерировать видео с помощью текстовой подсказки, например, «Автомобиль мчится по автостраде» или текста и контрольного изображения.

DeepMind говорит, что модель, которая может создавать клипы в разных стилях, имеет улучшенное понимание физики и элементов управления камерой, а также создает более четкие кадры. Текстуры и изображения в клипах более четкие, особенно в сценах с большим количеством движений. Что касается усовершенствованных элементов управления камерой, они позволяют Veo 2 точнее размещать виртуальную «камеру» в видео, которые она создает, и перемещать эту камеру, чтобы снимать объекты и людей под разными углами.

DeepMind также утверждает, что Veo 2 может более реалистично моделировать движение, динамику жидкости (например, когда кофе наливают в кружку) и свойства света (такие как тени и отражения). Это включает различные линзы и кинематографические эффекты, говорит DeepMind, а также «нюансы» человеческого выражения.

Коллинз признал, что есть над чем работать.

«Согласованность и последовательность – это сферы для роста», – сказал он. «Veo может постоянно следовать подсказкам в течение нескольких минут, но [он не может] придерживаться сложных подсказок в течение долгих горизонтов. Так же постоянство характера может являться проблемой. Также есть куда усовершенствоваться в создании сложных деталей, быстрых и сложных движений и продолжать расширять пределы реализма».

DeepMind продолжает работать с художниками и продюсерами, чтобы усовершенствовать свои модели и инструменты создания видео, добавил Коллинз.

Источник: TechCrunch