Что такое «мировые модели» ИИ и почему они важны?

Модели мира, также известные как симуляторы мира, некоторые рекламируют как следующую великую вещь в ИИ.

Мировые лаборатории Фей-Фея Ли, пионера искусственного интеллекта, собрали 230 миллионов долларов для создания «больших моделей мира», а DeepMind нанял одного из создателей видеогенератора OpenAI, Sora, для работы над «симуляторами мира».

Но что это за вещи?

Модели мира черпают вдохновение из ментальных моделей мира, созданных людьми естественным путем. Наш мозг берет абстрактные представления из наших органов чувств и формирует их в более конкретное понимание окружающего мира, производя то, что мы называли «моделями» задолго до того, как ИИ принял эту фразу. Прогнозы, которые наш мозг делает на основе этих моделей, влияют на то, как мы воспринимаем мир.

Моделирование мира

Хотя эта концепция существует десятилетиями, модели мира недавно приобрели популярность частично благодаря их многообещающим применениям в области генеративного видео.

Хотя генеративная модель, обученная годами видео, может точно предсказать, что баскетбольный мяч отскочит, она на самом деле не имеет никакого представления, почему — так же, как языковые модели на самом деле не понимают понятий, стоящих за словами и фразами. Но мировая модель, которая даже базово понимает, почему баскетбольный мяч так подпрыгивает, лучше покажет, как он это делает.

Чтобы включить такое понимание, модели мира обучаются на ряде данных, включая фотографии, аудио, видео и текст, с целью создания внутренних представлений о том, как устроен мир, и способности рассуждать о последствиях действий.

«Зритель ожидает, что мир, который он наблюдает, ведет себя так же, как его реальность», — сказал Алекс Машрабов, бывший руководитель отдела искусственного интеллекта Snap и генеральный директор компании Higgsfield.

Но лучшая генерация видео — лишь верхушка айсберга для мировых моделей. Исследователи, в том числе главный ученый по искусственному интеллекту Meta Янн ЛеКун, говорят, что когда-то эти модели можно будет использовать для сложного прогнозирования и планирования как в цифровой, так и в физической сферах.

В своем выступлении в начале этого года Лекун описал, как модель мира может помочь достичь желаемой цели с помощью аргументации. Модель с базовым представлением «мира» (например, видео грязной комнаты) с целью (чистая комната) может предложить последовательность действий для достижения этой цели (использовать пылесос, чтобы подметать, убирать). посуду, опорожняйте мусор) не потому, что это закономерность, которую он наблюдал, а потому, что он знает на более глубоком уровне, как перейти от грязного к чистому.

«Нам нужны машины, которые понимают мир, которые могут запоминать вещи, которые имеют интуицию, имеют здравый смысл — вещи, которые могут рассуждать и планировать на том же уровне, что и люди», — сказал Лекун. «Несмотря на то, что вы, возможно, слышали от некоторых из самых увлеченных людей, текущие системы искусственного интеллекта не способны ни на что из этого».

Хотя Лекун считает, что до моделей мира, которые он себе представляет, осталось по меньшей мере десять лет, современные модели мира являются многообещающими как симуляторы элементарной физики.

OpenAI отмечает в блоге, что Sora, которую она считает мировой моделью, может имитировать действия, подобные тому, как художник оставляет мазки кистью на холсте. Такие модели, как Sora — и сама Sora — также могут эффективно имитировать видеоигры. Например, Sora может воссоздать UI и игровой мир, похожий на Minecraft.

«Будущие модели мира могут создавать 3D-миры по требованию для игр, виртуальной фотографии и т.д.», — сказал соучредитель World Labs Джастин Джонсон в эпизоде подкаста a16z.

«Мы уже имеем возможность создавать виртуальные интерактивные миры, но это стоит сотен и сотен миллионов долларов и кучу времени на разработку», — сказал Джонсон. «Модели мира позволят вам получить не просто изображение или клип, а полностью смоделированный, яркий и интерактивный 3D-мир».

Высокие барьеры

Хотя концепция привлекательна, на пути стоят многие технические проблемы.

Обучение и запуск моделей мира требует огромной вычислительной мощности даже по сравнению с объемом, который в настоящее время используют генеративные модели. В то время как некоторые из новейших языковых моделей могут работать на современном смартфоне, Sora (вероятно, ранняя модель мира) потребует тысяч графических процессоров для обучения и работы, особенно если их использование станет обычным делом.

Мировые модели, как и все модели искусственного интеллекта, также галлюцинируют — и интернализируют предубеждения в своих обучающих данных. Мировая модель, обученная в основном на видео солнечной погоды в европейских городах, может с трудом понять или изобразить корейские города в снежных условиях, например, или просто сделать это неправильно.

Общая нехватка данных об обучении грозит обострить эти проблемы, говорит Машрабов.

«Мы видели, что модели действительно ограничены поколениями людей определенного типа или расы», — сказал он. Учебные данные для модели мира должны быть достаточно широкими, чтобы охватывать разнообразный набор сценариев, но также очень специфическими для того, чтобы искусственный интеллект мог глубоко понять нюансы этих сценариев.

В недавней публикации генеральный директор стартапа с искусственным интеллектом Runway Кристобаль Валенсуэла говорит, что проблемы с данными и техникой мешают современным моделям точно отразить поведение обитателей мира (например, людей и животных). «Модели потребуют создания согласованных карт окружающей среды, — сказал он, — а также способности ориентироваться и взаимодействовать в этой среде».

Современные роботы ограничены в том, что они могут делать, потому что они не осознают окружающий мир (или собственное тело). Мировые модели могли бы дать им это осознание, сказал Машрабов — по крайней мере до некоторой степени.

«Благодаря усовершенствованной модели мира искусственный интеллект мог бы развить личное понимание любого сценария, в который он попал, — сказал он, — и начать обдумывать возможные решения».