Илон Маск соглашается, что мы исчерпали данные обучения ИИ

Илон Маск соглашается с другими экспертами по искусственному интеллекту, что осталось мало реальных данных для обучения моделей искусственного интеллекта.

«Мы фактически исчерпали общую сумму человеческих знаний в обучении искусственному интеллекту», - сказал Маск во время прямой трансляции разговора с председателем Stagwell Марком Пенном. «Это произошло в основном в прошлом году».

Маск, который владеет компанией искусственного интеллекта xAI, повторил темы, которые затронул бывший главный научный сотрудник OpenAI Илья Суцкевер на NeurIPS, конференции по машинному обучению, во время выступления в декабре.

Суцкевер, который сказал, что отрасль искусственного интеллекта достигла того, что он назвал «пиковыми данными», предсказал, что нехватка обучающих данных заставит изменить способ разработки моделей сегодня.

Другие компании, в том числе такие технологические гиганты, как Microsoft, Meta, OpenAI и Anthropic, уже используют синтетические данные для обучения флагманских моделей ИИ. По оценкам Gartner, в 2024 году 60% данных, использованных для проектов ИИ и аналитики, были сгенерированы синтетически.

Phi-4 от Microsoft был обучен на синтетических данных вместе с данными реального мира. Так же были модели Gemma от Google. Anthropic использовала некоторые синтетические данные для разработки одной из своих самых эффективных систем, Claude 3.5 Sonnet . А Meta усовершенствовала свою последнюю серию моделей Llama, используя данные, сгенерированные ИИ.

Источник: TechCrunch