Уилл Смит ест спагетти и другие странные тесты искусственного интеллекта, которые получили популярность в 2024 году

Когда компания выпускает новый видеогенератор искусственного интеллекта, вскоре кто-то использует его, чтобы снять видео актера Уилла Смита, который ест спагетти.

Это стало чем-то вроде мема, а также эталонным показателем: проверить, может ли новый видеогенератор реалистично отобразить Смита, который хлебает миску лапши. Сам Смит спародировал эту тенденцию в публикации в Instagram. 

Уилл Смит и макароны — лишь один из нескольких странных «неофициальных» тестов, которые захватили ИИ-сообщество штурмом в 2024 году. 16-летний разработчик создал приложение, которое дает ИИ контроль над Minecraft и проверяет его способность проектировать структуры. В другом месте британский программист создал платформу, где искусственный интеллект играет друг против друга в такие игры, как Pictionary и Connect 4.

Это не то, что больше нет академических тестов производительности ИИ. Так почему же более странные взорвались?

Во-первых, многие отраслевые стандарты ИИ мало что говорят обычному человеку. Компании часто ссылаются на способность своего искусственного интеллекта отвечать на вопросы на экзаменах по математической олимпиаде или находить вероятные решения для проблем уровня доктора философии. Однако большинство людей — в том числе и ваш — используют чат-ботов для таких вещей, как ответы на электронные письма и фундаментальные исследования.

Краудсорсинговые показатели отрасли не обязательно лучше или информативнее.

Возьмем, например, Chatbot Arena, общедоступный эталонный тест, за которым многие энтузиасты и разработчики искусственного интеллекта навязчиво следят. Chatbot Arena позволяет любому в Интернете оценивать, насколько хорошо искусственный интеллект выполняет определенные задачи, такие как создание веб-программы или генерирование изображения. Но оценщики, как правило, не являются репрезентативными — большинство из них происходят из кругов искусственного интеллекта и индустрии технологий — и отдают свои голоса на основе личных предпочтений, которые трудно определить.

Итан Моллик, профессор менеджмента Wharton, недавно указал в заметке на X еще одну проблему со многими индустриальными тестами ИИ: они не сравнивают производительность системы с производительностью среднего человека.

«Тот факт, что нет 30 различных эталонных показателей от различных организаций в медицине, законодательстве, качестве консультаций и т.д., является настоящим позором, поскольку люди используют системы для этих вещей, несмотря на это», — написал Моллик.