ИИ юристы резко прогрессируют: новый тест показал 30% против прежних 18%

В прошлом месяце бенчмарк Mercor измерял возможности агентов с искусственным интеллектом в профессиональных задачах, таких как право и корпоративный анализ. В то время результаты были довольно низкими, каждая большая лаборатория набрала менее 25%, поэтому пришли к выводу, что юристы застрахованы от вытеснения ИИ, по крайней мере.

Но на этой неделе выпуск Opus 4.6 от Anthropic всколыхнул таблицы лидеров: новая модель Anthropic набрала чуть менее 30% в одноразовых испытаниях и в среднем 45% после нескольких дополнительных попыток решения проблемы. Примечательно, что релиз включал в себя ряд новых агентных функций, включая «рои агентов», которые, возможно, помогли с таким многоэтапным решением проблем.

Несмотря на это этот показатель является огромным скачком по сравнению с предыдущим современным уровнем, и свидетельствует о том, что прогресс в разработке моделей фундамента не замедляется. Особенно впечатленный генеральный директор Mercor Брендан Фуди сказал, что скачок с 18,4% до 29,8% за несколько месяцев – это безумие.

Тридцать процентов – это еще далеко до 100%, поэтому юристам не стоит беспокоиться, что на следующей неделе их заменят машины. Но они должны быть гораздо менее уверены, чем в прошлом месяце.