ШІ юристи різко прогресують: новий тест показав 30% проти колишніх 18%

Минулого місяця бенчмарк Mercor вимірював можливості агентів зі штучним інтелектом у професійних завданнях, таких як право та корпоративний аналіз. На той час результати були досить низькими, кожна велика лабораторія набрала менше 25%, тому дійшли висновку, що юристи застраховані від витіснення ШІ, принаймні наразі.

Але цього тижня випуск Opus 4.6 від Anthropic сколихнув таблиці лідерів: нова модель Anthropic набрала трохи менше 30% в одноразових випробуваннях і в середньому 45% після кількох додаткових спроб вирішення проблеми. Примітно, що реліз включав низку нових агентних функцій, включаючи «рої агентів», які, можливо, допомогли з таким багатоетапним вирішенням проблем.

Незважаючи на це, цей показник є величезним стрибком у порівнянні з попереднім сучасним рівнем, і свідчить про те, що прогрес у розробці моделей фундаменту не сповільнюється. Генеральний директор Mercor Брендан Фуді, який був особливо вражений, сказав, що стрибок з 18,4% до 29,8% за кілька місяців – це божевілля.

Тридцять відсотків – це ще далеко до 100%, тому юристам не варто хвилюватися, що наступного тижня їх замінять машини. Але вони мають бути набагато менш впевненими, ніж минулого місяця.