Дослідник безпеки Meta AI повідомив, що агент OpenClaw здійснив несанкціонвани шкідливі дії

Спочатку вірусний пост X від дослідниці безпеки Meta AI Саммер Юе виглядає як сатира. Вона попросила свого агента OpenClaw AI перевірити її переповнену поштову скриньку та запропонувати, що видалити або архівувати.  

Агент почав шаленіти. Пристрій почав видаляти всю її електронну пошту «швидким рухом», ігноруючи команди з телефону, які наказували йому зупинитися. 

«Мені довелося БІГТИ до свого Mac mini, ніби я знешкоджувала бомбу», – написала вона, опублікувавши зображення проігнорованих підказок про зупинку.

OpenClaw — це, звичайно ж, агент штучного інтелекту з відкритим кодом, який здобув популярність завдяки Moltbook, соціальній мережі, що працює виключно на основі штучного інтелекту.

Але місія OpenClaw, згідно з його сторінкою на GitHub, не зосереджена на соціальних мережах. Його метою є стати персональним помічником зі штучним інтелектом, який працює на ваших власних пристроях.

Інсайдерська спільнота Кремнієвої долини настільки закохалася в OpenClaw, що слова «claw» та «claws» стали модними словами для агентів, які працюють на персональному обладнанні. Серед інших таких агентів — ZeroClaw, IronClaw та PicoClaw.

Але пост Юе слугує попередженням. Як зазначали інші користувачі X, якщо дослідник безпеки штучного інтелекту міг зіткнутися з цією проблемою, на що сподіваються прості смертні? 

«Ви навмисно тестували його захисні огорожі чи зробили помилку новачка?» — запитав її розробник програмного забезпечення на X.  

«Чесно кажучи, помилка новачка», – відповіла вона. Вона тестувала свого агента з меншою «іграшковою» поштовою скринькою, як вона її називала, і та добре працювала з менш важливою електронною поштою. Вона заслужила її довіру, тому вона вирішила перевірити на справжній.

Юе вважає, що великий обсяг даних у її реальній поштовій скриньці «спричинив ущільнення», написала вона. Ущільнення відбувається, коли вікно контексту — поточний запис усього, що було сказано та що зробив ШІ протягом сеансу — стає занадто великим, що змушує агента почати підсумовувати, стискати та керувати розмовою.  

У цей момент ШІ може пропустити інструкції, які людина вважає досить важливими.

Суть цієї історії полягає в тому, що агенти, спрямовані на працівників інтелектуальної праці, на їхньому поточному етапі розвитку, є ризикованими. Люди, які кажуть, що успішно їх використовують, лише збирають методи для власного захисту.