Исследователь безопасности Meta AI сообщил, что агент OpenClaw совершил несанкционированные вредные действия

Сначала вирусный пост X от исследовательницы безопасности Meta AI Саммер Юэ выглядит как сатира. Она попросила своего агента OpenClaw AI проверить ее переполненный почтовый ящик и предложить, что удалить или архивировать.

Агент начал сходить с ума. Устройство начало удалять всю ее электронную почту «быстрым движением», игнорируя команды с телефона, которые приказывали ему остановиться.

«Мне пришлось БЕЖАТЬ к своему Mac mini, как будто я обезвреживала бомбу», — написала она, опубликовав изображение проигнорированных подсказок об остановке.

OpenClaw — это, конечно же, агент искусственного интеллекта с открытым кодом, который приобрел популярность благодаря Moltbook, социальной сети, работающей исключительно на основе искусственного интеллекта.

Но миссия OpenClaw, согласно его странице на GitHub, не сосредоточена на социальных сетях. Его цель — стать персональным помощником с искусственным интеллектом, который работает на ваших собственных устройствах.

Инсайдерское сообщество Кремниевой долины настолько влюбилось в OpenClaw, что слова «claw» и «claws» стали модными словами для агентов, работающих на персональном оборудовании. Среди других таких агентов — ZeroClaw, IronClaw и PicoClaw.

Но пост Юэ служит предупреждением. Как отмечали другие пользователи X, если исследователь безопасности искусственного интеллекта мог столкнуться с этой проблемой, на что надеяться простым смертным?

«Вы намеренно тестировали его защитные ограждения или совершили ошибку новичка?» — спросил ее разработчик программного обеспечения на X.

«Честно говоря, ошибка новичка», — ответила она. Она тестировала своего агента с меньшим «игрушечным» почтовым ящиком, как она его называла, и он хорошо работал с менее важной электронной почтой. Он заслужил ее доверие, поэтому она решила проверить его на настоящем.

Юэ считает, что большой объем данных в ее реальном почтовом ящике «вызвал уплотнение», написала она. Уплотнение происходит, когда окно контекста — текущая запись всего, что было сказано и что сделал ИИ в течение сеанса — становится слишком большим, что заставляет агента начать обобщать, сжимать и управлять разговором.

В этот момент ИИ может пропустить инструкции, которые человек считает достаточно важными.

Суть этой истории заключается в том, что агенты, направленные на работников умственного труда, на их текущем этапе развития, являются рискованными. Люди, которые говорят, что успешно их используют, лишь собирают методы для собственной защиты.