OpenAI создал инструменты, которые могут обнаруживать записи с ChatGPT

OpenAI создал инструмент, который потенциально может ловить мошенников студентов, прося ChatGPT написать их задачи — но, как сообщает The Wall Street Journal, компания обсуждает, стоит ли его выпускать.

В заявлении представитель OpenAI подтвердил, что компания исследует метод текстовых водяных знаков, описанный в статье Journal, но сказал, что использует «преднамеренный подход» из-за «сложности, связанной с этим, и вероятного влияния на более широкую экосистему вне OpenAI».

«Метод текстовых водяных знаков, который мы разрабатываем, технически многообещающий, но имеет значительные риски, которые мы взвешиваем, пока исследуем альтернативы, в частности, восприимчивость к обходу злоумышленниками и потенциальное непропорциональное влияние на группы, например неанглоязычные», — сказал спикер.

OpenAI в прошлом году закрыл свой предыдущий детектор текста AI из-за его «низкого уровня точности».

С помощью текстовых водяных знаков OpenAI сосредоточивался исключительно на обнаружении текста с ChatGPT, а не с моделей других компаний. Это можно сделать, внося небольшие изменения в то, как ChatGPT выбирает слова по существу, создавая невидимый водяной знак в тексте, который позже может быть обнаружен отдельным инструментом.

После публикации статьи в журнале OpenAI также обновил майскую публикацию в блоге о своих исследованиях по выявлению контента, созданного ИИ.В обновлении говорится, что текстовые водяные знаки оказались «очень точным и даже эффективным против локализованных фальсификаций, таких как перефразирование», но оказались «менее устойчивыми против глобальных фальсификаций; например, использование систем перевода, переформулирование с помощью другой генеративной модели или запрос модели вставить специальный символ между каждым словом, а затем удалить этот символ».

В результате OpenAI пишет, что этот метод «тривиален для обхода злоумышленниками». Обновление OpenAI также повторяет мнение представителя о неанглоязычных людях, написав, что текстовые водяные знаки могут «стигматизировать использование искусственного интеллекта в качестве полезного инструмента письма для людей, для которых английский не является родным».

Источник: TechCrunch