OpenAI створив інструменти які можуть виявляти записи з ChatGPT

OpenAI створив інструмент, який потенційно може ловити студентів, які шахраюють, просячи ChatGPT написати їхні завдання — але, як повідомляє The Wall Street Journal, компанія обговорює, чи варто його випускати.

У заяві, представник OpenAI підтвердив, що компанія досліджує метод текстових водяних знаків, описаний у статті Journal, але сказав, що використовує «навмисний підхід» через «складність, пов’язану з цим, і ймовірний вплив на ширшу екосистему поза OpenAI».

«Метод текстових водяних знаків, який ми розробляємо, технічно багатообіцяючий, але має значні ризики, які ми зважуємо, поки досліджуємо альтернативи, зокрема сприйнятливість до обходу зловмисниками та потенційний непропорційний вплив на групи, наприклад неангломовні», — сказав речник.

OpenAI минулого року закрив свій попередній детектор тексту AI через його «низький рівень точності».

За допомогою текстових водяних знаків OpenAI зосереджувався б виключно на виявленні тексту з ChatGPT, а не з моделей інших компаній. Це можна зробити, вносячи невеликі зміни в те, як ChatGPT вибирає слова, по суті, створюючи невидимий водяний знак у тексті, який пізніше може бути виявлений окремим інструментом.

Після публікації статті в журналі OpenAI також оновив травневу публікацію в блозі про свої дослідження щодо виявлення контенту, створеного ШІ. В оновленні йдеться, що текстові водяні знаки виявилися «дуже точними та навіть ефективними проти локалізованих фальсифікацій, таких як перефразування», але виявилися «менш стійкими проти глобальних фальсифікацій; наприклад використання систем перекладу, переформулювання за допомогою іншої генеративної моделі або запит моделі вставити спеціальний символ між кожним словом, а потім видалити цей символ».

У результаті OpenAI пише, що цей метод «тривіальний для обходу зловмисниками». Оновлення OpenAI також повторює думку представника про неангломовних людей, написавши, що текстові водяні знаки можуть «стигматизувати використання штучного інтелекту як корисного інструменту письма для людей, для яких англійська не є рідною».

Джерело: TechCrunch