Дослідники створили конкурента OpenAI o1 за ціною 50 доларів

Згідно з новою дослідницькою статтею, опублікованою минулої п’ятниці, дослідники ШІ зі Стенфорда та Університету Вашингтона змогли навчити модель «міркування» штучного інтелекту за менше ніж 50 доларів кредитів на хмарні обчислення.

Модель, відома як s1, працює подібно до найсучасніших моделей міркування, таких як o1 OpenAI та R1 DeepSeek, у тестах, що вимірюють здібності до математики та програмування. Модель s1 доступна на GitHub разом із даними та кодом, які використовуються для її навчання.

Команда, яка розробляє s1, сказала, що вони почали з готової базової моделі, а потім налаштували її за допомогою дистиляції, процесу, щоб витягнути можливості «розумування» з іншої моделі штучного інтелекту, навчаючись на її відповідях.

Дослідники кажуть, що s1 отримано з однієї з моделей міркування Google, Gemini 2.0 Flash Thinking Experimental. Перегонка — це той самий підхід, який використовували дослідники з Берклі, щоб створити модель міркування штучного інтелекту приблизно за 450 доларів минулого місяця.

Декого захоплює ідея про те, що кілька дослідників без мільйонів доларів все ще можуть впроваджувати інновації у сфері ШІ. Але s1 викликає реальні питання щодо коммодитизації моделей ШІ.

У документі s1 стверджується, що моделі міркування можуть бути дистильовані з відносно невеликим набором даних за допомогою процесу, що називається контрольованим тонким налаштуванням (SFT), у якому модель штучного інтелекту явно вказується імітувати певну поведінку в наборі даних.

SFT, як правило, дешевше, ніж широкомасштабний метод навчання з підкріпленням, який DeepSeek використовував для навчання свого конкурента моделі o1 OpenAI, R1.

S1 базується на невеликій готовій моделі штучного інтелекту від китайської лабораторії штучного інтелекту Qwen, що належить Alibaba, яку можна завантажити безкоштовно. Щоб навчити s1, дослідники створили набір даних лише з 1000 ретельно підібраних запитань у поєднанні з відповідями на ці запитання, а також з процесом «мислення», що стоїть за кожною відповіддю з Google Gemini 2.0 Flash Thinking Experimental.

За словами дослідників, після навчання s1, яке зайняло менше 30 хвилин із використанням 16 графічних процесорів Nvidia H100, s1 досяг високої продуктивності в певних тестах ШІ.

Дослідники використали хитрий трюк, щоб змусити s1 ще раз перевірити свою роботу та подовжити час «обдумування»: вони сказали йому почекати. Додавання слова «чекати» під час міркувань s1 допомогло моделі отримати дещо точніші відповіді, згідно з документом.

Джерело: TechCrunch