Чому ШІ такий дорогий

25 квітня Microsoft заявила, що витратила 14 мільярдів доларів на капітальні витрати в останньому кварталі та очікує, що ці витрати «суттєво зростуть», частково завдяки інвестиціям в інфраструктуру ШІ.

Alphabet заявив, що протягом кварталу витратив 12 мільярдів доларів, що на 91% більше, ніж роком раніше, і очікує, що решту року буде «на рівні або вище» цього рівня, оскільки він зосереджується на можливостях ШІ. Тим часом Meta підвищила свої оцінки інвестицій на рік і тепер вважає, що капітальні витрати становитимуть від 35 до 40 мільярдів доларів, що буде збільшенням на 42% у верхньому кінці діапазону. Він посилався на агресивні інвестиції в дослідження ШІ та розробку продуктів.

Великі мовні моделі стають більшими

Найвідоміші сьогодні продукти штучного інтелекту, включаючи ChatGPT від OpenAI, працюють на основі великих мовних моделей — систем, які передають величезні обсяги даних, включаючи книги, статті та онлайн-коментарі, щоб видавати найкращі можливі відповіді на запити користувачів. Багато провідних компаній зі штучного інтелекту роблять ставку на те, що шлях до більш складного штучного інтелекту — можливо, навіть систем ШІ, які можуть перевершити людей у багатьох завданнях — полягає в тому, щоб зробити ці великі мовні моделі ще більшими.

Для цього потрібно отримати більше даних, більше обчислювальної потужності, а також довше навчати системи ШІ. 

Даріо Амодей, генеральний директор Anthropic, конкурента OpenAI , сказав, що поточний рівень моделей ШІ на ринку коштує близько 100 мільйонів доларів на навчання.

«Моделі, які зараз тренуються і які з’являться в різний час пізніше цього або на початку наступного року, коштують ближче до 1 мільярда доларів», — сказав він. «Я думаю, що у 2025 і 2026 роках ми досягнемо 5 або 10 мільярдів доларів».

Мікросхеми та витрати на обчислення

Велика частина цієї вартості пов’язана з мікросхемами. Це не центральні процесори (CPU), які прославили корпорацію Intel , і не їх зменшені мобільні родичі, які живлять мільярди смартфонів. Для навчання великих мовних моделей компанії ШІ покладаються на графічні процесори, — які можуть обробляти величезні обсяги даних на високій швидкості. Мало того, що цих чіпів бракує, вони також надзвичайно дорогі, оскільки найсучасніші функції створені в основному однією компанією: Nvidia Corp.

Графічний чіп Nvidia H100, золотий стандарт для навчання моделей штучного інтелекту, був проданий за приблизно 30 000 доларів США, а деякі торгові посередники пропонують їх у кілька разів дорожче.

Генеральний директор Meta Цукерберг заявив , що його компанія планує придбати 350 000 чіпів H100 до кінця цього року для підтримки своїх зусиль з дослідження ШІ. 

Центри обробки даних

Компанії, які купують ці чіпи, потребують місця для їх розміщення. Meta разом із найбільшими компаніями хмарних обчислень — Amazon, Microsoft і Google — та іншими постачальниками обчислювальної потужності в оренду змагаються за створення нових серверних ферм. Ці будівлі, як правило, будуються на замовлення. Вони містять стелажі з жорсткими дисками, процесорами, системами охолодження та стеками електрообладнання та резервних генераторів.

Дослідник Dell'Oro Group підрахував, що цього року компанії витратять 294 мільярди доларів на будівництво та оснащення центрів обробки даних.

Угоди та талант

Хоча чіпи та центри обробки даних становлять левову частку витрат, деякі компанії ШІ також витрачають мільйони на ліцензування даних від видавців.

OpenAI уклав угоди з кількома європейськими видавцями, щоб включити їхній новинний контент у ChatGPT, а також навчити свої моделі ШІ. Фінансові умови цих угод не розголошуються, але Bloomberg News раніше повідомляв, що OpenAI погодився заплатити десятки мільйонів євро Axel Springer SE, німецькому видавцю Politico та Business Insider, за право використовувати його статті новин. . Стартап також вів переговори з Time, CNN і Fox News щодо ліцензування контенту.

Технічні компанії також ведуть гарячкову війну за таланти ШІ. Одного разу в минулому році компанія Netflix Inc. оголосила про вакансію менеджера зі штучного інтелекту, яка пропонувала зарплату до 900 000 доларів США.

Дешевші альтернативи

Корпорація Майкрософт, яка зробила більше, ніж інші, щоб розпалити ажіотаж навколо великих мовних моделей, нещодавно заявила, що спробує інший підхід. Компанія представила три менші моделі штучного інтелекту , які потребують менше обчислень.

У Microsoft заявили, що великі мовні моделі «все ще будуть золотим стандартом для вирішення багатьох типів складних завдань», таких як «розширене міркування, аналіз даних і розуміння контексту». Але менших моделей може бути достатньо для певних клієнтів і випадків використання. Інші компанії, зокрема Sakana AI , стартап, заснований двома колишніми співробітниками Google, також зосереджуються на менших моделях.

Однак наразі загальноприйнята думка у світі ШІ полягає в тому, що чим більше, тим краще. Це буде дорого коштувати.