Почему ИИ такой дорогой

25 апреля Microsoft заявила, что потратила 14 миллиардов долларов на капитальные расходы в последнем квартале и ожидает, что эти расходы «существенно возрастут», частично благодаря инвестициям в инфраструктуру ИИ.

Alphabet заявил, что в течение квартала потратил 12 миллиардов долларов, что на 91% больше, чем годом ранее, и ожидает, что остаток года будет «на уровне или выше» этого уровня, поскольку он сосредотачивается на возможностях ИИ. Между тем Meta повысила свои оценки инвестиций на год и теперь считает, что капитальные расходы составят от 35 до 40 миллиардов долларов, что будет увеличением на 42% в верхнем конце диапазона. Он ссылался на агрессивные инвестиции в исследования ИИ и разработку продуктов.

Большие языковые модели становятся больше

Самые известные сегодня продукты искусственного интеллекта, включая ChatGPT от OpenAI, работают на основе больших языковых моделей — систем, которые передают огромные объемы данных, включая книги, статьи и онлайн-комментарии, чтобы выдавать наилучшие возможные ответы на запросы пользователей. Многие ведущие компании по искусственному интеллекту делают ставку на то, что путь к более сложному искусственному интеллекту - возможно, даже системам ИИ, которые могут превзойти людей во многих задачах - заключается в том, чтобы сделать эти большие языковые модели еще больше.

Для этого нужно получить больше данных, больше вычислительной мощности, а также дольше обучать системы ИИ. 

Дарио Амодей, генеральный директор Anthropic, конкурента OpenAI , сказал, что текущий уровень моделей ИИ на рынке стоит около 100 миллионов долларов на обучение.

«Модели, которые сейчас тренируются и которые появятся в разное время позже этого или в начале следующего года, стоят ближе к 1 миллиарду долларов», — сказал он. «Я думаю, что в 2025 и 2026 годах мы достигнем 5 или 10 миллиардов долларов».

Микросхемы и затраты на вычисления

Большая часть этой стоимости связана с микросхемами. Это не центральные процессоры (CPU), которые прославили корпорацию Intel, и не их уменьшенные мобильные родственники, которые питают миллиарды смартфонов. Для обучения больших языковых моделей компании ИИ полагаются на графические процессоры, — которые могут обрабатывать огромные объемы данных на высокой скорости. Мало того, что этих чипов не хватает, они также чрезвычайно дороги, поскольку самые современные функции созданы в основном одной компанией: Nvidia Corp.

Графический чип Nvidia H100, золотой стандарт для обучения моделей искусственного интеллекта, был продан примерно за 30 000 долларов США, а некоторые торговые посредники предлагают их в несколько раз дороже.

Генеральный директор Meta Цукерберг заявил, что его компания планирует приобрести 350 000 чипов H100 до конца этого года для поддержки своих усилий по исследованию ИИ. 

Центры обработки данных

Компании, которые покупают эти чипы, нуждаются в месте для их размещения. Meta вместе с крупнейшими компаниями облачных вычислений - Amazon, Microsoft и Google — и другими поставщиками вычислительной мощности в аренду соревнуются за создание новых серверных ферм. Эти здания, как правило, строятся на заказ. Они содержат стеллажи с жесткими дисками, процессорами, системами охлаждения и стеками электрооборудования и резервных генераторов.

Исследователь Dell'Oro Group подсчитал, что в этом году компании потратят 294 миллиарда долларов на строительство и оснащение центров обработки данных.

Сделки и талант

Хотя чипы и центры обработки данных составляют львиную долю расходов, некоторые компании ИИ также тратят миллионы на лицензирование данных от издателей.

OpenAI заключил соглашения с несколькими европейскими издателями, чтобы включить их новостной контент в ChatGPT, а также обучить свои модели ИИ. Финансовые условия этих соглашений не разглашаются, но Bloomberg News ранее сообщал, что OpenAI согласился заплатить десятки миллионов евро Axel Springer SE, немецкому издателю Politico и Business Insider, за право использовать его новостные статьи. Стартап также вел переговоры с Time, CNN и Fox News о лицензировании контента.

Технические компании также ведут лихорадочную войну за таланты ИИ. Однажды в прошлом году компания Netflix Inc. объявила о вакансии менеджера по искусственному интеллекту, которая предлагала зарплату до 900 000 долларов США.

Более дешевые альтернативы

Корпорация Майкрософт, которая сделала больше, чем другие, чтобы разжечь ажиотаж вокруг больших языковых моделей, недавно заявила, что попробует другой подход. Компания представила три меньшие модели искусственного интеллекта, которые требуют меньше вычислений.

В Microsoft заявили, что большие языковые модели «все еще будут золотым стандартом для решения многих типов сложных задач», таких как «расширенное рассуждение, анализ данных и понимание контекста». Но меньших моделей может быть достаточно для определенных клиентов и случаев использования. Другие компании, в частности Sakana AI, стартап, основанный двумя бывшими сотрудниками Google, также сосредотачиваются на меньших моделях.

Однако сейчас общепринятое мнение в мире ИИ заключается в том, что чем больше, тем лучше. Это будет дорого стоить.