Невероятная ИИ-восьмерка. Кто стоит за ключевой технологией

05.04.24

0

1 687

0

Восемь имен указаны авторами "Внимание  это все, что вам нужно" ("Attention Is All You Need"), научной работы, увидевшей свет весной 2017-го. Все они были исследователями Google, хотя на момент публикации работы один из них уже ушел в самостоятельное плавание. 

Эта работа стала легендарной, ее авторы начинали с того, что совершенствовали набор тогдашних ИИ-технологий под названием нейросети, а достигли чего-то гораздо большего: создали сверхмощную цифровую систему, чьи результаты кажутся будто не от мира сего.

Идейным вдохновителем и "собирателем" невероятной восьмерки можно назвать Якоба Ушкорайта, сына восточногерманских иммигрантов. Он родился в Калифорнии, но его родители вернулись в Германию, где Якоб и окончил университет. На стажировку его взяли в переводческую комаду Google. 

Ему удалось убедить нескольких коллег провести эксперименты с "моделью внимания", которые показали многообещающие результаты и закончились научной работой в 2016-м.

Однажды в 2016-м Ушкорайт обедал в кафе Google с ученым из Украины Ильей Полосухиным. Последний в то время работал в компании уже три года. Полосухина поставили во главе команды, работа которой заключалась в предоставлении ответов на прямые вопросы, которые пользователи вписывали в поисковик.

К их дуэту присоединился еще один их коллега, Ашиш Васвани, который иногда сотрудничал с Полосухиным. Васвани родился в Индии, вырос на Среднем Востоке, изучал машинный перевод в Университете Южной Калифорнии и присоединился к относительно новой группе по глубокому изучению искусственного интеллекта под руководством Google AI - Google Brain.

Втроем они создали документ "Трансформеры: итеративное внимание и обработка различных задач". Название "трансформеры", рассказал Ушкорайт, они выбрали сразу, ведь их механизм трансформирует информацию, которую поглощает, позволяя системе "понять" данные. 

В начале 2017-го Полосухин ушел из Google, чтобы основать собственную компанию, но к их команде единомышленников уже начали присоединяться новые люди. Сначала была индийская инженерка Ники Пармар, которая совершенствовала систему поиска в Google. Затем был валлиец Лион Джонс, который работал в Google Research под руководством Полосухина.

Google Brain.
Image Credits: Pixabay

Работа с трансформерами привлекла внимание и других исследователей Google Brain, которые тоже пытались усовершенствовать большие языковые модели. Так что к третьей волне "рекрутинга" Ушкорайта относятся Лукаш Кайзер, польский ученый-теоретик компьютерной отрасли, и его стажер-канадец Эйден Гомез. 

Команда "трансформеров" начала создавать модель внимания, которая бы переводила текст с одного языка на другой. Оценивали результаты с помощью стандарта BLEU, который сравнивает работу машины с работой человека-переводчика.

После неплохих начальных результатов, группа "трансформеров" зашла в фазу плато, из которой помог выйти Ноам Шазир в 2017-м. Ветеран Google, который присоединился к компании еще в 2000-м и стал ее легендой, случайно услышал о проекте Ушкорайта. Шазир тогда уже пять лет занимался глубоким обучением и недавно заинтересовался большими языковыми моделями, которые в то время не давали результатов, на которые, он был уверен, те способны.

Шазир решил написать собственную версию кода, который уже имела команда трансформеров. "Я взял их основную идею и создал код с нуля", - рассказал он WIRED.

Остальные группы назвали прорыв Шазира "магией" и "алхимией", которая вывела их систему на новый уровень.

Интересно то, что высшее руководство Google воспринимало проект восьмерки как просто еще одну ИИ-инициативу и, как сказали ученые, даже не интересовалось тем, как продвигается работа. Но оформить патент компания поспешила сразу.

"Трансформеры" не захватили мир или даже Google сразу. Кайзер вспоминает, что примерно во время публикации работы, Шазир предложил директорам Google отказаться от системы индексированного поиска, которая является основой поисковой системы компании, и начать тренировать огромную сеть с помощью трансформеров. Тогда даже Кайзер считал эту идею смехотворной.

Источник: Forbes

Оставить комментарий

Актуальное

Какие дома в пригороде Киева готовы к покупке в 2025 году? Исследование ожиданий клиентов

Обзор

Какие дома в пригороде Киева готовы к покупке в 2025 году? Исследование ожиданий клиентов

Недвижимость

Мечта о загородной жизни становится реальностью для многих украинцев. Но что именно ищут потенциальные покупатели в коттеджном городке? Мы провели исс...

14.02.25

625

0
Polish-Russian Startup Bridge объявляет о продолжении приема заявок на акселерационную программу для украинских стартапов

Бизнес

Polish-Russian Startup Bridge объявляет о продолжении приема заявок на акселерационную программу для украинских стартапов

Стартапы

Polish-Ukrainian Startup Bridge – флагманская инициатива Фонда Фонда Сотрудничества в партнерстве с Фондом CEE Startup Bridge – с гордостью объявляет...

12.02.25

488

0
Результаты капитальных инвестиций Meta в АІ привели к росту акций

Аналитика

Результаты капитальных инвестиций Meta в АІ привели к росту акций

Аналитика

Даже на рынке, где победители в области искусственного интеллекта получают вознаграждение, акции Meta Platforms Inc. выделяются. Рекордный 16-дневный...

10.02.25

801

0
Подпишитесь на нас

Раз в неделю мы будем отправлять Вам самые интересные новости недели

Конфиденциальность гарантирована

Популярные статьи

Для еліти будують бункер вартістю 300 мільйонів доларів

Бизнес

Для еліти будують бункер вартістю 300 мільйонів доларів

Недвижимость

В 2026 году планируется открытие роскошного бункера «судного дня», предназначенного только для членов, с бассейнами, охраной здоровья на основе искусс...

25.01.25

42 887

0
Гранты для поддержки идей и бизнеса 2024

Гранты для поддержки идей и бизнеса 2024

В Украине можно получить грант на бизнес или реализацию идеи. Война не остановит рост экономики и прогресс в развитии нашей страны. Рассказываем об ук...

15.01.24

6 779

2
10 главных финтех-инноваций, которые вы должны знать

Инновации

10 главных финтех-инноваций, которые вы должны знать

Fintech

Финансовые технологии или финтех — это больше, чем просто модное слово в мире финансовых услуг. Пользователи, а также предприятия догоняют тенденции в...

12.10.23

5 150

1
Макдональдс: Гамбургеры на первом плане, но недвижимость - основа дохода

Макдональдс: Гамбургеры на первом плане, но недвижимость - основа дохода

Знали ли вы, что крупнейшая сеть заведений быстрого питания, "Макдональдс", на самом деле получает большую часть своих доходов от недвижимости? За вит...

08.11.23

4 817

1
Google говорит, что его новый квантовый чип указывает на существование нескольких вселенных

Инновации

Google говорит, что его новый квантовый чип указывает на существование нескольких вселенных

Инновации

Google в понедельник анонсировала Willow, свой последний, самый лучший квантовый вычислительный чип. Заявления Google по этому чипу о скорости и надеж...

11.12.24

4 688

0

 

Опрос
В какой соцсети вы проводите больше всего времени?
Facebook
13% (38)
Instagram
6% (17)
TikTok
9% (27)
Telegram
25% (74)
Youtube
32% (96)
Twitter
2% (5)
А что это?
15% (44)
Оставить комментарий

Нажав «Принять все cookie-файлы», вы соглашаетесь на размещение всех cookie-файлов на вашем устройстве. Вы можете изменять настройки cookie-файлов или отозвать ваше согласие на их использование в любое время, нажав на «Настройки cookie-файлов».