Невероятная ИИ-восьмерка. Кто стоит за ключевой технологией

Восемь имен указаны авторами "Внимание – это все, что вам нужно" ("Attention Is All You Need"), научной работы, увидевшей свет весной 2017-го. Все они были исследователями Google, хотя на момент публикации работы один из них уже ушел в самостоятельное плавание. 

Эта работа стала легендарной, ее авторы начинали с того, что совершенствовали набор тогдашних ИИ-технологий под названием нейросети, а достигли чего-то гораздо большего: создали сверхмощную цифровую систему, чьи результаты кажутся будто не от мира сего.

Идейным вдохновителем и "собирателем" невероятной восьмерки можно назвать Якоба Ушкорайта, сына восточногерманских иммигрантов. Он родился в Калифорнии, но его родители вернулись в Германию, где Якоб и окончил университет. На стажировку его взяли в переводческую комаду Google. 

Ему удалось убедить нескольких коллег провести эксперименты с "моделью внимания", которые показали многообещающие результаты и закончились научной работой в 2016-м.

Однажды в 2016-м Ушкорайт обедал в кафе Google с ученым из Украины Ильей Полосухиным. Последний в то время работал в компании уже три года. Полосухина поставили во главе команды, работа которой заключалась в предоставлении ответов на прямые вопросы, которые пользователи вписывали в поисковик.

К их дуэту присоединился еще один их коллега, Ашиш Васвани, который иногда сотрудничал с Полосухиным. Васвани родился в Индии, вырос на Среднем Востоке, изучал машинный перевод в Университете Южной Калифорнии и присоединился к относительно новой группе по глубокому изучению искусственного интеллекта под руководством Google AI - Google Brain.

Втроем они создали документ "Трансформеры: итеративное внимание и обработка различных задач". Название "трансформеры", рассказал Ушкорайт, они выбрали сразу, ведь их механизм трансформирует информацию, которую поглощает, позволяя системе "понять" данные. 

В начале 2017-го Полосухин ушел из Google, чтобы основать собственную компанию, но к их команде единомышленников уже начали присоединяться новые люди. Сначала была индийская инженерка Ники Пармар, которая совершенствовала систему поиска в Google. Затем был валлиец Лион Джонс, который работал в Google Research под руководством Полосухина.

Работа с трансформерами привлекла внимание и других исследователей Google Brain, которые тоже пытались усовершенствовать большие языковые модели. Так что к третьей волне "рекрутинга" Ушкорайта относятся Лукаш Кайзер, польский ученый-теоретик компьютерной отрасли, и его стажер-канадец Эйден Гомез. 

Команда "трансформеров" начала создавать модель внимания, которая бы переводила текст с одного языка на другой. Оценивали результаты с помощью стандарта BLEU, который сравнивает работу машины с работой человека-переводчика.

После неплохих начальных результатов, группа "трансформеров" зашла в фазу плато, из которой помог выйти Ноам Шазир в 2017-м. Ветеран Google, который присоединился к компании еще в 2000-м и стал ее легендой, случайно услышал о проекте Ушкорайта. Шазир тогда уже пять лет занимался глубоким обучением и недавно заинтересовался большими языковыми моделями, которые в то время не давали результатов, на которые, он был уверен, те способны.

Шазир решил написать собственную версию кода, который уже имела команда трансформеров. "Я взял их основную идею и создал код с нуля", - рассказал он WIRED.

Остальные группы назвали прорыв Шазира "магией" и "алхимией", которая вывела их систему на новый уровень.

Интересно то, что высшее руководство Google воспринимало проект восьмерки как просто еще одну ИИ-инициативу и, как сказали ученые, даже не интересовалось тем, как продвигается работа. Но оформить патент компания поспешила сразу.

"Трансформеры" не захватили мир или даже Google сразу. Кайзер вспоминает, что примерно во время публикации работы, Шазир предложил директорам Google отказаться от системы индексированного поиска, которая является основой поисковой системы компании, и начать тренировать огромную сеть с помощью трансформеров. Тогда даже Кайзер считал эту идею смехотворной.

Источник: Forbes