Неймовірна ШІ-вісімка. Хто стоїть за ключовою технологією

Вісім імен зазначені авторами «Увага – це все, що вам потрібно» («Attention Is All You Need»), наукової роботи, що побачила світ навесні 2017-го. Всі вони були дослідниками Google, хоча на момент публікації праці один з них вже пішов у самостійне плавання. 

Ця робота стала легендарною. Її автори починали із того, що вдосконалювали набір тогочасних ШІ-технологій під назвою нейромережі, а досягли чогось значно більшого: створили надпотужну цифрову систему, чиї результати здаються ніби не з цього світу.

Ідейним натхненником і «збирачем» неймовірної вісімки можна назвати Якоба Ушкорайта, сина східнонімецьких іммігрантів. Він народився в Каліфорнії, але його батьки повернулися до Німеччини, де Якоб і закінчив університет. На стажування його взяли у перекладацьку комаду Google. 

Йому вдалося переконати кількох колег провести експерименти із «моделлю уваги», які показали багатообіцяючі результати і закінчилися науковою роботою 2016-го.

Одного дня у 2016-му Ушкорайт обідав у кафе Google із науковцем з України Іллею Полосухіним. Останній на той час працював у компанії вже три роки. Полосухіна поставили на чолі команди, робота якої полягала в наданні відповідей на прямі запитання, які користувачі вписували у пошуковик.

До їхнього дуету приєднався ще один їхній колега, Ашиш Васвані, який іноді співпрацював із Полосухіним. Васвані народився в Індії, виріс на Середньому Сході, вивчав машинний переклад в Університеті Південної Каліфорнії і приєднався до відносно ново групи з глибокого вивчення штучного інтелекту під керівництвом Google AI — Google Brain.

Утрьох вони створили документ «Трансформери: ітеративна увага і обробка різних завдань». Назву «трансформери», розповів Ушкорайт, вони обрали одразу, адже їхній механізм трансформує інформацію, яку поглинає, дозволяючи системі «зрозуміти» дані. 

На початку 2017-му Полосухін пішов з Google, щоб заснувати власну компанію, але до їхньої команди однодумців вже почали приєднуватися нові люди. Спершу була індійська інженерка Нікі Пармар, яка вдосконалювала систему пошуку в Google. Потім був валлієць Ліон Джонс, який працював у Google Research під керівництвом Полосухіна.

Робота із трансформерами привернула увагу й інших дослідників Google Brain, які теж намагалися вдосконалити великі мовні моделі. Тож до третьої хвилі «рекрутингу» Ушкорайта належать Лукаш Кайзер, польський науковець-теоретик компʼютерної галузі, і його стажер-канадець Ейден Гомез. 

Команда «трансформерів» почала створювати модель уваги, яка б перекладала текст з однієї мови на іншу. Оцінювали результати за допомогою стандарту BLEU, який порівнює роботу машини із роботою людини-перекладача.

Після непоганих початкових результатів, група «трансформерів» зайшла у фазу плато, із якої допоміг вийти Ноам Шазір у 2017-му. Ветеран Google, який приєднався до компанії ще у 2000-му і став її легендою, випадково почув про проєкт Ушкорайта. Шазір тоді вже пʼять років займався глибоким навчанням і нещодавно зацікавився великими мовними моделями, які на той час не давали результатів, на які, він був певен, ті здатні.

Шазір вирішив написати власну версію коду, який вже мала трансформерна команда. «Я взяв їхню основну ідею і створив код з нуля», – розповів він WIRED.

Решта групи назвала прорив Шазіра «магією» та «алхімією», яка вивела їхню систему на новий рівень.

Цікаво те, що вище керівництво Google сприймало проєкт вісімки як просто ще одну ШІ-ініціативу і, як сказали науковці, навіть не цікавилося тим, як просувається робота. Але оформити патент компанія поспішила одразу.

«Трансформери» не захопили світ чи навіть Google одразу. Кайзер пригадує, що приблизно в час публікації роботи, Шазір запропонував директорам Google відмовитися від системи індексованого пошуку, яка є основою пошукової системи компанії, і почати тренувати величезну мережу за допомогою трансформерів. Тоді навіть Кайзер вважав цю ідею сміховинною.

Джерело: Forbes