Неймовірна ШІ-вісімка. Хто стоїть за ключовою технологією

05.04.24

0

1 013

0

Вісім імен зазначені авторами «Увага – це все, що вам потрібно» («Attention Is All You Need»), наукової роботи, що побачила світ навесні 2017-го. Всі вони були дослідниками Google, хоча на момент публікації праці один з них вже пішов у самостійне плавання. 

Ця робота стала легендарною. Її автори починали із того, що вдосконалювали набір тогочасних ШІ-технологій під назвою нейромережі, а досягли чогось значно більшого: створили надпотужну цифрову систему, чиї результати здаються ніби не з цього світу.

Ідейним натхненником і «збирачем» неймовірної вісімки можна назвати Якоба Ушкорайта, сина східнонімецьких іммігрантів. Він народився в Каліфорнії, але його батьки повернулися до Німеччини, де Якоб і закінчив університет. На стажування його взяли у перекладацьку комаду Google. 

Йому вдалося переконати кількох колег провести експерименти із «моделлю уваги», які показали багатообіцяючі результати і закінчилися науковою роботою 2016-го.

Одного дня у 2016-му Ушкорайт обідав у кафе Google із науковцем з України Іллею Полосухіним. Останній на той час працював у компанії вже три роки. Полосухіна поставили на чолі команди, робота якої полягала в наданні відповідей на прямі запитання, які користувачі вписували у пошуковик.

До їхнього дуету приєднався ще один їхній колега, Ашиш Васвані, який іноді співпрацював із Полосухіним. Васвані народився в Індії, виріс на Середньому Сході, вивчав машинний переклад в Університеті Південної Каліфорнії і приєднався до відносно ново групи з глибокого вивчення штучного інтелекту під керівництвом Google AI — Google Brain.

Утрьох вони створили документ «Трансформери: ітеративна увага і обробка різних завдань». Назву «трансформери», розповів Ушкорайт, вони обрали одразу, адже їхній механізм трансформує інформацію, яку поглинає, дозволяючи системі «зрозуміти» дані. 

На початку 2017-му Полосухін пішов з Google, щоб заснувати власну компанію, але до їхньої команди однодумців вже почали приєднуватися нові люди. Спершу була індійська інженерка Нікі Пармар, яка вдосконалювала систему пошуку в Google. Потім був валлієць Ліон Джонс, який працював у Google Research під керівництвом Полосухіна.

Google Brain
Image Credits: Pixabay

Робота із трансформерами привернула увагу й інших дослідників Google Brain, які теж намагалися вдосконалити великі мовні моделі. Тож до третьої хвилі «рекрутингу» Ушкорайта належать Лукаш Кайзер, польський науковець-теоретик компʼютерної галузі, і його стажер-канадець Ейден Гомез. 

Команда «трансформерів» почала створювати модель уваги, яка б перекладала текст з однієї мови на іншу. Оцінювали результати за допомогою стандарту BLEU, який порівнює роботу машини із роботою людини-перекладача.

Після непоганих початкових результатів, група «трансформерів» зайшла у фазу плато, із якої допоміг вийти Ноам Шазір у 2017-му. Ветеран Google, який приєднався до компанії ще у 2000-му і став її легендою, випадково почув про проєкт Ушкорайта. Шазір тоді вже пʼять років займався глибоким навчанням і нещодавно зацікавився великими мовними моделями, які на той час не давали результатів, на які, він був певен, ті здатні.

Шазір вирішив написати власну версію коду, який вже мала трансформерна команда. «Я взяв їхню основну ідею і створив код з нуля», – розповів він WIRED.

Решта групи назвала прорив Шазіра «магією» та «алхімією», яка вивела їхню систему на новий рівень.

Цікаво те, що вище керівництво Google сприймало проєкт вісімки як просто ще одну ШІ-ініціативу і, як сказали науковці, навіть не цікавилося тим, як просувається робота. Але оформити патент компанія поспішила одразу.

«Трансформери» не захопили світ чи навіть Google одразу. Кайзер пригадує, що приблизно в час публікації роботи, Шазір запропонував директорам Google відмовитися від системи індексованого пошуку, яка є основою пошукової системи компанії, і почати тренувати величезну мережу за допомогою трансформерів. Тоді навіть Кайзер вважав цю ідею сміховинною.

Джерело: Forbes

Залишити коментар

Актуальне

Фінтех-компанія відправляет літаки з готівкою в Зімбабве

Аналітика

Фінтех-компанія відправляет літаки з готівкою в Зімбабве

Аналітика

Принаймні раз на місяць, а іноді навіть тричі на тиждень, приватний літак приземляється в безпечній частині міжнародного аеропорту імені Роберта Габрі...

18.07.24

299

0
Регулятор Гонконгу планує режим ліцензування для стейблкойн-компаній

Інвестиції

Регулятор Гонконгу планує режим ліцензування для стейблкойн-компаній

Інвестиції

Гонконг планує запровадити режим ліцензування для емітентів стейблкойнів, чиї токени посилаються на ціну фіатних валют, повідомив де-факто центральний...

18.07.24

291

0
Інвестування в NFT: чи є це майбутнім криптосвіту чи лише тимчасовий тренд

Інвестиції

Інвестування в NFT: чи є це майбутнім криптосвіту чи лише тимчасовий тренд

Інвестиції

Сфера NFT-токенів стала одним із головних трендів 2021 року. Вона з'явилася нібито нізвідки (хоч формат й існує з 2014 року) та викликала хвилю ажіот...

17.07.24

243

0
Підпишіться на нас

Раз на тиждень ми будемо надсилати Вам найцікавіші новини тижня

Конфіденційність гарантована

Популярні статті

Гранти для підтримки ідей та бізнесу 2024

Гранти для підтримки ідей та бізнесу 2024

В Україні можна отримати грант на бізнес чи реалізацію ідеї. Війна не зупинить зростання економіки та прогрес в розвитку нашої країни. Розповідаємо пр...

15.01.24

2 993

1
10 головних фінтех-інновацій, які ви повинні знати

Інновації

10 головних фінтех-інновацій, які ви повинні знати

Fintech

Фінансові технології або фінтех - це більше, ніж просто модне слово у світі фінансових послуг. Користувачі, а також підприємства наздоганяють тенденці...

12.10.23

2 401

1
Топ бізнес-ідей для підприємців-початківців

Бізнес

Топ бізнес-ідей для підприємців-початківців

Якщо ви подумуєте про початок бізнесу, вам слід подумати, чи відповідає ваша ідея тому, як люди живуть і підходять до своєї роботи. Якщо ви зможете ви...

28.09.23

2 258

1
Макдональдс: Гамбургери на першому плані, але нерухомість - основа доходу

Макдональдс: Гамбургери на першому плані, але нерухомість - основа доходу

Чи знали ви, що найбільша мережа закладів швидкого харчування, "Макдональдс", насправді отримує велику частину своїх прибутків від нерухомості? За ві...

08.11.23

2 232

1
Головні біотехнологічні інновації 2023 року

Головні біотехнологічні інновації 2023 року

BioTech

У світі біотехнології кожен рік приносить приголомшливі інновації та переломні моменти, що сприяють розв'язанню складних проблем і поліпшенню якості ж...

06.10.23

1 927

0

 

Опитування
У якій соцмережі ви проводите найбільше часу?
Facebook
11% (25)
Instagram
7% (16)
TikTok
10% (23)
Telegram
27% (62)
Youtube
26% (59)
Twitter
2% (5)
А що це?
17% (38)
Залишити коментар

Натиснувши «Прийняти всі cookie-файли» ви погоджуєтесь на розміщення всіх cookie-файлів на вашому пристрої. Ви можете змінювати налаштування cookie-файлів або відкликати вашу згоду на їх використання у будь-який час натиснувши на «Налаштування cookie-файлів».