Неймовірна ШІ-вісімка. Хто стоїть за ключовою технологією

05.04.24

0

469

0

Вісім імен зазначені авторами «Увага – це все, що вам потрібно» («Attention Is All You Need»), наукової роботи, що побачила світ навесні 2017-го. Всі вони були дослідниками Google, хоча на момент публікації праці один з них вже пішов у самостійне плавання. 

Ця робота стала легендарною. Її автори починали із того, що вдосконалювали набір тогочасних ШІ-технологій під назвою нейромережі, а досягли чогось значно більшого: створили надпотужну цифрову систему, чиї результати здаються ніби не з цього світу.

Ідейним натхненником і «збирачем» неймовірної вісімки можна назвати Якоба Ушкорайта, сина східнонімецьких іммігрантів. Він народився в Каліфорнії, але його батьки повернулися до Німеччини, де Якоб і закінчив університет. На стажування його взяли у перекладацьку комаду Google. 

Йому вдалося переконати кількох колег провести експерименти із «моделлю уваги», які показали багатообіцяючі результати і закінчилися науковою роботою 2016-го.

Одного дня у 2016-му Ушкорайт обідав у кафе Google із науковцем з України Іллею Полосухіним. Останній на той час працював у компанії вже три роки. Полосухіна поставили на чолі команди, робота якої полягала в наданні відповідей на прямі запитання, які користувачі вписували у пошуковик.

До їхнього дуету приєднався ще один їхній колега, Ашиш Васвані, який іноді співпрацював із Полосухіним. Васвані народився в Індії, виріс на Середньому Сході, вивчав машинний переклад в Університеті Південної Каліфорнії і приєднався до відносно ново групи з глибокого вивчення штучного інтелекту під керівництвом Google AI — Google Brain.

Утрьох вони створили документ «Трансформери: ітеративна увага і обробка різних завдань». Назву «трансформери», розповів Ушкорайт, вони обрали одразу, адже їхній механізм трансформує інформацію, яку поглинає, дозволяючи системі «зрозуміти» дані. 

На початку 2017-му Полосухін пішов з Google, щоб заснувати власну компанію, але до їхньої команди однодумців вже почали приєднуватися нові люди. Спершу була індійська інженерка Нікі Пармар, яка вдосконалювала систему пошуку в Google. Потім був валлієць Ліон Джонс, який працював у Google Research під керівництвом Полосухіна.

Google Brain
Image Credits: Pixabay

Робота із трансформерами привернула увагу й інших дослідників Google Brain, які теж намагалися вдосконалити великі мовні моделі. Тож до третьої хвилі «рекрутингу» Ушкорайта належать Лукаш Кайзер, польський науковець-теоретик компʼютерної галузі, і його стажер-канадець Ейден Гомез. 

Команда «трансформерів» почала створювати модель уваги, яка б перекладала текст з однієї мови на іншу. Оцінювали результати за допомогою стандарту BLEU, який порівнює роботу машини із роботою людини-перекладача.

Після непоганих початкових результатів, група «трансформерів» зайшла у фазу плато, із якої допоміг вийти Ноам Шазір у 2017-му. Ветеран Google, який приєднався до компанії ще у 2000-му і став її легендою, випадково почув про проєкт Ушкорайта. Шазір тоді вже пʼять років займався глибоким навчанням і нещодавно зацікавився великими мовними моделями, які на той час не давали результатів, на які, він був певен, ті здатні.

Шазір вирішив написати власну версію коду, який вже мала трансформерна команда. «Я взяв їхню основну ідею і створив код з нуля», – розповів він WIRED.

Решта групи назвала прорив Шазіра «магією» та «алхімією», яка вивела їхню систему на новий рівень.

Цікаво те, що вище керівництво Google сприймало проєкт вісімки як просто ще одну ШІ-ініціативу і, як сказали науковці, навіть не цікавилося тим, як просувається робота. Але оформити патент компанія поспішила одразу.

«Трансформери» не захопили світ чи навіть Google одразу. Кайзер пригадує, що приблизно в час публікації роботи, Шазір запропонував директорам Google відмовитися від системи індексованого пошуку, яка є основою пошукової системи компанії, і почати тренувати величезну мережу за допомогою трансформерів. Тоді навіть Кайзер вважав цю ідею сміховинною.

Джерело: Forbes

Залишити коментар
Опитування
У якій соцмережі ви проводите найбільше часу?
Facebook
9% (18)
Instagram
7% (14)
TikTok
9% (17)
Telegram
28% (54)
Youtube
26% (49)
Twitter
2% (4)
А що це?
18% (35)
Залишити коментар

Актуальне

Як українські IT-компанії допомагають мобілізованим працівникам

Аналітика

Як українські IT-компанії допомагають мобілізованим працівникам

Мобілізація стала випробуванням для українського бізнесу. Необхідність захищати країну спричинила відтік спеціалістів, що не могло не позначитися на е...

12.04.24

347

0
Що варто знати про Dencun – важливе оновлення мережі Ethereum

Інвестиції

Що варто знати про Dencun – важливе оновлення мережі Ethereum

Будучи найочікуванішим хардфорком з часів Великого злиття, Dencun — важливе оновлення мережі Ethereum — функціонує вже тиждень. Що змінив апгрейд і як...

28.03.24

565

0
Жінки біля керма бізнесу

Бізнес

Жінки біля керма бізнесу

Чи знаєте ви, що жінки-лідери затребувані в більшості галузей, навіть у домінуючих чоловічих компаніях? Це правда, і для цього є вагома причина. Жінки...

26.03.24

393

0
Підпишіться на нас

Раз на тиждень ми будемо надсилати Вам найцікавіші новини тижня

Конфіденційність гарантована

Погода

Популярні статті

10 головних фінтех-інновацій, які ви повинні знати

Інновації

10 головних фінтех-інновацій, які ви повинні знати

Fintech

Фінансові технології або фінтех - це більше, ніж просто модне слово у світі фінансових послуг. Користувачі, а також підприємства наздоганяють тенденці...

12.10.23

1 656

1
Макдональдс: Гамбургери на першому плані, але нерухомість - основа доходу

Макдональдс: Гамбургери на першому плані, але нерухомість - основа доходу

Чи знали ви, що найбільша мережа закладів швидкого харчування, "Макдональдс", насправді отримує велику частину своїх прибутків від нерухомості? За ві...

08.11.23

1 590

1
Гранти для підтримки ідей та бізнесу 2024

Гранти для підтримки ідей та бізнесу 2024

В Україні можна отримати грант на бізнес чи реалізацію ідеї. Війна не зупинить зростання економіки та прогрес в розвитку нашої країни. Розповідаємо пр...

15.01.24

1 584

0
Топ бізнес-ідей для підприємців-початківців

Бізнес

Топ бізнес-ідей для підприємців-початківців

Якщо ви подумуєте про початок бізнесу, вам слід подумати, чи відповідає ваша ідея тому, як люди живуть і підходять до своєї роботи. Якщо ви зможете ви...

28.09.23

1 497

1
Головні біотехнологічні інновації 2023 року

Головні біотехнологічні інновації 2023 року

BioTech

У світі біотехнології кожен рік приносить приголомшливі інновації та переломні моменти, що сприяють розв'язанню складних проблем і поліпшенню якості ж...

06.10.23

1 353

0

Інвестиції

Топ 10 стартапів вересня, які отримали мільйонні інвестиції

Інвестиції

Топ 10 стартапів вересня, які отримали мільйонні інвестиції

Інвестиції

Переможцями вересня стали штучний інтелект, космос і біотехнології, зібравши понад 2 мільярди доларів у п'яти найбільших раундах. Anthropic Anthropic,...

03.10.23

1 186

0
7 ключових кроків до відкриття клінінгового бізнесу

Бізнес

7 ключових кроків до відкриття клінінгового бізнесу

Інвестиції

Відкриття клінінгового бізнесу, як і будь-яке велике підприємство, не приносить негайного доходу і клієнтської бази. Для початку вам потрібне керівниц...

06.12.23

1 155

0

Натиснувши «Прийняти всі cookie-файли» ви погоджуєтесь на розміщення всіх cookie-файлів на вашому пристрої. Ви можете змінювати налаштування cookie-файлів або відкликати вашу згоду на їх використання у будь-який час натиснувши на «Налаштування cookie-файлів».