Неймовірна ШІ-вісімка. Хто стоїть за ключовою технологією

05.04.24

0

1 687

0

Вісім імен зазначені авторами «Увага – це все, що вам потрібно» («Attention Is All You Need»), наукової роботи, що побачила світ навесні 2017-го. Всі вони були дослідниками Google, хоча на момент публікації праці один з них вже пішов у самостійне плавання. 

Ця робота стала легендарною. Її автори починали із того, що вдосконалювали набір тогочасних ШІ-технологій під назвою нейромережі, а досягли чогось значно більшого: створили надпотужну цифрову систему, чиї результати здаються ніби не з цього світу.

Ідейним натхненником і «збирачем» неймовірної вісімки можна назвати Якоба Ушкорайта, сина східнонімецьких іммігрантів. Він народився в Каліфорнії, але його батьки повернулися до Німеччини, де Якоб і закінчив університет. На стажування його взяли у перекладацьку комаду Google. 

Йому вдалося переконати кількох колег провести експерименти із «моделлю уваги», які показали багатообіцяючі результати і закінчилися науковою роботою 2016-го.

Одного дня у 2016-му Ушкорайт обідав у кафе Google із науковцем з України Іллею Полосухіним. Останній на той час працював у компанії вже три роки. Полосухіна поставили на чолі команди, робота якої полягала в наданні відповідей на прямі запитання, які користувачі вписували у пошуковик.

До їхнього дуету приєднався ще один їхній колега, Ашиш Васвані, який іноді співпрацював із Полосухіним. Васвані народився в Індії, виріс на Середньому Сході, вивчав машинний переклад в Університеті Південної Каліфорнії і приєднався до відносно ново групи з глибокого вивчення штучного інтелекту під керівництвом Google AI — Google Brain.

Утрьох вони створили документ «Трансформери: ітеративна увага і обробка різних завдань». Назву «трансформери», розповів Ушкорайт, вони обрали одразу, адже їхній механізм трансформує інформацію, яку поглинає, дозволяючи системі «зрозуміти» дані. 

На початку 2017-му Полосухін пішов з Google, щоб заснувати власну компанію, але до їхньої команди однодумців вже почали приєднуватися нові люди. Спершу була індійська інженерка Нікі Пармар, яка вдосконалювала систему пошуку в Google. Потім був валлієць Ліон Джонс, який працював у Google Research під керівництвом Полосухіна.

Google Brain
Image Credits: Pixabay

Робота із трансформерами привернула увагу й інших дослідників Google Brain, які теж намагалися вдосконалити великі мовні моделі. Тож до третьої хвилі «рекрутингу» Ушкорайта належать Лукаш Кайзер, польський науковець-теоретик компʼютерної галузі, і його стажер-канадець Ейден Гомез. 

Команда «трансформерів» почала створювати модель уваги, яка б перекладала текст з однієї мови на іншу. Оцінювали результати за допомогою стандарту BLEU, який порівнює роботу машини із роботою людини-перекладача.

Після непоганих початкових результатів, група «трансформерів» зайшла у фазу плато, із якої допоміг вийти Ноам Шазір у 2017-му. Ветеран Google, який приєднався до компанії ще у 2000-му і став її легендою, випадково почув про проєкт Ушкорайта. Шазір тоді вже пʼять років займався глибоким навчанням і нещодавно зацікавився великими мовними моделями, які на той час не давали результатів, на які, він був певен, ті здатні.

Шазір вирішив написати власну версію коду, який вже мала трансформерна команда. «Я взяв їхню основну ідею і створив код з нуля», – розповів він WIRED.

Решта групи назвала прорив Шазіра «магією» та «алхімією», яка вивела їхню систему на новий рівень.

Цікаво те, що вище керівництво Google сприймало проєкт вісімки як просто ще одну ШІ-ініціативу і, як сказали науковці, навіть не цікавилося тим, як просувається робота. Але оформити патент компанія поспішила одразу.

«Трансформери» не захопили світ чи навіть Google одразу. Кайзер пригадує, що приблизно в час публікації роботи, Шазір запропонував директорам Google відмовитися від системи індексованого пошуку, яка є основою пошукової системи компанії, і почати тренувати величезну мережу за допомогою трансформерів. Тоді навіть Кайзер вважав цю ідею сміховинною.

Джерело: Forbes

Залишити коментар

Актуальне

Які будинки в передмісті Києва готові купувати у 2025 році? Дослідження очікувань покупців

Огляд

Які будинки в передмісті Києва готові купувати у 2025 році? Дослідження очікувань покупців

Нерухомість

Мрія про заміське життя стає реальністю для багатьох українців. Проте що саме шукають потенційні покупці у котеджному містечку? Ми провели дослідження...

14.02.25

627

0
Polish-Ukrainian Startup Bridge оголошує про продовження прийому заявок на акселераційну програму для українських стартапів

Бізнес

Polish-Ukrainian Startup Bridge оголошує про продовження прийому заявок на акселераційну програму для українських стартапів

Стартапи

Polish-Ukrainian Startup Bridge – флагманська ініціатива Фундації Фонду Співпраці в партнерстві з Фундацією CEE Startup Bridge – з гордістю оголошує п...

12.02.25

491

0
Результати капітальних інвестицій Meta в АІ привели до зростання акцій

Аналітика

Результати капітальних інвестицій Meta в АІ привели до зростання акцій

Аналітика

Навіть на ринку, де переможці в галузі штучного інтелекту отримують винагороду, акції Meta Platforms Inc. виділяються. Рекордне 16-денне зростання мат...

10.02.25

804

0
Підпишіться на нас

Раз на тиждень ми будемо надсилати Вам найцікавіші новини тижня

Конфіденційність гарантована

Популярні статті

Останні новини: 1 проста ідея пасивного доходу, яка допоможе вам розбагатіти в 2024 році

Огляд

Останні новини: 1 проста ідея пасивного доходу, яка допоможе вам розбагатіти в 2024 році

Традиційний майнінг криптовалют вимагає потужної обчислювальної потужності та спеціалізованого апаратного забезпечення, і перші майнери зіткнулися з в...

07.11.24

3 827

0
Топ бізнес-ідей для підприємців-початківців

Бізнес

Топ бізнес-ідей для підприємців-початківців

Якщо ви подумуєте про початок бізнесу, вам слід подумати, чи відповідає ваша ідея тому, як люди живуть і підходять до своєї роботи. Якщо ви зможете ви...

28.09.23

3 426

1
Які ІТ-компанії заробляють найбільше? ТОП-15

Аналітика

Які ІТ-компанії заробляють найбільше? ТОП-15

Аналітика

Виїзд ІТ-фахівців за кордон, мобілізаційні процеси, падіння попиту на ІТ-послуги та політично напружена ситуація в країні — основні причини зменшення...

23.12.24

3 045

0
Що відомо про стартап DeepSeek, який сколихнув світ технологій?

Інновації

Що відомо про стартап DeepSeek, який сколихнув світ технологій?

Стартапи

Напрочуд ефективна та потужна китайська модель ШІ захопила технологічну галузь штурмом. Він називається DeepSeek R1 і дратує нерви на Волл-стріт. Нов...

28.01.25

3 013

0
Продажі автомобілів у Європі стагнують, оскільки споживачі уникають електромобілів

Бізнес

Продажі автомобілів у Європі стагнують, оскільки споживачі уникають електромобілів

Дослідження

Продажі автомобілів у Європі минулого року майже не зросли, оскільки постійна інфляція, вищі витрати на позики та апатія до електричних моделей змусил...

19.01.25

2 914

0
Ключові переваги гібридної та віддаленої роботи

Аналітика

Ключові переваги гібридної та віддаленої роботи

Аналітика

Чи відчуває бізнес все ще загрозу через дистанційну роботу? Можливо. Легко зрозуміти, чому так багато власників бізнесу виступають проти віддаленої ро...

04.10.24

2 777

0

 

Опитування
У якій соцмережі ви проводите найбільше часу?
Facebook
13% (38)
Instagram
6% (17)
TikTok
9% (27)
Telegram
25% (74)
Youtube
32% (96)
Twitter
2% (5)
А що це?
15% (44)
Залишити коментар

Натиснувши «Прийняти всі cookie-файли» ви погоджуєтесь на розміщення всіх cookie-файлів на вашому пристрої. Ви можете змінювати налаштування cookie-файлів або відкликати вашу згоду на їх використання у будь-який час натиснувши на «Налаштування cookie-файлів».