Від хаосу до алгоритмів: як ШІ вчиться керувати погодою

У соціальних мережах сьогодні навіть погода опинилася під загрозою — її теж «забруднює» штучний інтелект. Коли цього літа ураган «Мелісса» обрушився на Ямайку, інтернет швидко заповнився фейковими роликами, згенерованими нейромережами. Деякі користувачі серйозно вирішили, що ситуація була ще страшнішою, ніж у реальності. Наприклад, що в басейнах готелів плавали акули. Спойлер: ні, не плавали.

Але за лаштунками цифрового хаосу ШІ працював і на благо. Поки «Мелісса» набирала силу, спеціальна модель Google однією з перших дала точні прогнози її маршруту і потужності. Це допомогло людям заздалегідь підготуватися до удару стихії. А інші алгоритми вже зараз намагаються відповісти на одвічне питання людства: чи піде дощ наступного вівторка або знову доведеться нести парасольку даремно.

Найбільші технологічні корпорації — Google, Huawei, Microsoft, Nvidia — разом з десятками стартапів і університетських лабораторій вклали мільйони доларів у створення погодних прогнозів на базі штучного інтелекту. Однак, на відміну від класичних метеомоделей, їх розробники не завжди можуть чітко пояснити, як саме ці системи приходять до своїх висновків.

«Це свого роду чорний ящик, який просто видає прогноз», — зізнається Тодд Хатчінсон, директор з метеорології стартапу Windborne Systems. — «Іноді ми самі до кінця не розуміємо, яким чином отримали результат».

Технологічні гіганти вже активно вбудовують такі моделі в свої хмарні сервіси, розраховуючи, що з часом вони стануть такою ж базовою інфраструктурою, як електрика або водопровід. Енергетичні компанії, транспортні оператори та трейдери сировинних ринків давно використовують ШІ-прогнози в роботі. У найближчому майбутньому навіть батьки, які планують дитячий день народження на свіжому повітрі, будуть орієнтуватися на прогноз, створений нейромережею. До слова, Google вже інтегрує такі дані в «Карти» і «Пошук».

І це відбувається в той момент, коли ринок штучного інтелекту виглядає особливо нестабільним і суперечливим. На цьому тлі прогнозування погоди виглядає одним з найбільш практичних і корисних застосувань технології. Саме ця сфера ідеально підходить для машинного навчання: тут є величезні масиви даних, які постійно поповнюються.

Європейський центр середньострокових прогнозів погоди (ECMWF) вже використовує глобальну модель ШІ, яка за рядом показників перевершує традиційні симулятори. Синоптики активно застосовують її в роботі. Національна метеорологічна служба США в грудні також представила власні нейромережеві інструменти прогнозування.

В основі цих систем лежать нейронні мережі — та ж архітектура, що використовується у великих мовних моделях. Тільки замість текстів їх навчають на даних з датчиків температури, вологості, тиску та інших атмосферних показників. Розробники публікують свої програми у відкритому доступі та пропонують прогнози холодних фронтів і траєкторій ураганів, які часто виявляються точнішими, ніж розрахунки державних метеослужб.

І, мабуть, найважливіше: такі моделі працюють швидше і обходяться значно дешевше класичних систем прогнозування. У світі, де навіть погоду намагаються перетворити на цифровий продукт, це рідкісний випадок, коли штучний інтелект дійсно виправдовує очікування — і іноді навіть рятує від промоклих черевиків.

Однак те, що відбувається всередині цих інтелектуальних систем «під капотом», досі залишається загадкою. Виникає цілком логічне питання: нейромережі просто майстерно зіставляють шаблони у величезних масивах даних — чи вони дійсно починають розуміти, як працює атмосфера на фундаментальному рівні?

На перший погляд, різниця може здатися несуттєвою. Якщо прогноз точний — яка різниця, як він отриманий? Але все змінюється, якщо ми хочемо використовувати ці моделі не тільки для передбачень, але і для вивчення самих атмосферних процесів. У цьому випадку «механіка мислення» штучного інтелекту стає принципово важливою.

Ще недавно багато фахівців ставилися до таких систем з обережним скепсисом. У тому числі й Майк Прітчард, директор з досліджень кліматичного моделювання в Nvidia.

«Раніше я був майже впевнений, що вони не розуміють фізику, — зізнається він. — Але з часом моя думка змінилася».

Переломним моментом для нього стало дослідження Грега Хакіма — професора атмосферних і кліматичних наук Вашингтонського університету та співавтора авторитетного підручника з динаміки атмосфери.

Хакім давно займається комп'ютерним моделюванням погоди, тому, коли з'явилися нові моделі глибокого навчання, він вирішив перевірити їх на практиці. В якості «піддослідного» він вибрав розробку Huawei — систему Pangu-Weather — і почав тестувати, наскільки її поведінка відповідає реальним процесам в атмосфері.

В одному з експериментів дослідники «запустили» область зниженого тиску в центральній частині Атлантики. Питання було просте: чи переросте вона в щось схоже на ураган?

Результат виявився несподіваним.

«Модель реагувала на наші втручання напрочуд реалістично, — згадує Хакім. — Це було справжнім шоком. Складалося враження, що вона дійсно засвоїла фізичні закони».

Ці висновки були опубліковані в 2024 році в журналі Artificial Intelligence for the Earth Systems — і відразу привернули увагу наукової спільноти. Звичайно, не всі вчені готові заходити так далеко у своїх висновках. Але інтерес до нового підходу до прогнозування погоди зростає з кожним роком.

Одним з його головних прихильників став Метью Чантрі — математик і керівник напрямку штучного інтелекту в Європейському центрі середньострокових прогнозів погоди (ECMWF). Особливо його вражає швидкість роботи нейромереж. Традиційні моделі просуваються вперед буквально по хвилинах, крок за кроком вирішуючи складні фізичні рівняння. А ШІ здатний відразу заглядати на десятки годин вперед.

«Коли ми вирішуємо рівняння на суперкомп'ютері, нам доводиться рухатися в часі крихітними кроками, інакше система стає нестабільною», — пояснює Чантрі.

Якщо крок занадто великий, інформація поширюється занадто швидко — і вся модель просто «розвалюється». Штучний інтелект, схоже, зумів обійти цю проблему. Яким чином — поки що до кінця не зрозуміло навіть самим метеорологам.

У цьому сенсі нейромережі немов зробили технологічний стрибок, механізм якого вчені ще тільки намагаються зрозуміти.

Хакім разом зі своїм співавтором, аспірантом Трентом Воннічем, пішли ще далі. Вони висунули сміливу гіпотезу: нові моделі потенційно здатні подолати фундаментальні обмеження в прогнозуванні погоди.

Простіше кажучи, штучний інтелект, можливо, вже навчився справлятися з так званим ефектом метелика.

Якщо освіжити знання, ефект метелика — це ідея про те, що в складних системах найменші зміни можуть призвести до гігантських і абсолютно непередбачуваних наслідків. Умовний помах крил метелика в одному місці планети теоретично здатний запустити ланцюжок подій, який закінчиться ураганом на іншому кінці світу. У реальності цей ефект давно заважає метеорологам робити довгострокові прогнози. На практиці він часто виражається просто: комп'ютери видають несподівані результати, а фахівці розводять руками.

Історія цієї концепції сягає 1960-х років. Тоді дослідник Массачусетського технологічного інституту Едвард Лоренц працював з ранніми цифровими моделями погоди. Мова йшла не про прогноз «всієї» погоди, а буквально про одну конкретну систему.

У ті часи серйозні вчені ставилися до комп'ютерного прогнозування з великою недовірою. Але Лоренц виявив дивовижну річ: варто було йому змінити вхідні дані всього на кілька десятих тисяч часток, як результат моделювання кардинально змінювався.

Причому зміни виглядали майже випадковими.

Цей ефект став наочним доказом того, наскільки хаотичною і чутливою є атмосфера. І саме з цим хаосом десятиліттями боролися метеорологи. Сьогодні ж виникає відчуття, що штучний інтелект, можливо, вперше наблизився до розуміння цієї складності — не через суворі формули, а через навчання на мільйонах прикладів.

І якщо це дійсно так, то мова йде не просто про більш точні прогнози. Ми можемо стояти на порозі принципово нового розуміння того, як працює погода на нашій планеті.

Ці заплутані теоретичні міркування про штормові фронти свого часу привели до народження абсолютно нового погляду на світ складних систем. Так з'явилася теорія хаосу — напрямок науки, який намагається знайти прихований порядок там, де на перший погляд панує повний безлад. Вона вивчає «невидиму невизначеність» у житті: від поведінки тваринних популяцій до стрибків на фінансових ринках. Простіше кажучи, теорія хаосу пояснює, чому іноді все йде не за планом — навіть якщо план був дуже хорошим.

Десятиліттями метеорологи спиралися на ідеї Едварда Лоренца, щоб крок за кроком вдосконалювати традиційні способи прогнозування. Вони забезпечували комп'ютери гігантськими обсягами реальних даних з метеостанцій, супутників і датчиків по всьому світу, а потім описували поведінку атмосфери за допомогою складних математичних рівнянь.

Всі ці дані перетворювалися на величезну тривимірну сітку — своєрідну цифрову копію атмосфери. Саме на її основі будуються звичні нам десятиденні прогнози погоди. Але у цієї системи є жорсткі обмеження. Після семи днів точність помітно падає, а після двох тижнів прогноз перетворюється скоріше на ворожіння на кавовій гущі, ніж на науку.

Причина проста: атмосфера Землі — неймовірно складна система, а виміряти її ідеально неможливо. Завжди залишається похибка, шум, відсутні дані. Усвідомивши ефект метелика, сам Лоренц дійшов висновку, що довгострокові прогнози — заняття майже марне. Він вважав, що хаос все одно переможе. І так тривало десятиліттями — поки в гру не вступив штучний інтелект. Лише в останні роки у дослідників з'явився привід переглянути колишній песимізм.

У 2021 році природа надала вченим суворий, але наочний «іспит». Історична хвиля спеки накрила Тихоокеанський Північний Захід США. У Портленді температура три дні поспіль трималася на рівні близько 48°C. Загинули 72 людини. Ця трагедія стала можливістю перевірити, на що здатний ШІ в реальних умовах.

Воніч і Хакім використовували модель GraphCast, розроблену Google DeepMind, щоб проаналізувати цю екстремальну ситуацію. Вони завантажили в систему реальні вимірювання теплової хвилі — а потім попросили її «відмотати плівку назад» і визначити, які вихідні дані привели б до максимально точного прогнозу. Для цього застосовувався метод зворотного поширення помилки — основа навчання нейромереж. Саме завдяки йому моделі можуть знаходити власні промахи і коригувати свою роботу. Простіше кажучи, ШІ вчиться на своїх помилках — майже як людина, тільки без екзистенційних криз.

З традиційними симуляціями такий фокус провернути складно. Їх запуск вже сам по собі вимагає величезних обчислювальних ресурсів, часу і грошей. А повторні розрахунки з різними параметрами перетворюються на справжній технологічний марафон.

«По суті, ми десятиліттями робили те саме з фізичними моделями, — каже Хакім. — Просто тепер отримуємо результат практично безкоштовно».

Нейромережа запропонувала дослідникам набір початкових умов, які, на її думку, мали дати ідеальний прогноз. Коли вчені ввели їх назад у модель, результат перевершив очікування: точність прогнозу теплової хвилі зросла більш ніж на 90%. На перший погляд може здатися, що прогнозувати подію заднім числом — це просто науковий трюк. Але експеримент показав набагато важливішу річ: потенціал для поліпшення прогнозів виявився набагато вищим, ніж вважалося раніше.

Натхненні успіхом, Хакім і Воніч вирішили піти далі і повторили експеримент з прогнозами на цілий рік вперед. Вони використовували моделі глибокого навчання з оптимізованими початковими умовами — і отримали вражаючий результат. Виявилося, що такі системи здатні видавати корисні прогнози майже на місяць вперед. Для метеорології, де раніше два тижні вважалися межею мрій, це виглядало майже як наукова фантастика.

Так теорія хаосу, ідеї Лоренца і сучасні нейромережі несподівано зійшлися в одній точці. Те, що раніше здавалося непереборною перешкодою, сьогодні поступово перетворюється на завдання, яке, можливо, все-таки має рішення. І, схоже, погода вперше за багато років почала програвати в цій грі людині — нехай і за допомогою машин.

На відміну від класичних погодних симуляцій, нові моделі штучного інтелекту поводяться набагато спокійніше. Вони не «вибухають» хаосом, не розсипаються через найменші помилки і не перетворюють розрахунки на ланцюжок непередбачуваних наслідків. Але саме це і викликає настороженість у частини вчених. Критики стверджують: причина такої «стійкості» проста — ШІ просто не настільки точний і деталізований, щоб стикатися з усіма складнощами реальної атмосфери.

«По суті, це машини для розпізнавання шаблонів», — каже Тобіас Зельц, постдокторант з атмосферних наук з Технологічного інституту Карлсруе. — «У такій моделі може йти дощ, навіть якщо в атмосфері формально немає вологи».

За його словами, це зовсім не означає, що нейромережа розуміє фізику процесів. Швидше вона спритно обходить найскладніші ділянки, створюючи правдоподібний результат без глибокого осмислення того, що відбувається. Однак Грег Хакім дивиться на ситуацію інакше. Для нього така поведінка — не баг, а потенційна перевага.

«У фізичній моделі гроза схожа на камінь, кинутий у ставок, — пояснює він. — Хвилі розходяться, посилюються, і помилки починають накопичуватися. А моделі машинного навчання взагалі не працюють на цих масштабах — у них просто немає такого ефекту».

Іншими словами, ШІ не втручається в найтурбулентніші зони атмосфери — і тому не «розганяє» хаос.

Наступний логічний крок — навчитися використовувати цю властивість для підвищення точності прогнозів. Хакім і Воніч спробували впровадити оптимальні початкові умови, отримані за допомогою GraphCast, в модель Pangu. Покращення дійсно з'явилися — але не настільки вражаючі, як хотілося б. Це вказало на те, що самі моделі теж вносять власну похибку.

Схожий експеримент провів Джон Шрек з Національного центру атмосферних досліджень. Він успішно повторив метод Хакіма з іншою ШІ-моделлю, але спроба застосувати отримані дані для радикального поліпшення прогнозів поки не дала очікуваного ефекту. Простіше кажучи, чарівної кнопки «Зробити прогноз ідеальним» все ще не існує.

Проте Хакім і Воніч не збираються зупинятися. У найближчих планах — аналіз інших екстремальних погодних явищ минулого і пошук так званих «майже катастроф».

Йдеться про ситуації, коли погода була за крок від руйнівного сценарію — і лише невелика зміна умов могла перетворити звичайний шторм на лихо. Той самий помах крил метелика, тільки в метеоверсії. У цьому їм допоможуть нові моделі, які продовжують з'являтися в провідних наукових лабораторіях, а також більш детальні глобальні бази даних від ECMWF.

Технологічний прогрес вже змінив саму інфраструктуру науки.

«Сьогодні ви можете робити глобальні прогнози на звичайному комп'ютері з хорошою відеокартою, — каже Вонич. — А раніше для цього був потрібен суперкомп'ютер вартістю в сотні мільйонів доларів. Це справжня демократизація науки».

Тепер доступ до серйозних досліджень отримують не тільки найбільші центри, але й невеликі команди, університети та незалежні вчені.

Поки що прогнози на основі штучного інтелекту в основному доповнюють традиційні фізичні моделі, а не замінюють їх. Моделі глибокого навчання все ще залежать від старих наборів даних і класичних симуляцій. Але порівняння двох підходів все частіше змушує метеорологів переглядати колишні уявлення про те, «як правильно» передбачати погоду.

Навіть скептики на кшталт Зельца починають бачити в цьому напрямку серйозний потенціал — особливо коли мова йде про роботу з первинними, «сирими» метеоданими.

Якщо вдасться помітно поліпшити якість вихідних умов, вважає він, прогнози можна буде продовжити ще на кілька днів вперед — без втрати точності.

За оцінками експертів, таке поліпшення може приносити світовій економіці близько 2,1 мільярда доларів на рік. Але справа не тільки в грошах. Більш точні прогнози — це врятовані життя, вчасно проведені евакуації і, врешті-решт, просто менше людей, які промокли під раптовою зливою.