Сейчас прогнозом погоды никого не удивишь: в каждом смартфоне есть встроенное приложение, которое расскажет о погоде за окном или подскажет, как она будет меняться на неделе. В России многие пользуются Яндекс Погодой — в российском чарте AppStore это первое по скачиваниям приложение в категории «Погода». В нём можно узнать, например, стоит ли в ближайшее время ожидать дождь, где он идёт прямо сейчас, а также — какая температура в соседнем городе. За всем этим стоит Meteum — технология, о которой мы сейчас расскажем.
Ликбез по метеорологическим моделям
Главный инструмент современного метеоролога — это метеорологическая модель. За отправную точку в такой модели берётся информация о погоде на начало расчётов. Скажем, если вы сегодня захотите построить свою метеорологическую модель, для начала вам нужно будет узнать, какая на улице погода. Информация о погоде на начало расчётов должна быть максимально точной — здесь помогут различные измерительные приборы, вроде метеостанций, радиозондов, радаров и спутников.
Далее в дело вступает математика: на основе уравнений, описывающих происходящие процессы в атмосфере, модель рассчитывает, как изменится погода от отправной точки — тех самых данных, с которых начались расчёты.
В мире метеорологических моделей существует около десятка: разные модели есть у разных стран, причём у некоторых их несколько, конкурирующих между собой. Среди моделей можно выделить, например, GFS oт Национального управления океанических и атмосферных исследований США, IFS от Европейского центра среднесрочных прогнозов погоды (саму модель чаще всего называют ECMWF — в честь центра, где она появилась), канадскую GEM, японскую JMA, а также UKMO, разрабатываемую в Великобритании. Некоторые из моделей, например, та же GFS, находятся в открытом доступе — их бесплатно может использовать каждый.
До 2014 года в Яндексе за прогноз погоды отвечала финская компания Foreca, которая частично рассчитывает свои данные на моделях и данных Европейского центра среднесрочных прогнозов погоды. Однако в 2015 году компания запустила собственный сервис прогнозирования — Meteum.
Рецепт прогноза погоды
Несмотря на схожий принцип работы, метеорологические модели всё же отличаются друг от друга — и это часто видно по прогнозам погоды, которые они выдают. На отличия может влиять, например, пространственное разрешение модели (GFS рассчитывает прогноз на 27 километрах, а ECMWF — на 13) или «настройка» под определённую область.
Абсолютно доверять только одной модели прогнозирования, поэтому, нельзя. Например, если эффективность работы модели зависит от топографии, она может хорошо прогнозировать погоду в одном городе на равнине, а в соседнем, в гористой местности, — сильно завышать или занижать температуру и обещать дождь, которого не будет.
Случаются и отдельные — причём довольно критичные — нестыковки в работе моделей. Например, в 2012 году из всех метеорологических моделей только ECMWF удалосьспрогнозировать появление урагана Сэнди на восточном побережье США за неделю до того, как он случился. Остальные модели, включая американскую GFS, прогнозировали, что циклон до суши не доберётся.
При поиске оптимального способа прогнозирования можно пойти другим путём — использовать максимальное количество разных прогнозов и найти самую оптимальную их комбинацию, чтобы максимально точно воспроизвести то, что происходит на самом деле.
Задача Meteum состоит именно в этом. За основу в прогнозировании технология берёт четыре глобальных модели: европейскую ECMWF, американскую GFS, канадскую CMC и японскую JMA. Дополнительно рассчитывается и собственный прогноз с использованием локальной модели WRF с открытым исходным кодом — особенно полезно это в тех местах, где нужно уделить особое внимание точности прогноза.
В Meteum прогнозы разных моделей «смешиваются»: технология находит закономерности в ошибках разных прогнозов, исправляет их и приближает к реальности. За «реальность» в случае Meteum отвечают показатели, снятые метеорологическими станциями.
Помимо самих прогнозов и метеорологических параметров атмосферы в работе Meteum используется множество дополнительных факторов, которые могут прямо или косвенно влиять на погоду. Например, точный прогноз не получится без понимания, как высоко расположено солнце над горизонтом и насколько далеко находится точка измерения от центра города. Важно также учесть то, как высоко сам город стоит над уровнем моря, насколько далеко он расположен относительно крупных водоемов — и так далее. Эти параметры тоже учитываются в прогнозировании, что позволяет существенно повысить точность.
В результате получаются два вида прогноза:
краткосрочный на ближайшие двое суток с интервалом в один час и долгосрочный, который начинает работать на третьи сутки и до десятых — с интервалом уже в три часа. Прогноз рассчитывается в разрешении 2×2 километра для суши и 10×10 километров для водоёмов.
Так что за неделю до поездки на дачу с помощью Meteum можно узнать, какая будет погода в пешей доступности от участка — и понять, есть ли смысл ехать на дачу вообще. А если вдруг соберётесь в море — вам помогут и тут.
Радары, спутники и нейросети
Погода на ближайшую неделю — это важно, интересно и полезно, но всё-таки чаще людей интересует погода хотя бы на день: внезапно начавшийся дождь может сильно подпортить планы, так что с утра бывает необходимо узнать, нужно ли брать зонт.
Чтобы составить прогноз на ближайшие несколько часов, Meteum использует данные с радаров. Метеорологический радар чем-то похож на авиационные радары, которые показывают в фильмах, только вместо самолётов он следит за содержанием воды атмосфере и в радиусе 250 километров может сказать, где идёт дождь, с точностью до двух километров. У радара также хорошее временное разрешение: информация с него обновляется каждые десять минут.
Другими словами, радар может зафиксировать перемещения облаков в довольно большом радиусе с хорошей частотой: на начало наблюдений облако будет в одном месте, через десять минут переместится в другое, ещё через десять переместится ещё дальше — и так далее. На последовательности таких измерений радара Meteum с помощью нейросетей учится находить закономерности и предугадывать, куда в ближайшие часы будут двигаться осадки.
Радары, однако, помогают не всегда, и у этого есть довольно простая причина: они есть не везде. Для сравнения, в Европе установлены 350 радаров, а в России — около 30, причём большинство — в европейской части: Москву нормально покрывает всего два радара, а у Екатеринбурга радаров нет вообще. В таком случае на помощь приходят космические снимки с
геостационарных спутников. Особенность такого спутника в том, что скорость его вращения вокруг Земли совпадает со скоростью вращения Земли вокруг своей оси. Получается, что спутник «зависает» над одной точкой планеты и может раз в 10–15 минут передавать фотографию её поверхности в разных спектрах.
На снимках со спутника Meteum находит области скопления облаков и учится распознавать места, где идёт дождь. А дальше нейросети могут передвигать осадки и делать прогноз на ближайшие два часа — точно так же, как в случае с радарными данными.
В итоге получается своеобразный ультракраткосрочный прогноз или наукастинг — на ближайшие два часа с шагом в десять минут. Пространственное разрешение у него такое же — 2×2 километра — так что спрогнозировать погоду можно вплоть до района.
Наукастинг — от англ. nowcasting, то есть прогноз погоды на сейчас (или ближайшее время).
Просто добавь зонты
На метеорологических моделях, спутниках, радарах и метеостанциях жизнь Meteum не заканчивается. В прошлом году к прогнозированию подключили пользователей Яндекс Погоды: теперь любой желающий может зайти в приложение и отметить, что на улице идёт дождь (или наоборот — что никакого дождя нет). Так у Meteum, предсказывающего погоду на ближайшие несколько часов, появился ещё один источник данных — бдительный пользователь.
Конечно, с таким количеством разных данных велика вероятность того, что источники будут противоречить друг другу. Например, Wi-Fi-роутер с повышенной мощностью сигнала может путать радар и отображаться на экране как поле осадков. Помехи также создают самолёты, птицы и даже насекомые. Что до метеостанций, то дождь может просто пройти мимо «ведёрок», собирающих осадки. К тому же, мы уже говорили про Екатеринбург — город без радаров.
Чтобы свести вместе разнородные источники информации об осадках и быть точнее, Meteum стал больше учиться. Причём главным источником данных для обучения теперь ему служат пользовательские сообщения о дожде: человек, нажимающий кнопку в приложении, становится своеобразной метеостанцией, сообщающей о реальном положении дел на улице. Это сильно помогает, если остальные приборы не справляются: если в одном районе сигнал от людей становится значимым, Meteum создаёт область осадков и показывает на карте зонтик.
В среднем за день Meteum получает около одного миллиона сообщений от пользователей, а если на улице дождь — до трёх миллионов: так о дожде можно узнать даже в том случае, если все остальные источники данных вышли из строя.
Такая ситуация, кстати, вполне реальна. Например, прошлым летом сильнейший ливень в Москве помешал нормальной работе радаров. Следом пропал доступ к станциям приёма спутниковой информации. Несколько часов Meteum на территории Москвы работал, ориентируясь исключительно на сообщения пользователей. Несмотря на то что доступ к профессиональным и объективным инструментам измерения пропал, пользователи помогали сервису и другим людям, сообщая, где дождь идёт, а где он уже закончился.
Персональные сводки
Конечно, прогнозу погоды всегда есть куда развиваться — и то же самое касается Meteum. Движение к персонализированным сводкам серьёзно расширяет представление о том, каким вообще может быть прогноз погоды.
В этом году Яндекс Погода возобновила работу над картой пыльцы для людей с аллергиями. Также как в случае с дождем, сервис начал собирать информацию от людей, на какой аллерген они реагируют. В этом сезоне эти данные используются для отображения актуальной информации по цветению, а к следующему сезону эти сообщения также будут обработаны алгоритмами машинного обучения, чтобы составить прогноз.
А ещё Погода научилась давать тематические прогнозы. К майским праздникам появился прогноз для дачников: в нём можно посмотреть температуру и влажность почвы, увидеть предупреждения о заморозках или засухе. А летом Meteum научился составлять прогнозы для любителей водных видов спорта, в частности — сёрфинга