Новый способ решения проблемы дефицита данных: преобразование качественных отчетов в количественные данные с помощью LLM. Google использует Gemini для анализа новостей и прогнозирования внезапных наводнений. — techcrunch.com
Несмотря на то, что люди собрали огромный объем метеорологических данных, внезапные наводнения слишком кратковременны и локализованы, чтобы их можно было измерить всесторонне, как это делается с температурой или даже речным стоком с течением времени. Этот пробел в данных означает, что модели глубокого обучения, которые все чаще способны прогнозировать погоду, не могут предсказывать внезапные наводнения.
Чтобы решить эту проблему, исследователи Google использовали Gemini — большую языковую модель Google — для анализа 5 миллионов новостных статей со всего мира, выделив сообщения о 2,6 миллионах различных наводнений и преобразовав эти сообщения в геопривязанный временной ряд, получивший название «Groundsource». По словам Гилы Лойке, менеджера по продуктам Google Research, это первый случай, когда компания использовала языковые модели для подобной работы. Исследование и набор данных были опубликованы в четверг утром.
Используя Groundsource в качестве реального эталона, исследователи обучили модель, построенную на нейронной сети с долгой краткосрочной памятью (LSTM), для обработки глобальных прогнозов погоды и генерации вероятности внезапных наводнений в определенной области.
Модель прогнозирования внезапных наводнений от Google теперь выделяет риски для городских районов в 150 странах на платформе компании Flood Hub и делится своими данными с агентствами по реагированию на чрезвычайные ситуации по всему миру. Антониу Жозе Белеза, сотрудник по реагированию на чрезвычайные ситуации в Сообществе по развитию Южной Африки, который тестировал прогностическую модель с Google, заявил, что она помогла его организации быстрее реагировать на наводнения.
У модели все еще есть ограничения. Во-первых, ее разрешение довольно низкое: она определяет риск в пределах районов площадью 20 квадратных километров. Кроме того, она не так точна, как система оповещения о наводнениях Национальной метеорологической службы США, отчасти потому, что модель Google не использует локальные данные радаров, которые позволяют отслеживать осадки в режиме реального времени.
Однако часть замысла заключалась в том, что проект был разработан для работы в местах, где местные власти не могут позволить себе инвестировать в дорогостоящую инфраструктуру для метеорологического зондирования или не имеют обширных записей метеорологических данных.
«Поскольку мы агрегируем миллионы отчетов, набор данных Groundsource фактически помогает сбалансировать карту», — заявила на этой неделе журналистам Джульет Ротенберг, менеджер программы в команде Google по устойчивости. «Это позволяет нам экстраполировать данные на другие регионы, где информации меньше».
Ротенберг сообщила, что команда надеется, что использование LLM для разработки количественных наборов данных из письменных, качественных источников может быть применено для создания наборов данных о других эфемерных, но важных для прогнозирования явлениях, таких как волны жары и сели.
Маршалл Мутено, генеральный директор Upstream Tech, компании, которая использует аналогичные модели глубокого обучения для прогнозирования речного стока для таких клиентов, как гидроэнергетические компании, заявил, что вклад Google является частью растущих усилий по сбору данных для прогностических моделей погоды на основе глубокого обучения. Мутено является соучредителем dynamical.org — группы, которая курирует коллекцию метеорологических данных, готовых для машинного обучения, для исследователей и стартапов.
«Дефицит данных — одна из самых сложных проблем в геофизике», — сказал Мутено. «В то же время данных о Земле слишком много, а когда вы хотите оценить их по факту, их недостаточно. Это был действительно креативный подход к получению этих данных».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tim Fernholz