Проверка события: проверка статистики QPF
Другим способом количественной оценки визуальной верификации методом CRA является категоризация прогнозов самих событий по категориям "попадания", "промахи" и т.д. в зависимости от того, было ли их местоположение и интенсивность хорошо предсказаны.
В данном случае была рассчитана статистика CRA для ряда пороговых значений осадков от 10 мм/день до 160 мм/день. На основе этих данных в ходе анализа CRA рассчитывалось количество попаданий, промахов, ложных срабатываний и т.д. Из частоты попаданий и промахов для 17 и 18 июня соответственно для различных пороговых значений осадков (≤1 мм/день, 1-10 мм/день, 10-20 мм/день, 20-40 мм/день и 40-80 мм/день) ясно видно, что NCUM имеет более высокую частоту попаданий и меньшую частоту промахов по сравнению с T574 для всех пороговых значений осадков.
Данные оценки POD, ETS и HK в виде гистограммы для прогнозов T574 на 1-5 день и NCUM на 17 и 18 июня соответственно были рассчитаны для двух различных пороговых значений осадков (10-20 мм; левые панели и 20-40 мм; правые панели) для обеих моделей.
POD определяется как доля наблюдаемых событий, которые также были правильно спрогнозированы, поэтому высокий POD указывает на хорошее умение прогнозировать модель. В данном случае высокий уровень СОЗ будет означать, что многие субъекты прогнозирования с интенсивностью, приблизительно соответствующей наблюдениям, находятся достаточно близко к наблюдаемым субъектам и, следовательно, имеют большее число совпадений.
Для NCUM (с 1-го по 5-й день) POD стабильно выше для прогноза, действительного на 17-е число. Для прогноза, действительного 18 июня, для порога осадков 10-20 мм, NCUM, как и в предыдущем случае, постоянно показывает более высокий POD, чем T574. С другой стороны, для порога осадков 20-40 мм T574 показывает более высокие прогнозы POD на день 1 и день 2 по сравнению с NCUM. Для прогнозов на 3-5 день, при том же пороге осадков, NCUM снова показывает более высокое значение POD, чем T574.
Оценка угрозы (TS или индекс критического успеха [CSI]) измеряет долю наблюдаемых и/или прогнозируемых событий, которые были правильно спрогнозированы. Это можно считать точностью, когда из рассмотрения исключены правильные негативы, т.е. TS касается только тех прогнозов, которые имеют значение. TS зависит от климатической частоты событий (более низкие баллы для редких событий), так как некоторые попадания могут происходить только из-за случайного стечения обстоятельств.
Таким образом, ETS был разработан, чтобы помочь компенсировать эту тенденцию. ETS измеряет долю событий, которые правильно спрогнозированы и учитывают случайные попадания. В настоящем сценарии высокий показатель ETS будет означать, что большое количество правильно спрогнозированных объектов прогнозирования находится недалеко от места нахождения соответствующих объектов наблюдения (попадания), а меньшее количество объектов прогнозирования - далеко от места проведения наблюдений (пропуски и ложные тревоги).
Для 17 июня ETS выше для прогнозов с 1-го по 5-й день, полученных от NCUM. Для прогнозов на 1-й и 2-й день, действительных 18-го июня, ETS в T574 выше для обоих пороговых значений осадков. Тем не менее, для третьего и пятого дней NCUM показывает более высокую ETS по сравнению с T574 для обоих пороговых значений осадков. Также ETS уменьшается с увеличением времени подготовки прогнозов для обеих моделей.
Оценка HK, также известная как True Skill Score (TSS), определяется как разница между количеством попаданий и количеством ложных срабатываний. Высокая оценка HK указывает на большее количество попаданий по сравнению с ложными срабатываниями. Более высокий балл HK в данном исследовании означает, что количество попаданий, т.е. количество объектов прогнозирования, которые были спрогнозированы с интенсивностью и расположением рядом с объектами наблюдения, выше, чем количество ложных срабатываний, которое определяется как объект прогнозирования, имеющий интенсивность намного выше, чем наблюдения, и его прогнозируемое местоположение находится далеко от объекта. В этом случае NCUM показывает более высокий балл HK для прогноза, действительного 17 июня.
Оценка HK для NCUM намного ближе к 1 (высший балл) для прогнозов на 1-й и 2-й день и снижается после этого на 10-20 мм порог осадков. Тем не менее, для порога осадков 20-40 мм значения баллов ниже для обеих моделей. Для прогноза на 1-й день, действительного 18 июня, T574 показывает более высокий балл HK, чем NCUM, но со 2-го по 5-й день прогнозы показывают лучшие навыки, чем T574.
Выводы
В данной работе проводится сравнение относительных навыков T574 и NCUM в прогнозировании экстремальных осадков (и связанных с ними синоптических систем), наблюдаемых над Уттаракхандом и прилегающими районами в течение 17 и 18 июня 2013 года. Эти осадки были вызваны многими факторами, включая взаимодействие двух синоптических систем: WD (наблюдалось с 16 по 18 июня) в верхних уровнях и системой низкого давления в нижних уровнях, которая возникла в Бенгальском заливе 13 июня и сместилась на северо-запад до 18 июня 2013 года.
Интенсивность осадков в этом случае была усугублена сложной орографией региона и преобладающими летними условиями, что сделало его редким экстремальным явлением и вызовом для специалистов по прогнозированию погоды.
Прогнозы NCUM успешно охватывают все аспекты синоптической обстановки, что позволяет улучшить прогнозирование местоположения и количества осадков, наблюдаемых в пострадавшем районе. Хотя местоположение и движение WD были точно предсказаны обеими моделями, направление движения системы низкого давления было правильно предсказано только в NCUM (даже в прогнозах на 5 день). Такая эффективность NCUM в прогнозировании системы низкого давления и ее северо-западного движения привела к лучшей оценке образовавшихся осадков (местоположение и количество) по сравнению с T574 в анализируемой зоне.
Пространственная верификация модели прогнозируемых осадков впервые используется здесь для такого редкого экстремального явления. T574 в значительной степени недооценивает среднюю частоту и объем дождей по сравнению с NCUM, что показывает меньшие процентные погрешности и среднеквадратическую погрешность, а также RMSE и лучший коэффициент корреляции.
Проверка события с использованием таблицы аварийных ситуаций показывает, что NCUM имеет большее количество попаданий и меньшее количество промахов, чем T574. Сравнение, основанное на статистических баллах проверки, таких как POD, ETS и HK, подтверждает лучшие показатели работы NCUM.
Использование комплексного прогнозирования для прогнозирования погоды может оказаться очень полезным при улавливании экстремальных/редких явлений. Глобальная система прогнозирования ансамблей (GEFS) - это система прогнозирования ансамблей, которая функционирует в оперативном режиме на NCMRWF.