Лига цифровой экономики Лига цифровой экономики
Александр Кобозев, директор направления Data Fusion Лиги цифровой экономики, совместно с Варварой Тюриной, аналитиком направления Data Fusion, рассказали, как собираются метеоданные, почему возникают ошибки в расчетах, а также как погода влияет на продажу бургеров в жару.
Погода волнует людей ежедневно: она выступает как в качестве ежедневной боли, когда нечего надеть на работу, так и в роли спасательного круга, если радует солнышком или позволяет найти тему для разговора с незнакомцем. Согласно опросу онлайн-журнала Psychologies, 94% участников подтвердили, что в плохую погоду в голову приходят грустные мысли, в то время как в хорошую хочется быть активнее.
Небольшой экскурс в историю
Первые шаги в прогнозировании погоды были сделаны в древнем Вавилоне примерно в 650 году до н. э. Местные жители предсказывали изменения погоды, основываясь на наблюдениях за планетами, облаками и оптическими иллюзиями. Только в IV веке до н. э. Аристотель преобразовал их в научную теорию в рамках трактата «Метеорологика», в котором рассказал о погодных явлениях, засухе, землетрясениях и связи осадков с холодом. Тогда ученый ошибочно полагал, что Солнце, звезды, кометы, дожди — явления одной природы, а Земля — центр Вселенной.
Ранее для предсказания погоды люди опирались на приметы. Например, считалось, что пение зяблика на рассвете и небо красноватого оттенка говорят о приближении дождя. Однако, согласно исследованию Яндекс Погоды, всего 20% примет действительно сбываются. Только 75 из 188 народных предсказаний оказались достоверными более чем в 50% случаев: часто большинство примет, наоборот, отражали обратную картину.
Приметы vs. Факты
Первый официальный прогноз погоды был сделан офицером морского флота Робертом Фицроем и опубликован в газете Times в 1860 году. Тогда в Англии начал работу Метеорологический департамент, чьи прогнозы основывались на новаторской концепции — сборе данных с помощью штормгласса, контроля значений температуры, силы и направления ветра, а также показаний барометров. В XIX веке американский метеоролог Эббе Кливленд разработал математический подход к предсказанию погоды под названием «Физическая основа долгосрочного прогнозирования погоды». В дальнейшем его исследования доработал норвежский ученый Вильгельм Бьеркнес, создавший систему, используемую и сегодня. Ему принадлежит открытие атмосферных фронтов, позволившее в будущем создать теорию возникновения и изменений циклонов, а также синоптические карты.
В России систематично собирать метеоданные начали еще при Петре I, а уже в 1724 году открылась первая метеостанция. Тогда при Академии наук проводили наблюдения за изменчивостью погоды с помощью барометра и термометра. Позже, в 1856 году, организовали телеграфный сбор данных, но официальная дата начала работы специализированной службы и выпуска специальных бюллетеней — 13 января 1872 года. К середине XIX века в стране существовало 50 метеорологических станций, а к началу XX века она стала самой широкой сетью в мире.
Помощники в сборе данных
В начале XX века стали востребованы метеорологические станции. Сегодня лидером по их количеству является Китай — там находятся около 15 000 станций. В России их всего 4 500, при этом большинство из них не оснащены дистанционным мониторингом и управлением.
Как определяют погоду
Существует три разновидности метеостанций:
— автоматические профессиональные (автономно отправляют данные в метеоцентры);
— метеобуи (собирают информацию о температуре воды и атмосфере на ее поверхности);
— полуавтоматические профессиональные (подразумевают присутствие метеоролога, контролирующего работу и устраняющего неполадки аппаратуры).
Помимо этого, ежедневно в 12 часов ночи и дня по UTC метеорологи запускают в небо метеозонды — шары, наполненные гелием или водородом, способные подниматься на высоту 35 км над землей (в два раза выше, чем самолеты). Достигнув назначенной точки, радиозонд передает данные о критической температуре, атмосферном давлении, влажности и ветре в верхнем слое атмосферы. Без этого невозможно построить прогнозы на несколько часов вперед.
Чтобы отслеживать облачные образования, зоны интенсивных осадков и опасных явлений (гроза, ураган, град), используют погодные радары, основанные на эффекте Доплера. Частота сигнала, отраженного от движущихся объектов, меняется в зависимости от скорости их движения. Так, сравнив переданный и принятый импульс, можно выяснить, в какой области находится скопление осадков.
Существует несколько видов метеорологических радиолокаторов:
— радар для обнаружения осадков работает в S- и C-диапазонах или в Х-диапазоне на коротких дистанциях;
— радиолокатор для обнаружения облаков (K- или W-диапазон);
— МСТ работает на низких частотах для измерения высоты границ воздушных слоев, имеющих разную плотность;
— авиационный метеорадар используется в Х-диапазоне как навигатор для предупреждения столкновений;
— доплеровский метеорологический радиолокатор позволяет одновременно передавать и принимать горизонтально и вертикально поляризованные волны, а также осуществлять периодическое наблюдение (от 3 до 15 минут) в радиусе обзора 250–300 км. Графическую информацию, полученную с ДМРЛ-С, мы наблюдаем на многих погодных сайтах.
Кроме того, для мониторинга и передачи данных о температуре поверхности Земли и облачном, снежном и ледяном покрове используются метеорологические спутники: геостационарные и полярные. Первые поднимаются на высоту 36 тыс. км над уровнем моря в направлении вращения Земли и развивают скорость, равную скорости вращения планеты. Они охватывают 42% полушария и непрерывно показывают обстановку в крупных регионах. Полярные спутники движутся по более низким орбитам от 850 до 1 000 км и обеспечивают обзор местности с интервалом в шесть часов.
Каждый метеоспутник оснащен двумя типами приборов. Обзорные предоставляют телевизионные и фотоизображения поверхности суши и океанов, а также облачного, снежного и ледяного покрова. Измерительные приборы собирают количественные характеристики о состоянии атмосферы, гидросферы и магнитосферы.
Современная методика прогнозирования
Английский ученый Льюис Ричардсон в 1910 году предложил метод решения дифференциальных уравнений Бьеркнеса с помощью численных методов. Из-за высокой сложности вычислений и отсутствия машинной мощности его идея получила признание только через несколько лет.
Математик Джон фон Нейман запустил проект Electronic Computer Project для разработки и дальнейшего производства устройств, способных решать сложные математические задачи. Первую машину ЭНИАК (Electronic Numerical Integrator and Compute) запустили в 1946 году. По современным меркам, ее вычислительная мощность была ничтожно мала (357 операций умножения или 5 000 операций сложения в секунду), что сильно разнилось с ее внешними данными. Машина состояла из тысяч электронных ламп и сотен тысяч резисторов, конденсаторов и катушек индуктивности и весила при этом более 30 тонн. Уже в 1950 году с помощью ЭНИАК составили первый математический прогноз погоды по формуле Льюиса Ричардсона. Но проблема была в том, что машина не успевала за меняющейся погодой: чтобы получить прогноз на ближайшие 24 часа, требовалось ровно столько же.
Спустя почти 30 лет с момента производства первой вычислительной машины Сеймур Крэй, основатель компании Cray Research, создал первую супер-ЭВМ — Cray-1. В отличие от ЭНИАК, Cray-1 была способна выполнять до 180 миллионов операций в секунду, что значительно уменьшило время ожидания. И сегодня Cray Inc. остается одним из основных производителей суперкомпьютеров в мире.
Главный суперкомпьютер России, который моделирует погоду, находится в Гидрометцентре. Его производительность оценивается в 1,2 PFLOPS. Инструмент состоит из 976 вычислительных узлов, в каждом из которых два серверных процессора Intel Xeon E5-2697 четвертой версии и 128 Гб оперативной памяти.
Суперкомпьютер
Как собирают данные популярные сервисы
Самые популярные сервисы в России — это Яндекс Погода и Gismeteo.
Gismeteo собирает метеоданные через Всемирную метеорологическую организацию, радары, спутники, метеостанции. После полной обработки в математических моделях синоптик корректирует готовый прогноз и наносит его на карту пользователей.
Яндекс применяет собственную разработку «Метеум», основанную на четырех иностранных прогнозах и одном своем, который делают с помощью модели WRF (Weather Research and Forecasting). Эта система предназначена как для атмосферных исследований, так и для оперативного прогнозирования. Дополнительно сервис применяет технологию Nowcasting, позволяющую делать краткосрочный прогноз (от 2 до 6 часов). По итогу детализированный прогноз погоды графически отражается на карте осадков.
Почему прогнозы бывают неверными
Первая причина неточных предсказаний — ошибки в метеоданных. Когда суперкомпьютер заканчивает модельные вычисления, становится известен детерминированный прогноз погоды на какой-то срок. Здесь может сработать «эффект бабочки»: если в начальных данных была микроскопическая ошибка, в перспективе нескольких дней она превратится в огромную неточность. Чтобы бороться с этой проблемой, можно использовать ансамблевые прогнозы, то есть подставлять в модель искусственные ошибки с помощью генераторов чисел. Например, если метеостанция зафиксировала температуру, равную +10 градусам, в модель можно загрузить значение чуть ниже. В итоге повторных вычислений образуется погодный график: если один прогноз укажет на потепление, а все остальные на похолодание, такие данные будут ошибочными.
Также существует мультимодельный метод, с помощью которого будущее состояние погоды определяется по среднему значению прогнозов нескольких моделей.
Еще один вызов — нехватка метеоданных. В России функционирует только 4 500 метеостанций (в 1,5 раза меньше, чем рекомендует Всемирная метеорологическая организация). Оптимальное расстояние между точками составляет 50 км в условиях равнинной местности и 25 км в горах. При нормальном раскладе в России должно быть установлено не менее 7 000 метеостанций. Эту проблему немного решают данные, поступающие от обычных пользователей с помощью опросов или домашних метеостанций, а также открытая информация от других метеоцентров.
Третья причина — стихийность погоды. Учесть все нюансы практически невозможно. Чем более долгосрочен прогноз, тем больше в нем ошибок. Поэтому людям рекомендуется отслеживать изменения погоды ежедневно. Например, прогноз на 12 часов будет верным с вероятностью 95%. При этом долгосрочные прогнозы, сформированные на несколько дней вперед, окажутся правильными с вероятностью 65%.
Немного о метеомаркетинге, или при чем здесь бургеры?!
Погода задает настроение. Согласно исследованию платформы Joys.Loyalty, около 84% людей совершают импульсивные покупки. Маркетологи стараются выявить закономерность с помощью инструментов Big Data, ищущих корреляцию между выручкой и метеоусловиями.
Например, крупнейшая торговая сеть Walmart определила, что ветер влияет на продажу ягод. Компания запустила рекламную кампанию в регионах с подобным климатом — так, бренд увеличил продажи в три раза. Кроме того, маркетологи заметили, что мясной фарш отлично продается в теплую солнечную погоду, когда на улице есть слабый ветер. Это исследование помогло увеличить продажи бургеров на 18%.
Как погода влияет на продажи
Американский телеканал The Weather Channel отслеживает влияние погоды на эмоциональный фон телезрителей. Его сотрудничество с брендом Pantene помогло увеличить продажи продукции за два месяца на 10%. Совместно с аптечной сетью Walgreens компания решила рекламировать средство для вьющихся волос в период высокой влажности воздуха. Это повлияло на весь рынок товаров для ухода за волосами — совокупные продажи в сегменте увеличились на 4%.
Сопоставляя метеоданные и расписание авиарейсов, гостиничная сеть Red Roof таргетировала маркетинговую кампанию на те регионы, где полеты часто отменяют или переносят из-за погодных условий. Предлагая пассажирам размещение в отелях вблизи аэропортов, компания увеличила прибыль на 10%.
Сегодня технологии способны на многое, в том числе подстраиваться под погодные условия в конкретном регионе. Например, сервис Spotify выпустил песню группы White Denim, которую пользователи могут прослушать только во время дождя.
Источник: hightech.fm
