Table of Contents

Введение

Надежные исторические данные о погоде и окружающей среде составляют основу исследований климата, экологической политики и образования. По мере того, как глобальные температуры повышаются, а экстремальные погодные явления становятся все более частыми, необходимость понимать прошлые климатические изменчивости никогда не была более высокой. Тем не менее, достоверность данных, охватывающих десятилетия или столетия, не гарантируется. Изменения в инструментах, перемещения станций, ошибки записи и неполное покрытие могут привести к ошибочным выводам. Для исследователей, преподавателей и студентов важно знать, как оценивать и проверять достоверность исторических данных. Эта статья обеспечивает всеобъемлющую основу для оценки качества данных, от понимания источников и методов сбора до применения строгих методов проверки и принятия лучших практик.

Источники исторических данных о погоде и окружающей среде

Исторические данные поступают из самых разных источников, каждый со своими сильными сторонами и ограничениями.Понимание этих источников — первый шаг в оценке надежности.

Прямые инструментальные записи

Наиболее знакомый источник — прямые инструментальные записи с метеостанций, кораблей и буев. В некоторых регионах температуру, осадки, атмосферное давление, скорость ветра и другие переменные измеряли систематически более века. Ранние приборы часто не имели точности, и ведение записей было непоследовательным. Например, экран Стивенсона, стандартное укрытие для термометров, не был широко принят до конца 19 века, то есть более ранние показания температуры могут быть подвержены влиянию прямых солнечных лучей или плохой вентиляции. Аналогично, изменились конструкции дождевых датчиков и измерения ветра до стандартизации анемометра. Смещение времени наблюдения также влияет на ранние записи; наблюдения, сделанные в разные часы, могут сместить дневные средние на несколько десятых градуса.

Прокси-данные

Там, где инструментальные записи редки или отсутствуют, прокси-данные дают косвенные доказательства прошлого климата. Кольца деревьев (дендрохронология) могут выявлять годовые колебания температуры и влаги на протяжении веков. Ледяные ядра из Гренландии и Антарктиды содержат захваченные воздушные пузырьки, которые сохраняют атмосферный состав и температурные прокси. Осадочные ядра из озер и океанов указывают на изменения в осадках, температуре и условиях экосистемы. Биологические прокси, такие как пыльца, диатомовые водоросли и фораминифера, предлагают сезонное разрешение к столетию. Исторические документы, такие как судовые журналы, дневники и сельскохозяйственные записи, также дают качественную и количественную информацию о погоде. Каждый прокси имеет свои собственные задачи калибровки и временное разрешение, требующее тщательной перекрестной проверки против инструментальных записей. Например, ряды ширины кольца дерева должны быть отклонены, чтобы удалить возрастные модели роста до того, как будут извлечены климатические сигналы.

Спутниковые и реанализовые данные

Спутниковые наблюдения, начиная с 1970-х годов, предлагают глобальный охват и высокое пространственное разрешение для таких переменных, как температура поверхности моря, облачный покров и индексы растительности. Однако спутники требуют калибровки по отношению к земной истине, и разные инструменты могут иметь разные предубеждения. Орбитальный дрейф и деградация датчиков могут вводить ложные тенденции. Наборы данных повторного анализа, такие как ERA5 от Службы изменения климата Коперника, объединяют исторические наблюдения с динамическими моделями для создания согласованных сетчатых полей. В то время как мощные продукты повторного анализа зависят от качества входных данных и физики моделей, а неопределенности варьируются в зависимости от региона и переменной. Пользователи должны проконсультироваться с документацией смещения и рассмотреть несколько повторных анализов при изучении устойчивости тренда.

Фенологические и биологические записи

Наблюдения за повторяющимися природными явлениями, такими как даты цветения, миграция птиц или время сбора урожая, являются ценными долгосрочными климатическими показателями. Европа имеет одни из самых длинных фенологических рядов, с записями дат сбора винограда во Франции, начиная с 14-го века. Эти записи сильно коррелируют с температурами вегетационного периода. Их надежность зависит от согласованности наблюдателей за человеком и отсутствия изменений в землепользовании, которые изменяют циклы растений. Современные полевые руководства и данные из краудсорсинга (например, ] Национальная фенологическая сеть США ] помогают расширять и оцифровывать эти серии.

Ключевые факторы, влияющие на надежность

Несколько факторов могут поставить под угрозу достоверность исторических данных о погоде и окружающей среде. Осведомленность об этих факторах позволяет исследователям предвидеть и исправлять предвзятость.

Изменения в приборостроении и методах

По мере развития технологий приборы модернизируются, развиваются процедуры наблюдения. Переход от ртутных термометров к электронным датчикам, например, может вводить систематические смещения. Осадочные датчики могут иметь разные ветровые щиты, приводящие к недолову снегопада. При слиянии записей с разных приборов крайне важно применять поправки. Всемирная метеорологическая организация (ВМО) предоставляет руководящие принципы для воздействия приборов и калибровки, но историческая документация изменений часто неполная. Даже, казалось бы, тривиальные изменения - такие как цвет краски укрытия или переход от отчетности по Фаренгейту к отчетности по Цельсию - требуют тщательного отслеживания метаданных.

Перемещение и урбанизация станции

Погодные станции иногда перемещаются по практическим причинам, что приводит к перерывам в временных рядах. Станция, перемещённая из сельской местности в аэропорт, может показать неклиматический скачок из-за различий в местной топографии, поверхностном покрытии или эффекте городского теплового острова. Урбанизация вокруг станции может вызвать тенденции потепления, которые не репрезентативны для более широкого региона. Эффект городского теплового острова может добавить 0,5-2 ° C к температурным записям, особенно в ночное время. Корректировка для таких изменений требует подробных метаданных и статистических методов гомогенизации. Международная инициатива по температуре поверхности (ISTI) поддерживает набор эталонных данных для оценки методов гомогенизации.

Ошибки ввода данных и ошибки ввода данных человеком

Ручное наблюдение и транскрипция склонны к ошибкам. Неуместная десятичная точка, заменяемые цифры или неправильно прочитанный инструмент могут создавать выбросы, которые искажают анализы. Даже после оцифровки проверки контроля качества могут пропустить тонкие ошибки. Ранние наблюдения часто проводились добровольцами с различным уровнем обучения, добавляя неопределенность. Современные проекты по спасению данных (например, инициатива по спасению данных [FLT: 0]]NOAA работают над восстановлением и исправлением исторических записей, но многие все еще содержат недостатки. Двойная очистка - где два оператора независимо транскрибируют один и тот же документ - это лучшая практика, которая снижает уровень ошибок ниже 0,1%.

Неполное пространственное и временное покрытие

Исторические наблюдения сосредоточены в населенных регионах Европы, Северной Америки и некоторых частях Азии, в то время как обширные области, такие как океаны, полярные регионы и Африка, имеют мало долгосрочных записей. Это географическое отклонение может искажать глобальные средние значения и оценки тенденций. Временно разрывы возникают из-за войн, экономических спадов или закрытия станций. Пропущенные данные должны обрабатываться с осторожностью - простая интерполяция может маскировать реальную изменчивость или вводить артефакты. Такие показатели, как проект Беркли Земля, используют статистические методы для учета неравномерного охвата при сохранении пространственной согласованности.

Время наблюдения и методы усреднения

Способ вычисления среднесуточных значений со временем изменился. В некоторых ранних записях использовалось среднее значение максимальной и минимальной температур, в то время как в других использовались показания фиксированного часа. Переход от ручных 24-часовых журналов к автоматизированным почасовым данным может изменить общие количества осадков и температурные экстремумы. Алгоритмы гомогенизации часто включают корректировки на отклонения времени наблюдения, но величина этих поправок зависит от региона и сезона.

Методы проверки исторических данных

Существует множество методов оценки и повышения достоверности исторических данных. Объединение нескольких методов дает наиболее надежную уверенность.

Перекрестные ссылки и взаимное сопоставление

Сравнение данных с соседних станций, различных сетей или различных источников (например, инструментальный vs. повторный анализ) может выявить несоответствия. Если одна станция показывает внезапное падение температуры, которое не наблюдается на соседних станциях, это может указывать на перемещение станции или изменение инструмента. Сетчатые наборы данных, такие как ClimateSERV , предоставляют независимые оценки для проверки. Тесты на гомогенность, такие как стандартный нормальный тест на гомогенность (SNHT) или тест Петтитта, обнаруживают искусственные сдвиги в среднем или дисперсии. Пространственная проверка согласованности - например, сравнение отклонения станции от регионального среднего с течением времени - помогают флаг проблемных сегментов.

Гомогенизация и обнаружение разрывов

Статистическая гомогенизация корректирует временные ряды для неклиматических изменений путем идентификации точек останова и применения коррекционных факторов. Пакет R климатол и программное обеспечение HOMER широко используются. Более продвинутые методы, такие как оштрафованный максимальный F-тест (PMF) могут обнаруживать несколько точек останова одновременно. Например, Глобальная историческая климатическая сеть (GHCN) предоставляет гомогенизированные наборы данных, которые включают корректировки для известных смещений. Пользователи всегда должны проверять версию и документацию любого гомогенизированного продукта и понимать, являются ли корректировки относительными (на основе соседних станций) или абсолютными (на основе метаданных инструмента).

Метаданные и анализ документации

Метаданные — записи истории станций, спецификации приборов, время наблюдений и изменения — имеют решающее значение для интерпретации данных. Станция с подробными метаданными позволяет исследователям оценивать потенциальные предубеждения вручную. Руководство ВМО по климатической практике подчеркивает важность метаданных. Когда метаданные скудны, как это часто бывает с более старыми записями, вместо них могут использоваться прокси-индикаторы (например, резкие изменения дисперсии). Оцифровка историй станций является постоянным усилием; ISTI и Copernicus Climate Data Store в настоящее время размещают структурированные метаданные для тысяч станций.

Экспертный обзор и исторический контекст

Понимание исторического контекста сбора данных добавляет качественный уровень проверки. Знание того, когда были введены новые инструменты, когда изменились графики наблюдений (например, от ручного до автоматического), или когда местное землепользование изменилось, может информировать о корректировках данных. Сотрудничество с историками или архивными исследователями может выявить незадокументированные изменения. Например, внезапное исчезновение измерений ветра из судового журнала 19-го века может отражать изменение протокола после морской катастрофы. Такие контекстуальные идеи трудно автоматизировать, но необходимы для высококачественных реконструкций.

Интервалы неопределенности и уверенности

Каждое измерение имеет неопределенность, и надежные исторические данные должны сообщать об этом. Точность приборов, ошибка выборки и ошибка репрезентативности все способствуют. Современные наборы данных повторного анализа часто обеспечивают ансамбль спредов или оценок ошибок. Для прокси-записей неопределенность калибровки обычно выражается как стандартная ошибка. Пользователи должны распространять неопределенности через свои анализы, чтобы избежать чрезмерно уверенных выводов. Отчеты МГЭИК полагаются на рамки неопределенности для взвешивания доказательств из нескольких линий данных. Набор данных Беркли Земля обеспечивает пространственно интерполированные температурные поля с явными картами неопределенности, что позволяет пользователям оценивать уверенность по регионам.

Рамки оценки качества данных

Структурированные структуры помогают обеспечить систематическую оценку надежности данных.

Система управления климатическими данными ВМО

Система управления климатическими данными ВМО (СУУД) обеспечивает стандарты контроля качества климатических данных, включая автоматизированные проверки диапазона, шага, стойкости и внутренней согласованности. Например, показания температуры 50°C в регионе, который никогда не превышает 40°C, будут помечены. Затем в ручном обзоре определяется, является ли значение ошибочным или подлинным экстремальным. СУД также предписывает процедуры для недостающей оценки данных и поддержания метаданных. Он рекомендует многоуровневые флаги качества (например, «вероятно правильный», «подозреваемый», «ошибочный»), которые должны быть сохранены в окончательных наборах данных.

Процедуры контроля качества в центрах обработки данных

Национальные центры обработки данных, такие как Национальные центры экологической информации NOAA (NCEI) и Метеорологическое бюро Великобритании, применяют строгий контроль качества перед выпуском данных. Их процедуры включают в себя дублирование обнаружения, проверку временной согласованности и сравнение с климатическими нормами. Многие наборы данных выпускаются с флагами качества, которые указывают на уровни доверия. Пользователи должны ознакомиться с описаниями флагов перед фильтрацией данных. Например, ежедневные данные GHCN используют ряд числовых флагов для каждого наблюдения; флаг «0» означает отсутствие проблем с качеством, в то время как флаг «A» указывает подозрительные данные, которые все еще могут быть полезны для определенных анализов.

Общинные ориентиры и слепая валидация

Для тестирования методов гомогенизации исследовательское сообщество разработало эксперименты слепой валидации. Участники получают синтетические наборы данных с известными скрытыми местами искусственного скачка, и их способность обнаруживать и исправлять эти скачки оценивается. Проект ISTI Benchmark предоставляет такие наборы данных. Такой подход укрепляет уверенность в методах, используемых для реальных данных. Аналогично, сеть ECA&D использует экспертную оценку серий станций перед включением в свой европейский набор данных.

Прованс данных и цитирование лучших практик

Установление надежности выходит за рамки технической проверки управления происхождением данных. Четкая документация о том, откуда данные поступают, как они обрабатываются и какие версии используются, имеет важное значение для воспроизводимости и доверия.

Происхождение Tracking

Провансовые записи должны включать в себя исходный источник (например, конкретный архив или учреждение), дату доступа, формат данных и любые применяемые преобразования. Для формализации информации о происхождении могут использоваться такие инструменты, как стандарт W3C PROV. При использовании продуктов повторного анализа всегда следует учитывать номер версии и дату последнего усвоенного наблюдения. Для данных станции записывайте идентификатор станции и любые корректировки, сделанные относительно необработанных наблюдений.

Цитаты данных

Многие репозитории, включая Национальное управление океанических и атмосферных данных (NOAA) и хранилище климатических данных Copernicus, наделяют DOI своими продуктами. Включение цитаты в вашу работу позволяет другим копировать ваши методы и гарантирует, что используемая вами версия идентифицируется. Журналы все чаще требуют заявлений о доступности данных с DOI для всех наборов данных, используемых в анализе.

Контроль версий и обновления

Исторические наборы данных часто обновляются по мере спасения новых записей или исправления ошибок. Отслеживайте, какую версию вы использовали, и, по возможности, архивируйте точные файлы данных. Повторный анализ после обновления набора данных может изменить оценки тенденций, особенно в регионах с разницей в данных. Использование сценариев анализа, зависящих от версии, с четкими выходными именами файлов предотвращает путаницу.

Проблемы и будущие направления

Несмотря на достигнутые успехи, по-прежнему сохраняются значительные проблемы в деле установления достоверности исторических данных о погоде и окружающей среде.

Спасение данных и оцифровка

Миллионы наблюдений существуют только в бумажных журналах, судовых журналах или некогда оцифрованных форматах, которые теперь устарели. Спасательные усилия данных, такие как проект NOAA Data Rescue и гражданский научный проект «Старая погода» , имеют решающее значение, но ресурсоемки. Оптическое распознавание символов (OCR) и машинное обучение ускоряют транскрипцию, но ошибки распространены, и ручная проверка по-прежнему необходима. Исследователи, выступающие за финансирование спасения данных, могут помочь заполнить критические пространственные и временные пробелы. Инициатива ACRE (Реконструкция атмосферной циркуляции над Землей) координирует международное спасение ранних инструментальных данных.

Улучшение доступа и функциональной совместимости

Исторические данные хранятся в различных форматах, единицах и языках, что затрудняет интеграцию. Разработка стандартов метаданных (например, ISO 19115) и API (например, Copernicus CDS API) улучшает совместимость, но многие наборы данных остаются изолированными. Инициативы, такие как проект GeoBlue Planet, направлены на создание федеративных систем данных. Пользователи должны выступать за политику открытых данных и использовать стандартные форматы (NetCDF, CSV с согласованными метаданными) для облегчения обмена. Принятие принципов FAIR (Findable, Accessible, Interoperable, Reusable) растет, но неравномерно.

Машинное обучение для качества данных

Искусственный интеллект предлагает новые способы обнаружения и исправления ошибок в исторических данных. Нейронные сети могут идентифицировать аномальные закономерности, вменять недостающие значения и даже реконструировать долгосрочные записи из фрагментированных данных. Однако обучение требует высококачественных эталонных данных, а результаты моделей должны проверяться независимо. Гибридный подход — ИИ в сочетании с экспертным обзором — вероятно, самый надежный путь вперед. Исследовательские группы, такие как сообщество Climate Change AI , разрабатывают инструменты с открытым исходным кодом для автоматизированного контроля качества наблюдений за климатом.

Долгосрочное управление данными

Обеспечение сохранности оцифрованных данных для будущих поколений требует устойчивой институциональной приверженности. Многие исторические наборы данных находятся в единых учреждениях, уязвимых для сокращения бюджета или технологического устаревания. Международные структуры, такие как Всемирная система данных (WDS) и Справочный синтаксис данных (DRS), помогают обеспечить доступность и удобство использования данных. Исследователи могут внести свой вклад, депонируя спасенные данные в признанных хранилищах и поощряя финансирующие учреждения поддерживать долгосрочное архивирование.

Заключение

Установление надежности исторических данных о погоде и окружающей среде является важной, постоянной задачей. От первых показаний термометров до современных спутниковых наблюдений каждый набор данных несет потенциальные предубеждения, которые должны быть поняты и устранены. Тщательно оценивая источники, применяя строгие методы проверки, применяя лучшие практики в области управления данными и цитирования и участвуя в усилиях по проверке сообщества, исследователи, преподаватели и студенты могут уверенно использовать исторические данные для изучения изменения климата, информирования политики и обучения будущих поколений. Достоверность нашего понимания прошлого зависит от качества данных, на которые мы решаем полагаться, и от усердия, с которым мы его подтверждаем.

«Прошлое никогда не умирает. Это даже не прошлое.» — Уильям Фолкнер, адаптированный. Аналогично, исторические данные живут в каждой климатической модели и экологической оценке. Обеспечение его надежности — это не одноразовая задача, а постоянная приверженность прозрачности, сотрудничеству и научной строгости.