Перейти к основному содержимому
Перейти к основному содержимому

Исторические метеоданные Тайваня

Этот набор данных содержит исторические метеорологические наблюдения за последние 128 лет. Каждая строка представляет собой измерение для конкретной даты и погодной станции.

Происхождение этого набора данных доступно здесь, а список номеров погодных станций можно найти здесь.

Источники метеорологических наборов данных включают метеорологические станции, созданные Центральным метеорологическим управлением (коды станций начинаются с C0, C1 и 4), а также сельскохозяйственные метеорологические станции, принадлежащие Совету по сельскому хозяйству (коды станций иные, чем указанные выше):

  • StationId
  • MeasuredDate, время наблюдения
  • StnPres, атмосферное давление на станции
  • SeaPres, атмосферное давление на уровне моря
  • Td, температура точки росы
  • RH, относительная влажность
  • Другие элементы, если доступны

Загрузка данных​

Предварительно обработанные данные​

Набор данных также был реорганизован с одного измерения на строку по идентификатору погодной станции и дате измерения, т.е.

Легко выполнять запросы и убедиться, что в результирующей таблице меньше разреженности и некоторые элементы null, поскольку их невозможно было измерить на этой погодной станции.

Этот набор данных доступен по следующему адресу Google CloudStorage. Вы можете скачать набор данных на свою локальную файловую систему (и вставить его с помощью клиента ClickHouse) или вставить его напрямую в ClickHouse (см. Вставка из URL).

Для загрузки:

Оригинальные сырые данные​

Следующие детали касаются шагов для загрузки оригинальных сырых данных, чтобы преобразовать и конвертировать так, как вы хотите.

Загрузка​

Чтобы загрузить оригинальные сырые данные:

Получить погодные станции Тайваня​

Создание схемы таблицы​

Создайте таблицу MergeTree в ClickHouse (из клиента ClickHouse).

Вставка в ClickHouse​

Вставка из локального файла​

Данные могут быть вставлены из локального файла следующим образом (из клиента ClickHouse):

где /path/to представляет собой конкретный путь пользователя к локальному файлу на диске.

И пример ответа после вставки данных в ClickHouse:

Вставка из URL​

Чтобы узнать, как ускорить этот процесс, пожалуйста, посмотрите наш блог о оптимизации загрузки больших объемов данных.

Проверка строк и размеров данных​

  1. Давайте посмотрим, сколько строк было вставлено:
  1. Давайте посмотрим, сколько дискового пространства занимает эта таблица:

Примеры запросов​

Q1: Получить максимальную температуру точки росы для каждой погодной станции в конкретном году​

Q2: Получение сырых данных с конкретным диапазоном времени, полями и погодной станцией​

Благодарности​

Мы хотели бы выразить благодарность Центральному метеорологическому управлению и Сельскохозяйственной метеорологической наблюдательной сети (Станция) Совета по сельскому хозяйству за подготовку, очистку и распространение этого набора данных. Мы ценим ваши усилия.

Ou, J.-H., Kuo, C.-H., Wu, Y.-F., Lin, G.-C., Lee, M.-H., Chen, R.-K., Chou, H.-P., Wu, H.-Y., Chu, S.-C., Lai, Q.-J., Tsai, Y.-C., Lin, C.-C., Kuo, C.-C., Liao, C.-T., Chen, Y.-N., Chu, Y.-W., Chen, C.-Y., 2023. Модель глубокого обучения, ориентированная на применение, для раннего предупреждения о поражении риса в Тайване. Экологическая информатика 73, 101950. https://doi.org/10.1016/j.ecoinf.2022.101950 [13/12/2022]