Обновляемая база данных дистанционного мониторинга возгораний
Источник данных
Источником данных тепловых аномалий MOD14 и MYD14 является FTP-сервер USGS.
Каталог с данными MOD14 (Terra): MODIS_Dailies_C/MOLT/MOD14.005, каталог с данными MYD14 (Aqua): MODIS_Dailies_C/MOLA/MYD14.005.
Периодичность синхронизации
Процесс синхронизации запускается в автоматическом режиме каждые 15 минут. По окончанию синхронизации в конфигурационный файл записывается имя последнего синхронизированного каталога. При следующей синхронизации это имя считывается, конвертируется в дату (имя каталога имеет вид YYYY.MM.DD), от полученного результата отнимается величина обратного просмотра (в днях), после чего выполняется непосредственно процесс синхронизации каталогов, попавших в рассчитанный диапазон. Используемая величина обратного просмотра составляет 2 дня.
Результаты синхронизации
В результате синхронизации скачиваются все файлы метаданных *.xml, осуществляется их анализ и если хотя бы один из «горящих» пикселов попадает в ограничивающий прямоугольник территории РФ, то происходит скачивание соответствующего HDF-файла, содержащего непосредственно данные. Архив НDF-файлов доступен по адресу. Все данные сгруппированы по модели спутника и по дате. Данные со спутников TERRA и AQUA доступны с самого первого дня приёма - 2000.02.24 (TERRA) и 2002.07.04 (AQUA).
Использование полученных данных в ГИС
Так как большинство ГИС не поддерживают формат HDF напрямую, то для удобства использования данные о тепловых аномалиях извлекаются из HDF-файлов и заносятся в пространственную базу данных PostGIS. Параметры доступа к базе данных:
- cервер: gis-lab.info
- логин: guest
- пароль: guest
- имя базы: mod14
- имя таблицы: spots
Каждому пикселу тепловой аномалии в БД соответствеут одна запись. На настоящий момент (2012.08.05) количество записей - 5749943. Очевидно, что работать с таким количеством записей напрямую в ГИС не представляется возможным, поэтому рекомендуется вначале подготовить выборку адекватного размера, сконвертировать её в необходимый формат и уже работать непосредственно с ней. Для выполнения этой задачи можно выбрать любой инструмент, в частности утилиту ogr2ogr.
Пример выгрузки данных из базы за период с 1 августа:
ogr2ogr -sql "select * from spots where date >= '2012-08-01'" ./mod14_2012.shp PG:"host=gis-lab.info user=guest dbname=mod14 password=guest"
Также существуют shape-файлы, разбитые по годам в рамках каждого из спутников, архив за текущий год обновляется 1 раз в час. Данные доступны по адресу.
Предыдущие проекты по загрузке MOD14
В июле 2011 года в рамках подготовки к конкурсу был выполнен схожий по целям проект - закачка данных MOD14 и выгрузка полученных данных в базу. Результаты того проекта доступны по следующему адресу. В настоящее время все hdf-файлы перезакачаны по-новому в автоматическом режиме и полностью обновлена база данных (при сохранении той же структры).
Примечание
Во избежании дублирования результаты этого проекта следует считать недействительными.
Дополнительно
Исходный код скрипта по синхронизации доступен здесь.