Обновляемая база данных дистанционного мониторинга возгораний

Эта страница является черновиком статьи.

Источник данных

Источником данных тепловых аномалий MOD14 и MYD14 является FTP-сервер USGS. Каталог MOD14: MODIS_Dailies_C/MOLT/MOD14.005, каталог MYD14: MODIS_Dailies_C/MOLA/MYD14.005.

Периодичность синхронизации

Процесс синхронизации запускается в автоматическом режиме каждые 15 минут. По окончанию синхронизации в конфигурационный файл записывается имя последнего синхронизированного каталога. При следующей синхронизации это имя считывается, конвертируется в дату (имя каталога имеет вид YYYY.MM.DD), от полученного результата отнимается величина обратного просмотра (в днях), после чего выполняется непосредственно процесс синхронизации каталогов, попавших в рассчитанный диапазон. Используемая величина обратного просмотра составляет 2 дня.

Результаты синхронизации

В результате синхронизации скачиваются все файлы метаданных *.xml, осуществляется их анализ и если хотя бы один из пикселов попадает в ограничивающий прямоугольник территории РФ, то происходит скачивание соответствующего HDF-файла, содержащего непосредственно данные. Архив НDF-файлов доступен по адресу. Все данные сгруппированы по модели спутника и по дате. Данные со спутников TERRA и AQUA доступны с самого первого дня приёма - 2000.02.24 (TERRA) и 2002.07.04 (AQUA).

Использование полученных данных в ГИС

Так как большинство ГИС не поддерживают формат HDF напрямую, то для удобства использования данные о тепловых аномалиях извлекаются из HDF-файлов и заносятся в пространственную базу данных PostGIS. Параметры доступа к базе данных:

• cервер: gis-lab.info
• логин: guest
• пароль: guest
• имя базы: mod14
• имя таблицы: spots

Каждому пикселу тепловой аномалии в БД соответствеут одна запись. На настоящий момент (2012.08.05) количество записей - 5749943. Очевидно, что работать с таким количеством записей напрямую в ГИС не представляется возможным, поэтому рекомендуется вначале подготовить выборку адекватного размера, сконвертировать её в необходимый формат и уже работать непосредственно с ней. Для выполнения этой задачи можно выбрать любой инструмент, в частности утилиту ogr2ogr.

Пример выгрузки данных из базы за период с 1 августа:

ogr2ogr -sql "select * from spots where date >= '2012-08-01'" ./mod14_2012.shp PG:"host=gis-lab.info user=guest dbname=mod14 password=guest"

Также существуют shape-файлы, разбитые по годам в рамках каждого из спутников, архив за текущий год обновляется 1 раз в час. Данные доступны по адресу.

Предыдущие проекты по загрузке MOD14

В июле 2011 года в рамках подготовки к конкурсу был выполнен схожий по целям проект - закачка данных MOD14 и выгрузка полученных данных в базу. Результаты того проекта доступны по следующему адресу. В настоящее время все hdf-файлы перезакачаны по-новому в автоматическом режиме и полностью обновлена база данных (при сохранении той же структры).

Примечание

Во избежании дублирования результаты этого проекта следует считать недействительными.

Дополнительно

Исходный код скрипта по синхронизации доступен здесь.