Обновляемая база данных дистанционного мониторинга возгораний

Эта страница является черновиком статьи.

Источник данных

Источником данных тепловых аномалий MOD14 и MYD14 является FTP-сервер USGS.

Каталог с данными MOD14 (Terra): MODIS_Dailies_C/MOLT/MOD14.005, каталог с данными MYD14 (Aqua): MODIS_Dailies_C/MOLA/MYD14.005.

Периодичность синхронизации

Процесс синхронизации запускается в автоматическом режиме каждые 15 минут. По окончанию синхронизации в конфигурационный файл записывается имя последнего синхронизированного каталога. При следующей синхронизации это имя считывается, конвертируется в дату (имя каталога имеет вид YYYY.MM.DD), от полученного результата отнимается величина обратного просмотра (в днях), после чего выполняется непосредственно процесс синхронизации каталогов, попавших в рассчитанный диапазон. Используемая величина обратного просмотра составляет 2 дня.

Результаты синхронизации

В результате синхронизации скачиваются все файлы метаданных *.xml и осуществляется их анализ. Анализ проводится по нижеприведённой схеме. Внутри каждого *.xml-файла присутствует секция подобного содержания:

<SpatialDomainContainer>
    <HorizontalSpatialDomainContainer>
        <GPolygon>
            <Boundary>
                <Point>
                    <PointLongitude>139.098279575898</PointLongitude>
                    <PointLatitude>53.1580049026083</PointLatitude>
                </Point>
                <Point>
                    <PointLongitude>172.226522450819</PointLongitude>
                    <PointLatitude>48.3897465645636</PointLatitude>
                </Point>
                <Point>
                    <PointLongitude>162.996636607195</PointLongitude>
                    <PointLatitude>31.455147456383</PointLatitude>
                </Point>
                <Point>
                    <PointLongitude>137.797825499087</PointLongitude>
                    <PointLatitude>34.8734794203352</PointLatitude>
                </Point>
            </Boundary>
        </GPolygon>
    </HorizontalSpatialDomainContainer>
</SpatialDomainContainer>

описывающая ограничивающий прямоугольник представленных в HDF-файле данных. Если этот прямоугольник пересекает ограничивающий прямоугольник территории РФ, то происходит скачивание соответствующего HDF-файла. Архив НDF-файлов доступен по адресу. Все данные сгруппированы по модели спутника и по дате. Данные со спутников TERRA и AQUA доступны с самого первого дня приёма - 2000.02.24 (TERRA) и 2002.07.04 (AQUA).

Использование полученных данных в ГИС

Так как большинство ГИС не поддерживают формат HDF напрямую, то для удобства использования данные о тепловых аномалиях извлекаются из HDF-файлов и заносятся в пространственную базу данных PostGIS. Параметры доступа к базе данных:

• cервер: gis-lab.info
• логин: guest
• пароль: guest
• имя базы: mod14
• имя таблицы: spots

Каждому пикселу тепловой аномалии в БД соответствеут одна запись. На настоящий момент (2012.08.05) количество записей - 5749943. Очевидно, что работать с таким количеством записей напрямую в ГИС не представляется возможным, поэтому рекомендуется вначале подготовить выборку адекватного размера, сконвертировать её в необходимый формат и уже работать непосредственно с ней. Для выполнения этой задачи можно выбрать любой инструмент, в частности утилиту ogr2ogr.

Пример выгрузки данных из базы за период с 1 августа:

ogr2ogr -sql "select * from spots where date >= '2012-08-01'" ./mod14_2012.shp PG:"host=gis-lab.info user=guest dbname=mod14 password=guest"

Также существуют shape-файлы, разбитые по годам в рамках каждого из спутников, архив за текущий год обновляется 1 раз в час. Данные доступны по адресу.

Предыдущие проекты по загрузке MOD14

В июле 2011 года в рамках подготовки к конкурсу был выполнен схожий по целям проект - закачка данных MOD14 и выгрузка полученных данных в базу. Результаты того проекта доступны по следующему адресу. В настоящее время все hdf-файлы перезакачаны по-новому в автоматическом режиме и полностью обновлена база данных (при сохранении той же структры).

Примечание

Во избежании дублирования результаты этого проекта следует считать недействительными.

Дополнительно

Исходный код скрипта по синхронизации доступен здесь.