LAADS Web - система получения данных MODIS первого уровня обработки
по адресу http://gis-lab.info/qa/laadsweb.html
Описание работы с системой получения данных MODIS - LAADS Web
Данные первого уровня обработки представляют собой предварительный продукт, который для некоторых задач может оказаться более полезным. Данные первого уровня обработки являются данными отражения (Calibrated Radiances), до - L1A и после калибровки - L1B. В отличие от второго, данные первого уровня еще не разрезаны на стандартные фрагменты (tiles), не прошли этап создания 8, 16 дневных композитов и интенсивной атмосферной коррекции таким образом, их временное разрешение не снижено по сравнению с данными второго уровня обработки.
Данные L1B хорошо подходят для визуального анализа, если есть необходимость сохранить максимальное временное разрешение (частоту серии) и 8-мидневные композиты по каким-либо причинам не подходят (иначе может оказаться удобнее использовать продукт MOD09A1).
Основным источником этих данных является система LAADS Web: Level 1 and Atmosphere Archive and Distribution System - Система архивирования и распространения данных первого уровня обработки и атмосферных данных. Как следует из названия, помимо данных первого уровня, через эту систему распространяются так же различные атмосферные продукты (второго и третьего уровней обработки), такие как покрытие облачности, аэрозоли, водяные пары и др. В данном описании мы не будем останавливаться на этих продуктах.
Данная статья представляет из себя краткое описание процесса получения данных MODIS L1B с помощью LAADS Web. Для ознакомления с самими данными и их последующей обработкой рекомендуется ознакомиться с общей информацией и статьями описывающими импорт данных.
Зайти на сайт
Для получения данных регистрации не требуется. Адрес электронной почты спросят в самом конце, на него отправят уведомление о готовности данных к загрузке.
Перейти к интерфейсу поиска
Для перехода к интерфейсу поиска данных необходимо выбрать пункт Data на первой странице и Search на следующей странице.
Перейти к интерфейсу поиска.
Настройка параметров поиска
После появления интерфейса поиска необходимо выбрать следующие параметры поиска:
а) Спутник
Доступные варианты: Terra, Aqua, комбинированные данные Terra+Aqua, вспомогательные данные.
Спутники Terra и Aqua несут одну и ту же камеру MODIS, но производят съемку в разное время, Terra - 10:30, Aqua - 13:30. Орбита Terra является восходящией, Aqua - нисходящей. Благодаря этим отличиям одна и та же территория может значительно различаться в зависимости от того с какого спутника она снята. Организация данных от того с какого спутника они получены не зависит. В нашем случае ограничимся данными со спутника Terra.
б) Группа и тип данных
Доступные варианты: Данные нулевого, первого уровней обработки, атмосферные данные. Как уже упоминалось выше, речь пойдет о первом уровне обработки.
В зависимости от выбранной группы данных изменяется список доступных продуктов. В нашем случае особое внимание нужно обратить на разрешение (250 м, 500 м, 1000 м). С точки зрения дальнейшей обработки, имеет смысл одновременно заказывать и данные о привязке (MOD03 Geolocation) распространяемые как отдельный продукт.
в) Временной диапазон
Следующим нужно выбрать временной диапазон. Даты могут задаваться в различном формате. Временной диапазон можно выбрать как в классическом "от и до" стиле, так и выбрать определенный поддиапазон (например: период май-июнь с 2001 по 2005 год) или просто перечень дат.
г) Выбор коллекции
Данные MODIS постоянно проходят доработку, уточняются параметры и развиваются алгоритмы. Это безусловно улучшает их с одной стороны, но и создает много проблем пользователям, так как существует несколько версий конечного продукта (в терминологии разработчиков - коллекций). Проще всего выбирать последнюю коллекцию, на данный момент это коллекция 6.
д) Выбор региона
Для выбора региона необходимо знать либо его координаты (Latitude/Longitude), либо знать номенклатуру фрагмента данных MODIS соответствующую этому региону.
е) Выбор дневных-ночных данных
Так как в данном случае нас интересуют данные для визуальной оценки, оставляем только дневные данные.
ж) Сохранение настроек
Рекомендуется сохранить настройки поиска для возможности их быстрой загрузки впоследствие. Это можно сделать нажав на кнопку Save в пункте Saved Parameters Selection. В этом же пункте можно будет в дальнейшем загрузить набор параметров для повторного поиска или их модификации.
Файл параметров поиска представляет из себя текстовый файл, содержащий все параметры поиска настроенные выше. При необходимости его легко отредактировать в любом текстовом редакторе.
__PREV_form=AADS startQAPercentMissingData=0.0 fileName= bb_top=62 metaRequired=1 scrollX=0 coordinate_system=LAT_LON north=62 PGEVersion= scrollY=1099 endTime=06/25/2008 23:59:59 startTime=05/01/2008 00:00:00 __PREV_bboxType=NWES endQAPercentMissingData=100.0 products=MOD02QKM products=MOD03 south=58 si=Terra MODIS region=90N,-90S,180E,-180W east=45 orderState= __PREV_coordinate_system=LAT_LON bb_left=40 coverageOptions=D bb_right=45 bboxType=NWES filterPGEVersion=No filterQAPercentMissingData=No temporal_type=RANGE group=Terra Level 1 Products archiveSet=5 west=40 bb_bottom=58
Настройка параметров поиска на этом закончена, нажимаем на кнопку Search и ожидаем появления страницы с результатами поиска.
Результаты поиска
Результаты поиска представлены в виде страницы, на которой указывается общее количество найденных файлов (в случае заказа с MOD03 это число можно разделить на 2, чтобы получить количество найденных сцен) и объем данных.
Результаты поиска организованы в виде таблицы, где данные отражения и привязки сгруппированы попарно. Часть этих данных уже находятся на серверах NASA и их можно тут же скачать, а часть нужно будет подождать. Определить степень "готовности" данных для скачивания можно по колонке Online, где Yes означает, что данные можно скачать сразу, нажав на ссылку в поле File Name. Стоит обратить внимание, что по умолчанию, галка в колонке Add напротив данных которые нужно ждать не стоит, чтобы поставить галки и для этих данных, нужно нажать на кнопку Select offline checkboxes внизу таблицы.
Колонка Add показывает какие из сцен будут включены в заказ.
Само собой разумеется, что перед заказом необходимо убедиться в качестве сцен, просмотрев их предварительные изображения с помощью ссылок в колонке Browse. Оценив визуально качество сцены можно убрать или поставить галки для нее и идущего с ней привязочного файла.
Просмотрев и проставив галки напротив выбранных пар, можно переходить к заказу данных, нажав на кнопку Add Files to Shopping Card.
Заказ данных
На странице заказа данных можно еще раз просмотреть набор заказываемых сцен и исключить некоторые из них убрав галку из колонки Order. Далее, убедившись, что данные не будут проходить дополнительной обработки (которую предполагается делать на компьютере пользователя) нужно нажать на кнопку Order.
На последней странице нужно будет ввести адрес электронной почты и выбрать метод получения данных. Стандартным методом получения данных является FTP.
Через некоторое время после обработки заказа, на указанный адрес электронной почты придет письмо-подтверждение заказа и письмо с инструкциями как получить данные. В инструкциях содержится адрес FTP и папка заказа, зайдя в которую, можно будет скачать все данные.
Эффективная работа с превью
Если вы работаете с данными в видимых диапазонах, вам может быть важна предварительная визуальная оценка изображения. Это может понадобиться, например, если вы не хотите скачивать большой объем информации.
Обычно в этом случае просматривают превью (уменьшенные копии изображений) и ставят галки там, где предварительная оценка показывает подходящее качество изображений. Но что делать, если изображений сотни и просматривать их в браузере утомительно? Удобно сделать так:
- Выполнить поиск как написано выше;
- В таблице (внизу) нажмите Clear all checkboxes - снимутся все галки с результатов;
- Скачайте все превью. Для автоматического выкачивания превью можно использовать скрипт на Python;
- Просмотрите превью и отберите подходящие;
После того как вы отобрали нужные вам данные, нужно их скачать, для этого есть два способа:
1. Просто сделайте так, как описывает инструкция выше:
- Проставьте галки у пар которые вы отобрали (MOD02-MOD03). Однозначно сопоставить превью и соответствующие ему файлы можно по дате и времени съемки. Например, если название файла превью: MOBRGB.A2015171.0800.006.2015174110819.jpg, то найти продукты можно по части: A2015171.0800
- Закажите и скачайте данные.
2. Или автоматизируйте процесс с помощью еще одного скрипта на языке Python. Скрипт смотрит в папку где лежат превью и для каждого находит соответствующие ссылки на продукты и выкачивает MOD02* и MOD03. Разумеется скрипт не поможет, если нужные данные недоступны по ссылкам (в поле Online для них значится No).
Таким образом не автоматизирован остается только собственно отбор превью, его нужно делать вручную, все остальное легко решается скриптами выше.