Общее описание ASTER GDEM
по адресу http://gis-lab.info/qa/aster-gdem.html
Описание структуры и точности продукта
Данный документ представляет собой перевод файл README из комплекта данных ASTER GDEM (ASTER GDEM Readme File – ASTER GDEM Version 1). Перевод отредактирован, дополнен ссылками и главой освещающей доступ и процесс получения данных.
Сокращения
- ASTER - Усовершенствованный спутниковый радиометр теплового излучения и отражения (Advanced Spaceborne Thermal Emission and Reflection Radiometer)
- GDEM - Глобальная цифровая модель рельефа (Global Digital Elevation Model)
- METI - Министерство экономики, торговли и промышленности Японии (Ministry of Economy, Trade, and Industry)
- NASA - Национальное агентством по аэронавтике и космонавтике США (National Aeronautics and Space
Administration) - GEOSS - Глобальная система систем наблюдений Земли (Global Earth Observation System of Systems)
- ERSDAC - Центр анализа данных дистанционного зондирования (Earth Remote Sensing Data Analysis Center)
- LP DAAC - Распределенный центр хранения данных по наземным процессам (Land Processes Distributed Active Archive Center)
Введение
Продукт ASTER GDEM разработан совместно METI и NASA. ASTER GDEM был предоставлен системе GEOS и бесплатно доступен посредством загрузки из интернет через японский центр ERSDAC и LP DAAC NASA. Сенсор ASTER был создан METI и запущен на борту спутника NASA Terra в декабре 1999 года. Сенсор имеет возможность стереоскопической съемки вдоль полосы пролета с помощью двух телескопов, снимающих в надир и назад в ближнем инфракрасном диапазоне с отношением база-высота (base-to-height ratio) - 0.6. Пространственное разрешение в плане - 15 метров. Одна сцена ASTER в видимом или ближнем инфракрасном диапазоне имеет размер 4,100 на 4,200 элементов, что соответствует 60x60 км на поверхности Земли.
Для создания ASTER GDEM использовалась автоматическая обработка всего архива данных ASTER, насчитывающего 1.5 миллиона сцен. Этапы создания: стерео-корреляция для создания 1,264,118 ЦМР на базе данных ASTER, маскирование облачности с целью убрать облачные пиксели, стэки проверенных на облачность ЦМР, фильтрация неправильных значений и выбросов, усреднение выбранных данных для получения окончательных значений и исправление остаточных аномалий перед нарезкой данных на фрагменты размером 1°х1°. Процесс создания бета-версии ASTER GDEM занял около года. Версия 1 отличается от бета-версии незначительно, основным отличием является замена аномальных значений высот севернее 60° с.ш. значением -9999 в Евразии.
Доступ и получение данных
Данные бесплатны и доступны через NASA Reverb. Для определения нужного фрагмента удобно использовать сетку-разграфку 1х1 градуса.
На момент написания статьи существовало ограничение на загрузку данных. Одновременно можно было загружать не более 100 фрагментов. Присутствовали перебои в связи, по-видимому связанные с большой нагрузкой на сервера.
При загрузке данных требуется согласиться со следующими условиями:
1. Я соглашаюсь распространять ASTER GDEM только лицам внутри моей организации или проекта работающим в области чрезвычайных ситуаций.
2. При демонстрации или публикации данных ASTER GDEM, я соглашаюсь включить ссылку "ASTER GDEM is a product of METI and NASA."
В оригинале:
# I agree to redistribute the ASTER GDEM only to individuals within my organization or project of intended use or in response to disasters in support of the GEO Disaster Theme. (Required) # When presenting or publishing ASTER GDEM data, I agree to include "ASTER GDEM is a product of METI and NASA."
Какие ограничения существуют на распространение данных?
Основной принцип - невозможность извлечения исходных данных без потерь. Если на основе вашего продукта можно вычислить оригинальные значения x-y-z, тогда ваш продукт распространять нельзя.
Примеры производных продуктов, которые нельзя распространять:
- Данные сконвертированные из формата GeoTIFF в форматы ESRI
- Мозаицирование данных и распространение в виде фрагментов отличных от оригинальных 1x1 градусов.
- Изменение единиц измерения, например метров на футы
Примеры производных продуктов, которые можно распространять:
- Перепроецирование с пересчетом (resampling), включая методом ближайшего соседа
- Слой крутизны склонов
- Перспективные 3-D визуализации
Можно ли растпространять видеооблеты созданные на базе ASTER GDEM?
Можно если окончательный продукт находится в формате не допускающем получение оригинальных данных(например, avi, Quicktime, wmv).
Параметры ASTER GDEM
Описание параметров ASTER GDEM важных с точки зрения пользователя.
Общие параметы GDEM
ASTER GDEM охватывает поверхность суши между 83° с.ш. и 83° ю.ш. и насчитывает 22,600 фрагментов размером 1°х1°. Оставлены фрагменты, насчитывающие минимум 0.01% поверхности суши. ASTER GDEM распространяется в формате GeoTIFF в географической системе координат (широта/долгота) и разрешением 1 угловая секунда (примерно 30 метров). Система координат данных WGS84/EGM96. В таблице 1 сведены основные характеристики ASTER GDEM. Оценка точности (не гарантированная) глобального продукта - 20 метров (95% доверительный интервал) для данных по вертикали и 30 метров (95% доверительный интервал) по горизонтали.
Таблица 1. Параметры ASTER GDEM
|
Размер фрагмента |
3601 x 3601 (1°х1°) |
|---|---|
|
Разрешение |
1 угловая секунда (30 м) |
| Географические координаты | Широта, долгота |
| Выходной формат ЦМР | GeoTIFF, 16 бит с битом знака, система координат WGS84/EGM96 |
| Специальные значения | -9999 для пробелов в данных, 0 для воды |
| Охват | 83° с.ш. - 83° ю.ш., 22,600 фрагмента (Version 1) |
| Объем на диске | 25 963 980 байт (около 26 мегабайт) |
Упаковка GDEM
Единица данных ASTER GDEM - фрагмент 1°х1°. Каждый фрагмент GDEM содержит два файла сжатых с помощью zip, файл ЦМР и файл контроля качества (QA). Оба файла имеют размерность 3601 колонок на 3601 рядов, соответствующих территории 1°х1°. Фрагменты являются частью блока (Unit Directory) 5°х5°. Каждый блок может содержать до 25 фрагментов. При заказе данных пользователю недоступна структура фрагмента, а только сам заархивированный фрагмент целиком, содержащий файлы ЦМР и QA (Рисунок 1).
Рисунок 1. Структура файла GDEM.
Имя файла фрагмента соответствует широте и долготе геометрического цента нижнего левого (юго-западного) пиксела фрагмента. Например, координаты нижнего левого угла фрагмента ASTGTM_N00E006 0 градусов с.ш. и 6 градусов в.д. Файлы ASTGTM_N00E006_dem и ASTGTM_N00E006_num соответствуют данным ЦМР и QA. Крайние северные и южные ряды и крайние восточные и западные колонки перекрываются и идентичны соответствующим рядам и колонкам соседнего фрагмента.
Описание файла контроля качества
Файл контроля качества (QA) может содержать один из двух параметров: 1) количество ЦМР, использованных для расчета конечного значения для каждого пиксела (размер стэка); или 2) исходный набор данных, использованный для замены неправильных значений в ASTER GDEM. Каждый пиксел QA содержит только один из этих двух параметров.
Автоматические алгоритмы маскирования облачности и статистический подход выбора данных для формирования стэка не являются абсолютно эффективными для детектировании аномальных значений высот, поэтому при размере стэка <= 3 можно ожидать неправильного значения высоты. Там, где это было возможно, для замены неправильных значений были использованы другие наборы данных. Наборы данных, использованные для замены аномальных значений в ASTER GDEM описаны в Таблице 2.
Таблица 2. ЦМР использованные для замены аномальных значений ASTER GDEM Версии 1
|
SRTM3 V3 |
Разрешение: 3 арк-секунды (90 м) |
|---|---|
|
SRTM3 V2 |
Разрешение: 3 арк-секунды (90 м) |
| NED (U.S. National Elevation Data) |
Разрешение: 1 угловая секунда (30 м) Охват: Континентальные США |
| CDED (Canada DEM) |
Разрешение: 3 арк-секунды для широты; 3, 6 и 12 арк-секунды для долготы в зависимости от широты Охват: вся территория Канады |
| Alaska DEM | Разрешение: 2 арк-секунды (60 м) Охват: вся территория Аляски |
Большинство значений QA положительные и соответствуют количеству индивидуальных ЦМР ASTER DEM использованных для получения значения высоты GDEM для этого пиксела. Отрицательные значения соответствуют неправильным значениям и обозначают конкретный набор вспомогательных данных, использованных для замены аномальных значений в ASTER GDEM. Наборы данных и соответствующие им ключевые значения показаны в таблице 3.
Таблица 3. Вспомогательные наборы данных и соответствующие им ключи в файле QA
|
SRTM3 V3 |
-1 |
|---|---|
|
SRTM3 V2 |
-2 |
| NED | -5 |
| CDED | -6 |
| Alaska DEM | -11 |
Результаты предварительной оценки точности ASTER GDEM
ASTER GDEM - продукт с очень широким охватом. Полная валидация и описание продукта будет доступо только после детальной проверки глобальным сообществом пользователей. Однако, перед выпуском продукта NASA и METI, в сотрудничестве с USGS, ERSDAC, и другими участниками, произвели масштабную предварительную проверку ASTER GDEM. Результаты исследования вкратце даются ниже. Обсуждение этой и других оценок точности доступны в Отчете по валидации ASTER DEM (ASTER Global DEM Validation Summary Report).
Оценка точности
Для оценки точности было произведено сравнение 934 фрагментов ASTER GDEM на территорию США (набор CONUS) с данными USGS NED и с более чем 13,000 контрольных точек (GCP). Для сравнения с NED для каждого фрагмента для CONUS были расчитаны: среднее разниц, стандартные отклонения и среднеквадратичная ошибка (RMSE), так же оценка была произведена по классам, типу рельефа согласно National Land Cover Dataset (NLCD) и размера стэка.
В таблице 4 приведены результаты сравнения ASTER GDEM минус NED для класса воды по NLCD, для трех аггрегированных классов NLCD (застройка, лес, открытые территории), и одна дополнительная категория для уменьшения эффекта воды и снега/льда. В таблице 5 представлены результаты сравнения значений GDEM с 13,000 GCP разбросанных по CONUS. Результаты показываются как для высоты пиксела содержащего точку GCP (NN) так и для интерполированного значения (I) с использованием окружающих пикселей. Результаты из таблицы 5 в основном соответствуют таблице 44. Ошибка 10.87 RMSE из таблицы 4 и 9.35 RMSE из таблицы 5 соответствуют близким значениям непосредственно над и под ошибкой в 20 м по вертикали расчитанной при производстве ASTER GDEM.
Таблица 4. Результаты оценки точности ASTER GDEM для CONUS по растровым данным, включая класс воды (NLCD) и три аггрегированных класса. Все значения в метрах.
|
Класс |
Среднее |
Стд.отклон |
RMSE |
|---|---|---|---|
|
Весь CONUS |
-3.64 |
8.75 |
10.87 |
| Вода | -1.32 | 15.71 | 16.53 |
| Застройка | -4.06 | 6.94 | 9.06 |
| Лес | 1.72 | 9.93 | 10.93 |
| Открытые территории | -6.40 | 7.31 | 10.33 |
| Исключая воду, лед и снег | -3.77 | 8.19 | 10.46 |
Таблица 5. Результаты оценки точности ASTER GDEM для CONUS по GCP. Все значения в метрах.
|
(NN = ближайшего соседа; I = интерполированное) |
Кол-во тестов |
Среднее |
RMSE |
Среднее средних |
Среднее RMSE |
|---|---|---|---|---|---|
| GDEM минус GCP (NN) | 13,193 | -3.71 | 9.33 | -3.70 | 9.35 |
| GDEM минус GCP (I) | 13,193 | -3.69 | 9.37 |
Были также предприняты усилия для экстраполяции результатов полученных при изучении фрагментов CONUS ASTER GDEM с другими частями света. Результаты полученные исследователями из японии в основном совпали с результатами для фрагментов CONUS и для опорной ЦМР и для GCP. Результаты были лучше, чем для фрагментов CONUS когда для фрагментов ASTER GDEM была произведено исправление ошибок привязки (Таблица 6).
Таблица 6. Ошибка привязки для семи фрагментов ASTER GDEM по Японии.
|
Фукуока |
Кочи |
Киото |
Нуби |
Осака |
Саитама |
Токио | |
|---|---|---|---|---|---|---|---|
|
Ошибка привязки В-З (м) |
-19.25 |
-16.55 |
-23.63 |
-15.24 |
-8.33 |
-17.25 |
-14.23 |
|
Ошибка привязки С-Ю (м) |
-5.40 | 20.68 | 13.04 | 13.96 | 57.05 | 27.63 | 17.82 |
Также, в рамках предварительной оценки точности исследователями из США и других стран была произведена дополнительная оценка примерно 350 фрагментов ASTER GDEM на всех континентах. Вертикальная точность была оценена с помощью опорного ЦМР SRTM DTED2 (30 м) и GCP проекта ICESat GLAS.
Несмотря на то что результаты оценки варьировали между исследованиями, в целом они соответствовали не-CONUS фрагментам ASTER GDEM. На качество ASTER GDEM могут влиять различные факторы, поэтому RMSE для отдельных не-CONUS фрагментов изменялись от значительно лучших до значительно худших. Однако, общая глобальная точность ASTER GDEM, может быть оценена как равная 20 метрам (доверительный интервал 95%).
Аномалии и артефакты
Важной задачей предварительного тестирования ASTER GDEM было описание специфических особенностей продукта, таких как артефакты и остаточные аномалии. Эти ошибки могут снизить общую точность, затруднить использование для некоторых приложений и просто ухудшают визуальное качество продукта. Как и ожидалось, было обнаружено, что ASTER GDEM содержит ошибки такого рода.
Аномалии особенно свойственны территориям, где размер стэка является маленьким числом, присутствует постоянная облачность и отсутствуют опорные ЦМР для замен значений. В бета версии ASTER GDEM это особенно свойственно фрагментам Евразии расположенным севернее 60°. Большинство этих аномалий в версии 1 были заменены на значение -9999.
Однако, артефакты связанные с линейными или криволинейными границами между областями с различными размерами стэков гораздо более проблематичны, чем просто аномалии связанные с облачностью. Такие артефакты могут принимать форму прямых линий, “ям”, “бугров”, “кротовин” и т.п. Аномальные значения высот связанные с этими артефактами могут изменяться от единиц до сотен метров. Пример "ямы" и его ассоциация с границами районов размера стэка приведен на рисунку 2. Рисунок 3 показывает пример "кротовины" и его связь с границами районов размера стэка.
Рисунок 2. Примеры артефакта типа "яма" на теневой отмывке ASTER GDEM (A) явно связанны с границами районов размеров стэка (B) "ямы" менее очевидны на обычных изображениях ASTER GDEM (C).
Рисунок 3. Примеры артефакта типа "кротовина " на теневой отмывке ASTER GDEM (A) явно связаны с границами районов размеров стэка (B) "ямы" менее очевидны на обычных изображениях ASTER GDEM (C).
В дополнение к перечисленным аномалиям и артефактам еще один недостаток текущей версии ASTER GDEM заключается в том, что при его производстве не применялась маска воды. В результате, высоты огромных площадей озер не постоянны и идентифицировать по ASTER GDEM водный объект невозможно. Несмотря на то, что разрешение продукта 30 м, минимальный размер идентифицируемого элемента топографии составляет 100-120 метров.
Выводы и заключение
Статистически ASTER GDEM соответствует предварительной оценке точности в 20 метров (доверительный интервал 95%) по всему миру. Точность некоторых фрагментов существенно лучше 20 метров, некоторых существенно хуже. Продукт содержит аномалии и артефакты, которые могут уменьшить его применимость в некоторых приложениях, так как они могут вносить существенные на локальных масштабах большие вертикальные ошибки. Несмотря на эти недостатки, ASTER GDEM может оказаться полезным во многих проектах, включая глобальные.
METI и NASA обращают внимание, что Версия 1 ASTER GDEM должна использоваться как экспериментальная или исследовательская. Было принято решение выпустить ASTER GDEM, так как его потенциальные преимущества перевешивают его недостатки, и сообщество пользователей поможет улучшить его в будущем.
Ссылки по теме