Распаковка информации о качестве данных MODIS - История изменений

Александр Мурый: /* Получение уникальных значений */

2016-11-06T14:17:05Z

Получение уникальных значений

← Предыдущая версия		Версия от 16:17, 6 ноября 2016
Строка 132:		Строка 132:
	Возможных комбинаций значений значительно больше, чем осмысленных, и еще меньше, чем реально находящихся в растрах, поэтому самый правильный способ — извлечь из растров QA все реально присутствующие там уникальные значения.		Возможных комбинаций значений значительно больше, чем осмысленных, и еще меньше, чем реально находящихся в растрах, поэтому самый правильный способ — извлечь из растров QA все реально присутствующие там уникальные значения.

	Это легко делается, например, с помощью [https://raw.githubusercontent.com/~~simgislab~~/dhi/master/get_unique.py скрипта на Python], который принимает на входе список папок или список растров, в которых надо обработать растры, и имя текстового файла, куда будут сложены уникальные значений из них всех.		Это легко делается, например, с помощью [https://raw.githubusercontent.com/nextgis/dhi/master/general/get_unique.py скрипта на Python], который принимает на входе список папок или список растров, в которых надо обработать растры, и имя текстового файла, куда будут сложены уникальные значений из них всех.

	<pre>python get_unique.py out.txt -fs dir1,dir2,dir3</pre>		<pre>python get_unique.py out.txt -fs dir1,dir2,dir3</pre>

Максим Дубинин: /* Результаты */

2016-01-19T20:53:07Z

Результаты

← Предыдущая версия		Версия от 22:53, 19 января 2016
Строка 183:		Строка 183:

	==Результаты==		==Результаты==
	~~Здесь можно скачать готовые~~ перекодировочные таблицы ~~для следующих продуктов MODIS~~:		Готовые перекодировочные таблицы доступны в [https://github.com/nextgis/modis_quality_assessmet_tables репозитории Github].

	*~~[[Файл:Qa-MCD15A2-FparLai QC.zip\|MCD15A2]] —~~ MCD15A2: Leaf Area Index - Fraction of Photosynthetically Active Radiation 8-Day L4 Global 1km		На данный момент есть таблицы для следующих продуктов MODIS:
	*~~[[Файл:Qa-MOD13A2-VI Quality.zip\|MOD13A2]] —~~ MOD13A2: Vegetation Indices 16-Day L3 Global 1km. ~~Эквивалентна~~ MOD13A1.
	*~~[[Файл:Qa-MCD17A2-Psn QC 1km.zip\|MOD17A2]] — MOD17A2:~~ Gross Primary Productivity 8-Day L4 Global 1km		* MCD15A2: Leaf Area Index - Fraction of Photosynthetically Active Radiation 8-Day L4 Global 1km
	*~~[[Файл:Qa-MCD12Qq-Land Cover Type QC.zip\|MCD12Q1]] —~~ MCD12Q1: Land Cover Type Yearly L3 Global 500 m SIN Grid.		* MOD13A2: Vegetation Indices 16-Day L3 Global 1km. Эквивалент MOD13A1.
			* Gross Primary Productivity 8-Day L4 Global 1km
			* MCD12Q1: Land Cover Type Yearly L3 Global 500 m SIN Grid.

	[[Файл:Modis-qa-decode.png\|750px\|thumb\|center\|Фрагмент таблицы расшифровки QA продукта MOD13A2]]		[[Файл:Modis-qa-decode.png\|750px\|thumb\|center\|Фрагмент таблицы расшифровки QA продукта MOD13A2]]

Александр Мурый в 21:03, 18 декабря 2015

2015-12-18T21:03:04Z

Александр Мурый в 20:52, 18 декабря 2015

2015-12-18T20:52:47Z

Внесённые изменения

Максим Дубинин: /* Введение */

2015-12-17T16:56:06Z

Введение

← Предыдущая версия		Версия от 18:56, 17 декабря 2015
Строка 13:		Строка 13:
	* SCF_QC (five level confidence score): Main (RT) method failed due to problems other than geometry, empirical algorithm used		* SCF_QC (five level confidence score): Main (RT) method failed due to problems other than geometry, empirical algorithm used

	~~Это~~ статья посвящена тому, как распаковать данные MODIS QA в человекочитаемый вид для более обоснованного решения о выбраковке плохих пикселей. Сначала идет теоретическая часть рассказывающая как устроены данные, а затем практика, показывающая как сделать таблицу пересчета в LibreOffice Calc. По ряду продуктов приводятся готовые таблицы расшифровки QA.		Эта статья посвящена тому, как распаковать данные MODIS QA в человекочитаемый вид для более обоснованного решения о выбраковке плохих пикселей. Сначала идет теоретическая часть рассказывающая как устроены данные, а затем практика, показывающая как сделать таблицу пересчета в LibreOffice Calc. По ряду продуктов приводятся готовые таблицы расшифровки QA.

	==Теория==		==Теория==

Максим Дубинин в 16:55, 17 декабря 2015

2015-12-17T16:55:52Z

← Предыдущая версия		Версия от 18:55, 17 декабря 2015
Строка 1:		Строка 1:
	{{Статья\|Черновик}}		{{Статья\|Черновик}}
	{{Аннотация\|В статье разбирается вопрос распаковки и расшифровки информации о качестве данных ~~продукто~~ MODIS}}		{{Аннотация\|В статье разбирается вопрос распаковки и расшифровки информации о качестве данных продуктов MODIS}}

	==Введение==		==Введение==

Максим Дубинин: /* Результаты */

2015-12-17T16:52:26Z

Результаты

← Предыдущая версия		Версия от 18:52, 17 декабря 2015
Строка 187:		Строка 187:

	*[[Файл:Qa-MCD15A2-FparLai QC.zip\|MCD15A2]] - MCD15A2: Leaf Area Index - Fraction of Photosynthetically Active Radiation 8-Day L4 Global 1km		*[[Файл:Qa-MCD15A2-FparLai QC.zip\|MCD15A2]] - MCD15A2: Leaf Area Index - Fraction of Photosynthetically Active Radiation 8-Day L4 Global 1km
	*[[Файл:Qa-MOD13A2-VI Quality.zip\|MOD13A2]] - MOD13A2: Vegetation Indices 16-Day L3 Global 1km		*[[Файл:Qa-MOD13A2-VI Quality.zip\|MOD13A2]] - MOD13A2: Vegetation Indices 16-Day L3 Global 1km. Эквивалентна MOD13A1.
	*[[Файл:Qa-MCD17A2-Psn QC 1km.zip\|MOD17A2]] - MOD17A2: Gross Primary Productivity 8-Day L4 Global 1km		*[[Файл:Qa-MCD17A2-Psn QC 1km.zip\|MOD17A2]] - MOD17A2: Gross Primary Productivity 8-Day L4 Global 1km
	*[[Файл:Qa-MCD12Qq-Land Cover Type QC.zip\|MCD12Q1]]: MCD12Q1: Land Cover Type Yearly L3 Global 500 m SIN Grid		*[[Файл:Qa-MCD12Qq-Land Cover Type QC.zip\|MCD12Q1]]: MCD12Q1: Land Cover Type Yearly L3 Global 500 m SIN Grid.

	[[Файл:Modis-qa-decode.png\|750px\|thumb\|center\|Фрагмент таблицы расшифровки QA продукта MOD13A2]]		[[Файл:Modis-qa-decode.png\|750px\|thumb\|center\|Фрагмент таблицы расшифровки QA продукта MOD13A2]]

Максим Дубинин: /* Получение уникальных значений */

2015-12-12T04:07:49Z

Получение уникальных значений

← Предыдущая версия		Версия от 06:07, 12 декабря 2015
Строка 133:		Строка 133:
	Возможных комбинаций значений значительно больше, чем осмысленных и еще меньше чем реально находящихся в растрах, поэтому самый правильный способ - извлечь из растров QA все реально присутствующие там уникальные значения.		Возможных комбинаций значений значительно больше, чем осмысленных и еще меньше чем реально находящихся в растрах, поэтому самый правильный способ - извлечь из растров QA все реально присутствующие там уникальные значения.

	Это легко делается с помощью скрипта на Python, который принимает на входе список папок, в которых надо обработать растры и имя текстового файла, куда будут сложены уникальные значений из них всех.		Это легко делается, например, с помощью [https://raw.githubusercontent.com/simgislab/dhi/master/get_unique.py скрипта на Python], который принимает на входе список папок или список растров, в которых надо обработать растры и имя текстового файла, куда будут сложены уникальные значений из них всех.

	<pre>python get_unique.py dir1,dir2,dir3 out.txt</pre>		<pre>python get_unique.py out.txt -fs dir1,dir2,dir3</pre>
			или
			<pre>python get_unique.py out.txt -rs raster1.tif,raster2.tif,raster3.tif</pre>

	Результат это просто столбец целочисленных значений, которые вставляются в нашу таблицу - шаблон.		Результат это просто столбец уникальных целочисленных значений, которые вставляются в нашу таблицу - шаблон.

	Количество уникальных значений зависит от продукта, интенсивности его валидации и может варьировать от десятков (MCD15A2) до сотен (MOD13A2).		Количество уникальных значений зависит от продукта, интенсивности его валидации и может варьировать от десятков (MCD15A2) до сотен (MOD13A2).

Максим Дубинин в 04:03, 12 декабря 2015

2015-12-12T04:03:52Z

← Предыдущая версия		Версия от 06:03, 12 декабря 2015
Строка 1:		Строка 1:
	{{Статья\|Черновик}}		{{Статья\|Черновик}}
			{{Аннотация\|В статье разбирается вопрос распаковки и расшифровки информации о качестве данных продукто MODIS}}

	==Введение==		==Введение==
	MODIS - камера дистанционного зондирования на борту спутников Terra и Aqua, снимающая каждую точку на Земле два раза в день и производящая десятки террабайт данных ежедневно. Данные MODIS проходят интенсивную обработку, включающую контроль качества. Помимо всего прочего, большое количество проблем доставляют облака, которые необходимо определенным образом маскировать. Поэтому все [http://gis-lab.info/qa/modislandprod.html продукты на базе данных MODIS] включают слой качества (он же QA=Quality Assessment, QC=Quality Control).		MODIS - камера дистанционного зондирования на борту спутников Terra и Aqua, снимающая каждую точку на Земле два раза в день и производящая десятки террабайт данных ежедневно. Данные MODIS проходят интенсивную обработку, включающую контроль качества на всех уровнях продуктов. Помимо всего прочего, большое количество проблем, например, доставляют облака, которые необходимо определенным образом маскировать. Поэтому все [http://gis-lab.info/qa/modislandprod.html продукты на базе данных MODIS] включают слой качества (он же QA=Quality Assessment, QC=Quality Control), который рекомендуется использовать, если вы имеете дело с продуктами MODIS. Однако это не так просто из особой формы хранения данных.

	Проблема: из целей практичного хранения создателями данные QA "свернуты" в целочисленный вид (UInt8, UInt16), поэтому практически человеко-нечитаемы. Например, для продукта MCD13A2 значение <code>113</code> на самом деле значит следующее:		Проблема: из целей практичного хранения создателями данные QA "свернуты" в целочисленный вид (UInt8, UInt16), поэтому практически человеко-нечитаемы. Что бы их прочитать нужно сначала их правильным образом распаковать. Например, для продукта MCD13A2 значение <code>113</code> на самом деле значит следующее:

	* Overall quality: Other Quality		* Overall quality: Other Quality

Максим Дубинин: /* Введение */

2015-12-12T03:59:18Z

Введение

← Предыдущая версия		Версия от 05:59, 12 декабря 2015
Строка 4:		Строка 4:
	MODIS - камера дистанционного зондирования на борту спутников Terra и Aqua, снимающая каждую точку на Земле два раза в день и производящая десятки террабайт данных ежедневно. Данные MODIS проходят интенсивную обработку, включающую контроль качества. Помимо всего прочего, большое количество проблем доставляют облака, которые необходимо определенным образом маскировать. Поэтому все [http://gis-lab.info/qa/modislandprod.html продукты на базе данных MODIS] включают слой качества (он же QA=Quality Assessment, QC=Quality Control).		MODIS - камера дистанционного зондирования на борту спутников Terra и Aqua, снимающая каждую точку на Земле два раза в день и производящая десятки террабайт данных ежедневно. Данные MODIS проходят интенсивную обработку, включающую контроль качества. Помимо всего прочего, большое количество проблем доставляют облака, которые необходимо определенным образом маскировать. Поэтому все [http://gis-lab.info/qa/modislandprod.html продукты на базе данных MODIS] включают слой качества (он же QA=Quality Assessment, QC=Quality Control).

	Проблема: ~~для экономии места~~ данные QA "свернуты" в целочисленный вид, поэтому практически ~~человеконечитаемы~~. Например, для продукта MCD13A2 значение <code>113</code> на самом деле значит следующее:		Проблема: из целей практичного хранения создателями данные QA "свернуты" в целочисленный вид (UInt8, UInt16), поэтому практически человеко-нечитаемы. Например, для продукта MCD13A2 значение <code>113</code> на самом деле значит следующее:

	* Overall quality: Other Quality		* Overall quality: Other Quality
Строка 12:		Строка 12:
	* SCF_QC (five level confidence score): Main (RT) method failed due to problems other than geometry, empirical algorithm used		* SCF_QC (five level confidence score): Main (RT) method failed due to problems other than geometry, empirical algorithm used

	Это статья посвящена тому, как распаковать данные MODIS QA в человекочитаемый вид для более обоснованного решения о ~~фильтрации данных MODIS~~. Сначала идет теоретическая часть рассказывающая как устроены данные, а затем практика, показывающая как сделать таблицу пересчета в LibreOffice Calc.		Это статья посвящена тому, как распаковать данные MODIS QA в человекочитаемый вид для более обоснованного решения о выбраковке плохих пикселей. Сначала идет теоретическая часть рассказывающая как устроены данные, а затем практика, показывающая как сделать таблицу пересчета в LibreOffice Calc. По ряду продуктов приводятся готовые таблицы расшифровки QA.

	==Теория==		==Теория==

← Предыдущая версия		Версия от 18:52, 17 декабря 2015
Строка 187:		Строка 187:

	*[[Файл:Qa-MCD15A2-FparLai QC.zip\|MCD15A2]] - MCD15A2: Leaf Area Index - Fraction of Photosynthetically Active Radiation 8-Day L4 Global 1km		*[[Файл:Qa-MCD15A2-FparLai QC.zip\|MCD15A2]] - MCD15A2: Leaf Area Index - Fraction of Photosynthetically Active Radiation 8-Day L4 Global 1km
	*[[Файл:Qa-MOD13A2-VI Quality.zip\|MOD13A2]] - MOD13A2: Vegetation Indices 16-Day L3 Global 1km		*[[Файл:Qa-MOD13A2-VI Quality.zip\|MOD13A2]] - MOD13A2: Vegetation Indices 16-Day L3 Global 1km. Эквивалентна MOD13A1.
	*[[Файл:Qa-MCD17A2-Psn QC 1km.zip\|MOD17A2]] - MOD17A2: Gross Primary Productivity 8-Day L4 Global 1km		*[[Файл:Qa-MCD17A2-Psn QC 1km.zip\|MOD17A2]] - MOD17A2: Gross Primary Productivity 8-Day L4 Global 1km
	*[[Файл:Qa-MCD12Qq-Land Cover Type QC.zip\|MCD12Q1]]: MCD12Q1: Land Cover Type Yearly L3 Global 500 m SIN Grid		*[[Файл:Qa-MCD12Qq-Land Cover Type QC.zip\|MCD12Q1]]: MCD12Q1: Land Cover Type Yearly L3 Global 500 m SIN Grid.

	[[Файл:Modis-qa-decode.png\|750px\|thumb\|center\|Фрагмент таблицы расшифровки QA продукта MOD13A2]]		[[Файл:Modis-qa-decode.png\|750px\|thumb\|center\|Фрагмент таблицы расшифровки QA продукта MOD13A2]]

← Предыдущая версия		Версия от 23:03, 18 декабря 2015
Строка 117:		Строка 117:

	===Реализация===		===Реализация===
	В качестве "коленки" будет ~~использовать~~ LibreOffice Calc. Вероятно те же самые формулы заработают и в MS Excel, но автор этой статьи это не проверял. Реализовывать распаковку будем в Calc с целью визуализировать и ~~прочитать,~~ осмыслить все значения. В будущем разумеется было бы неплохо придумать для этого скрипт на Python или библиотеку. Так как эта процедура уже была произведена для ряда продуктов (см. ниже), используем таблицу для одного из них в качестве шаблона.		В качестве "коленки" будет использоваться LibreOffice Calc. Вероятно, те же самые формулы заработают и в MS Excel, но автор этой статьи это не проверял. Реализовывать распаковку будем в Calc с целью визуализировать, а также прочитать и осмыслить все значения. В будущем, разумеется, было бы неплохо придумать для этого скрипт на Python или библиотеку. Так как эта процедура уже была произведена для ряда продуктов (см. ниже), используем таблицу для одного из них в качестве шаблона.

	Для каждого продукта есть страница описания, где можно ~~подчерпнуть~~ информацию о битах, их значениях и расшифровке. Вот например для [https://lpdaac.usgs.gov/dataset_discovery/modis/modis_products_table/mod13a2 MOD13A2].		Для каждого продукта есть страница описания, где можно почерпнуть информацию о битах, их значениях и расшифровке. Вот, например, для [https://lpdaac.usgs.gov/dataset_discovery/modis/modis_products_table/mod13a2 MOD13A2].

	====Извлечение QA растров====		====Извлечение QA растров====
	Раньше для получения данных MODIS из HDF было принято использовать MRT, но сейчас извлечение растров QA стало ~~удобно~~ делать с помощью gdal_translate.		Раньше для получения данных MODIS из HDF было принято использовать MRT, но сейчас извлечение растров QA стало удобнее делать с помощью утилиты ''gdal_translate''.

	Например, для одного тайла MOD13A2:		Например, для одного тайла MOD13A2:
Строка 130:		Строка 130:

	====Получение уникальных значений====		====Получение уникальных значений====
	Возможных комбинаций значений значительно больше, чем осмысленных и еще меньше чем реально находящихся в растрах, поэтому самый правильный ~~способ -~~ извлечь из растров QA все реально присутствующие там уникальные значения.		Возможных комбинаций значений значительно больше, чем осмысленных, и еще меньше, чем реально находящихся в растрах, поэтому самый правильный способ — извлечь из растров QA все реально присутствующие там уникальные значения.

	Это легко делается, например, с помощью [https://raw.githubusercontent.com/simgislab/dhi/master/get_unique.py скрипта на Python], который принимает на входе список папок или список растров, в которых надо обработать растры и имя текстового файла, куда будут сложены уникальные значений из них всех.		Это легко делается, например, с помощью [https://raw.githubusercontent.com/simgislab/dhi/master/get_unique.py скрипта на Python], который принимает на входе список папок или список растров, в которых надо обработать растры, и имя текстового файла, куда будут сложены уникальные значений из них всех.

	<pre>python get_unique.py out.txt -fs dir1,dir2,dir3</pre>		<pre>python get_unique.py out.txt -fs dir1,dir2,dir3</pre>
Строка 138:		Строка 138:
	<pre>python get_unique.py out.txt -rs raster1.tif,raster2.tif,raster3.tif</pre>		<pre>python get_unique.py out.txt -rs raster1.tif,raster2.tif,raster3.tif</pre>

	~~Результат это~~ просто столбец уникальных целочисленных значений, которые вставляются в нашу таблицу - шаблон.		Результат — просто столбец уникальных целочисленных значений, которые вставляются в нашу таблицу-шаблон.

	Количество уникальных значений зависит от продукта, интенсивности его валидации и может варьировать от десятков (MCD15A2) до сотен (MOD13A2).		Количество уникальных значений зависит от продукта, интенсивности его валидации, и может варьировать от десятков (MCD15A2) до сотен (MOD13A2).

	====Пересчет в строку битов====		====Пересчет в строку битов====
Строка 148:		Строка 148:
	<pre>=DEC2BIN(A1,8)</pre>		<pre>=DEC2BIN(A1,8)</pre>

	Проблема в том, что по умолчанию функция DEC2BIN в Calc не работает с числами вне диапазона -512..512 (2^~~10 -~~ один бит на четность). Поэтому, если битов в QA больше чем 10, формулу придется модифицировать следующим образом, например для 16 bit:		Проблема в том, что по умолчанию функция DEC2BIN в Calc не работает с числами вне диапазона -512..512 (2^10 — один бит на четность). Поэтому, если битов в QA больше, чем 10, формулу придется модифицировать следующим образом, например, для 16 bit:

	<pre>=DEC2BIN((MOD(A2,65536)/512),7)&DEC2BIN(MOD(A2,512),9)</pre>		<pre>=DEC2BIN((MOD(A2,65536)/512),7)&DEC2BIN(MOD(A2,512),9)</pre>
Строка 160:		Строка 160:
	Можно нагородить IF-ов в формулах, но проще завести отдельный лист для словарей, где держать расшифровки кодов.		Можно нагородить IF-ов в формулах, но проще завести отдельный лист для словарей, где держать расшифровки кодов.

	Например так, в первом ~~столбце -~~ битовое слово, во ~~втором -~~ краткая расшифровка (она попадет в таблицу), в ~~третьем -~~ полная:		Например так, в первом столбце — битовое слово, во втором — краткая расшифровка (она попадет в таблицу), в третьем — полная:

	<pre>VI usefulness		<pre>VI usefulness
Строка 185:		Строка 185:
	Здесь можно скачать готовые перекодировочные таблицы для следующих продуктов MODIS:		Здесь можно скачать готовые перекодировочные таблицы для следующих продуктов MODIS:

	*[[Файл:Qa-MCD15A2-FparLai QC.zip\|MCD15A2]] - MCD15A2: Leaf Area Index - Fraction of Photosynthetically Active Radiation 8-Day L4 Global 1km		*[[Файл:Qa-MCD15A2-FparLai QC.zip\|MCD15A2]] — MCD15A2: Leaf Area Index - Fraction of Photosynthetically Active Radiation 8-Day L4 Global 1km
	*[[Файл:Qa-MOD13A2-VI Quality.zip\|MOD13A2]] - MOD13A2: Vegetation Indices 16-Day L3 Global 1km. Эквивалентна MOD13A1.		*[[Файл:Qa-MOD13A2-VI Quality.zip\|MOD13A2]] — MOD13A2: Vegetation Indices 16-Day L3 Global 1km. Эквивалентна MOD13A1.
	*[[Файл:Qa-MCD17A2-Psn QC 1km.zip\|MOD17A2]] - MOD17A2: Gross Primary Productivity 8-Day L4 Global 1km		*[[Файл:Qa-MCD17A2-Psn QC 1km.zip\|MOD17A2]] — MOD17A2: Gross Primary Productivity 8-Day L4 Global 1km
	*[[Файл:Qa-MCD12Qq-Land Cover Type QC.zip\|MCD12Q1]]: MCD12Q1: Land Cover Type Yearly L3 Global 500 m SIN Grid.		*[[Файл:Qa-MCD12Qq-Land Cover Type QC.zip\|MCD12Q1]] — MCD12Q1: Land Cover Type Yearly L3 Global 500 m SIN Grid.

	[[Файл:Modis-qa-decode.png\|750px\|thumb\|center\|Фрагмент таблицы расшифровки QA продукта MOD13A2]]		[[Файл:Modis-qa-decode.png\|750px\|thumb\|center\|Фрагмент таблицы расшифровки QA продукта MOD13A2]]
	[[Файл:Modis-qa-decode-vocab.png\|690px\|thumb\|center\|Фрагмент листа словарей QA продукта MOD13A2 используемых для расшифровки]]		[[Файл:Modis-qa-decode-vocab.png\|690px\|thumb\|center\|Фрагмент листа словарей QA продукта MOD13A2, используемых для расшифровки]]

	==Полезные ссылки==		==Полезные ссылки==
	* [https://lpdaac.usgs.gov/sites/default/files/public/modis/docs/MODIS_LP_QA_Tutorial-1b.pdf MODIS Land Products Quality Assurance Tutorial: Part 1]		* [https://lpdaac.usgs.gov/sites/default/files/public/modis/docs/MODIS_LP_QA_Tutorial-1b.pdf MODIS Land Products Quality Assurance Tutorial: Part 1]
	* [https://lpdaac.usgs.gov/sites/default/files/public/modis/docs/MODIS_LP_QA_Tutorial-2.pdf MODIS Land Products Quality Assurance Tutorial: Part 2]		* [https://lpdaac.usgs.gov/sites/default/files/public/modis/docs/MODIS_LP_QA_Tutorial-2.pdf MODIS Land Products Quality Assurance Tutorial: Part 2]