GIS-Lab - Вклад [ru]

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-12-05T18:00:50Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений.
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе декстопной версии расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg|700px|thumb|center]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Обучающая выборка (тренинги) состоит из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings).

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (тренингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Здесь следует пояснить, что при создании модели программа использует только те полигоны обучающей выборки которые пересекаются с указанными --input_rasters (если точнее, для всех остальных объектов, значения спектральных каналов будут равны нулю). Полигоны взяты из общего слоя, но для построения модели важны только те которые пересекаются с экстентом указанных в командной строке сцен. Количество каналов (bands) по которым строится модель равно сумме всех каналов сцен перечисленных в --input_rasters. Значения пикселей пересекающие полигоны (также можно использовать линии или точки) обучающей выборки (тренингов), на основе которых и строится модель классификации, можно сохранить в виде точечного слоя (опция --save_points). Также можно сохранить и саму модель (опция --save_model). Для каждой поддиректории (path/row) модель будет уникальной, поскольку строится только на тех полигонах (из слоя cut1.shp) которые пересекаются со снимком.

Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py скрипта] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg|700px|thumb|center]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg|700px|thumb|center|Результат анализа изменений по снимкам Landsat слева - общий результат, справа примеры снимков до (декабрь 2015) и после (январь-февраль 2016) нарушения, и результат классификации]]

[[Файл:Pic2res.jpg|700px|thumb|center|Пример выявления выборочной рубки]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть [http://gis-lab.info/qa/regress-r.html нормализованы].

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row создается отдельная модель для классификации. В нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории), поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные (--save_points) для создания общей для всех сцен модели и последовательно применим ее к каждой поддиректории с данными.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg|700px|thumb|center|Точечный слой треннингов для созданий модели]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg|700px|thumb|center|Точечный слой треннингов для отдельной рубки (пример)]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg|700px|thumb|center|Результат классификации. Сверху-вниз примеры выявления выборочных рубок на снимках Landsat до и после нарушения. Дата снимка - в верхнем левом углу.]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в значения излучения на сенсоре ([https://grasswiki.osgeo.org/wiki/Atmospheric_correction toar reflectance]).

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py здесь].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.

Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg|700px|thumb|center|Точечный слой треннингов на облачность]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg|700px|thumb|center|Результат классификации - маска облаков (синим), справа примеры снимка с результатом классификации (справа внизу) и без (справа вверху)]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей.

Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-12-05T18:00:10Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений.
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе декстопной версии расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg|700px|thumb|center]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Обучающая выборка (тренинги) состоит из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings).

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (тренингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Здесь следует пояснить, что при создании модели программа использует только те полигоны обучающей выборки которые пересекаются с указанными --input_rasters (если точнее, для всех остальных объектов, значения спектральных каналов будут равны нулю). Полигоны взяты из общего слоя, но для построения модели важны только те которые пересекаются с экстентом указанных в командной строке сцен. Количество каналов (bands) по которым строится модель равно сумме всех каналов сцен перечисленных в --input_rasters. Значения пикселей пересекающие полигоны (также можно использовать линии или точки) обучающей выборки (тренингов), на основе которых и строится модель классификации, можно сохранить в виде точечного слоя (опция --save_points). Также можно сохранить и саму модель (опция --save_model). Для каждой поддиректории (path/row) модель будет уникальной, поскольку строится только на тех полигонах (из слоя cut1.shp) которые пересекаются со снимком.
Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py скрипта] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg|700px|thumb|center]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg|700px|thumb|center|Результат анализа изменений по снимкам Landsat слева - общий результат, справа примеры снимков до (декабрь 2015) и после (январь-февраль 2016) нарушения, и результат классификации]]

[[Файл:Pic2res.jpg|700px|thumb|center|Пример выявления выборочной рубки]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть [http://gis-lab.info/qa/regress-r.html нормализованы].

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row создается отдельная модель для классификации. В нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории), поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные (--save_points) для создания общей для всех сцен модели и последовательно применим ее к каждой поддиректории с данными.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg|700px|thumb|center|Точечный слой треннингов для созданий модели]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg|700px|thumb|center|Точечный слой треннингов для отдельной рубки (пример)]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg|700px|thumb|center|Результат классификации. Сверху-вниз примеры выявления выборочных рубок на снимках Landsat до и после нарушения. Дата снимка - в верхнем левом углу.]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в значения излучения на сенсоре ([https://grasswiki.osgeo.org/wiki/Atmospheric_correction toar reflectance]).

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py здесь].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.

Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg|700px|thumb|center|Точечный слой треннингов на облачность]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg|700px|thumb|center|Результат классификации - маска облаков (синим), справа примеры снимка с результатом классификации (справа внизу) и без (справа вверху)]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей.

Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-12-05T17:48:08Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений.
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе декстопной версии расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg|700px|thumb|center]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Обучающая выборка (тренинги) состоит из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings).

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (тренингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Здесь следует пояснить, что при создании модели программа использует только те полигоны обучающей выборки которые пересекаются с указанными --input_rasters (если точнее, для всех остальных объектов, значения спектральных каналов будут равны нулю). Количество каналов (bands) по которым строится модель равно сумме всех каналов сцен перечисленных в --input_rasters. Значения пикселей пересекающие полигоны (также можно использовать линии или точки) обучающей выборки (тренингов), на основе которых и строится модель классификации, можно сохранить в виде точечного слоя (опция --save_points). Также можно сохранить и саму модель (опция --save_model). Для каждой поддиректории (path/row) модель будет уникальной, поскольку строится только на тех полигонах (из слоя cut1.shp) которые пересекаются со снимком.
Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py скрипта] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg|700px|thumb|center]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg|700px|thumb|center|Результат анализа изменений по снимкам Landsat слева - общий результат, справа примеры снимков до (декабрь 2015) и после (январь-февраль 2016) нарушения, и результат классификации]]

[[Файл:Pic2res.jpg|700px|thumb|center|Пример выявления выборочной рубки]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть [http://gis-lab.info/qa/regress-r.html нормализованы].

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row создается отдельная модель для классификации. В нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории), поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные (--save_points) для создания общей для всех сцен модели и последовательно применим ее к каждой поддиректории с данными.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg|700px|thumb|center|Точечный слой треннингов для созданий модели]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg|700px|thumb|center|Точечный слой треннингов для отдельной рубки (пример)]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg|700px|thumb|center|Результат классификации. Сверху-вниз примеры выявления выборочных рубок на снимках Landsat до и после нарушения. Дата снимка - в верхнем левом углу.]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в значения излучения на сенсоре ([https://grasswiki.osgeo.org/wiki/Atmospheric_correction toar reflectance]).

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py здесь].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.

Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg|700px|thumb|center|Точечный слой треннингов на облачность]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg|700px|thumb|center|Результат классификации - маска облаков (синим), справа примеры снимка с результатом классификации (справа внизу) и без (справа вверху)]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей.

Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-12-05T17:46:44Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений.
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе декстопной версии расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg|700px|thumb|center]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Обучающая выборка (тренинги) состоит из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings).

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (тренингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Здесь следует пояснить, что при создании модели программа использует только те полигоны обучающей выборки которые пересекаются с указанными --input_rasters (если точнее, для всех остальных объектов, значения спектральных каналов будут равны нулю). Количество каналов (bands) по которым строится модель равно сумме всех каналов сцен перечисленных в --input_rasters. Значения пикселей пересекающие полигоны (также можно использовать линии или точки) обучающей выборки (тренингов), на основе которых и строится модель классификации, можно сохранить в виде точечного слоя (опция --save_points). Также можно сохранить и саму модель (опция --save_model). Для каждой поддиректории (path/row) модель будет уникальной, поскольку строится только на тех полигонах (из слоя cut1.shp) которые пересекаются со снимком.
Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py скрипта] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg|700px|thumb|center]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg|700px|thumb|center|Результат анализа изменений по снимкам Landsat слева - общий результат, справа примеры снимков до (декабрь 2015) и после (январь-февраль 2016) нарушения, и результат классификации]]

[[Файл:Pic2res.jpg|700px|thumb|center|Пример выявления выборочной рубки]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть [http://gis-lab.info/qa/regress-r.html нормализованы].

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row создается отдельная модель для классификации. В нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории), поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные (--save_points) для создания общей для всех сцен модели и последовательно применим ее к каждой поддиректории с данными.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg|700px|thumb|center|Точечный слой треннингов для созданий модели]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg|700px|thumb|center|Точечный слой треннингов для отдельной рубки (пример)]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg|700px|thumb|center|Результат классификации. Сверху-вниз примеры выявления выборочных рубок на снимках Landsat до и после нарушения. Дата снимка - в верхнем левом углу.]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в значения излучения на сенсоре ([https://grasswiki.osgeo.org/wiki/Atmospheric_correctiontoar reflectance]).

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py здесь].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.

Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg|700px|thumb|center|Точечный слой треннингов на облачность]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg|700px|thumb|center|Результат классификации - маска облаков (синим), справа примеры снимка с результатом классификации (справа внизу) и без (справа вверху)]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей.

Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-12-05T17:42:41Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений.
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе декстопной версии расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg|700px|thumb|center]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Обучающая выборка (тренинги) состоит из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings).

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (тренингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Здесь следует пояснить, что при создании модели программа использует только те полигоны обучающей выборки которые пересекаются с указанными --input_rasters (если точнее, для всех остальных объектов, значения спектральных каналов будут равны нулю). Количество каналов (bands) по которым строится модель равно сумме всех каналов сцен перечисленных в --input_rasters. Значения пикселей пересекающие полигоны (также можно использовать линии или точки) обучающей выборки (тренингов), на основе которых и строится модель классификации, можно сохранить в виде точечного слоя (опция --save_points). Также можно сохранить и саму модель (опция --save_model). Для каждой поддиректории (path/row) модель будет уникальной, поскольку строится только на тех полигонах (из слоя cut1.shp) которые пересекаются со снимком.
Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py скрипта] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg|700px|thumb|center]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg|700px|thumb|center|Результат анализа изменений по снимкам Landsat слева - общий результат, справа примеры снимков до (декабрь 2015) и после (январь-февраль 2016) нарушения, и результат классификации]]

[[Файл:Pic2res.jpg|700px|thumb|center|Пример выявления выборочной рубки]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть [http://gis-lab.info/qa/regress-r.html нормализованы].

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row создается отдельная модель для классификации. В нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории), поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные (--save_points) для создания общей для всех сцен модели и последовательно применим ее к каждой поддиректории с данными.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg|700px|thumb|center|Точечный слой треннингов для созданий модели]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg|700px|thumb|center|Точечный слой треннингов для отдельной рубки (пример)]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg|700px|thumb|center|Результат классификации. Сверху-вниз примеры выявления выборочных рубок на снимках Landsat до и после нарушения. Дата снимка - в верхнем левом углу.]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py здесь].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.

Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg|700px|thumb|center|Точечный слой треннингов на облачность]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg|700px|thumb|center|Результат классификации - маска облаков (синим), справа примеры снимка с результатом классификации (справа внизу) и без (справа вверху)]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей.

Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-27T18:08:46Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе декстопной версии расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg|700px|thumb|center]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои тренингов состоят из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings)

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (треннингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py скрипта] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg|700px|thumb|center]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg|700px|thumb|center|Результат анализа изменений по снимкам Landsat слева - общий результат, справа примеры снимков до (декабрь 2015) и после (январь-февраль 2016) нарушения, и результат классификации]]

[[Файл:Pic2res.jpg|700px|thumb|center|Пример выявления выборочной рубки]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор тренигов и создается отдельная модель для классификации. Но в нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg|700px|thumb|center|Точечный слой треннингов для созданий модели]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg|700px|thumb|center|Точечный слой треннингов для отдельной рубки (пример)]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg|700px|thumb|center|Результат классификации. Сверху-вниз примеры выявления выборочных рубок на снимках Landsat до и после нарушения. Дата снимка - в верхнем левом углу.]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py здесь].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.

Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg|700px|thumb|center|Точечный слой треннингов на облачность]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg|700px|thumb|center|Результат классификации - маска облаков (синим), справа примеры снимка с результатом классификации (справа внизу) и без (справа вверху)]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей.

Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-27T18:07:13Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg|700px|thumb|center]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои тренингов состоят из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings)

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (треннингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg|700px|thumb|center]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg|700px|thumb|center|Результат анализа изменений по снимкам Landsat слева - общий результат, справа примеры снимков до (декабрь 2015) и после (январь-февраль 2016) нарушения, и результат классификации]]

[[Файл:Pic2res.jpg|700px|thumb|center|Пример выявления выборочной рубки]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор тренигов и создается отдельная модель для классификации. Но в нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg|700px|thumb|center|Точечный слой треннингов для созданий модели]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg|700px|thumb|center|Точечный слой треннингов для отдельной рубки (пример)]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg|700px|thumb|center|Результат классификации. Сверху-вниз примеры выявления выборочных рубок на снимках Landsat до и после нарушения. Дата снимка - в верхнем левом углу.]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.

Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg|700px|thumb|center|Точечный слой треннингов на облачность]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg|700px|thumb|center|Результат классификации - маска облаков (синим), справа примеры снимка с результатом классификации (справа внизу) и без (справа вверху)]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей.

Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Файл:Ex3 trainigs fin.jpg

2016-11-27T18:05:21Z

Igg: загружена новая версия «Файл:Ex3 trainigs fin.jpg»

Файл:Ex3 result fin.jpg

2016-11-27T18:04:41Z

Igg: загружена новая версия «Файл:Ex3 result fin.jpg»

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-27T17:59:11Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg|700px|thumb|center]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои тренингов состоят из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings)

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (треннингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg|700px|thumb|center]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg|700px|thumb|center|Результат анализа изменений по снимкам Landsat слева - общий результат, справа примеры снимков до (декабрь 2015) и после (январь-февраль 2016) нарушения, и результат классификации]]

[[Файл:Pic2res.jpg|700px|thumb|center|Пример выявления выборочной рубки]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор тренигов и создается отдельная модель для классификации. Но в нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg|700px|thumb|center|Точечный слой треннингов для созданий модели]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg|700px|thumb|center|Точечный слой треннингов для отдельной рубки (пример)]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg|700px|thumb|center|Результат классификации. Сверху-вниз примеры выявления выборочных рубок на снимках Landsat до и после нарушения. Дата снимка - в верхнем левом углу.]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.

Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg|700px|thumb|center|Точечный слой треннингов на облачность]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg|700px|thumb|center|Результат классификации - маска облаков (синим)]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей.

Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-27T17:58:10Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg|700px|thumb|center]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои тренингов состоят из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings)

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (треннингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg|700px|thumb|center]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg|700px|thumb|center|Результат анализа изменений по снимкам Landsat слева - общий результат, справа примеры снимков до (декабрь 2015) и после (январь-февраль 2016) нарушения, и результат классификации]]

[[Файл:Pic2res.jpg|700px|thumb|center|Пример выявления выборочной рубки]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор тренигов и создается отдельная модель для классификации. Но в нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg|700px|thumb|center|Точечный слой треннингов для созданий модели]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg|700px|thumb|center|Точечный слой треннингов для отдельной рубки (пример)]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg|700px|thumb|center|Результат классификации. Сверху-вниз примеры выявления выборочных рубок на снимках landsat до и после нарушения. Дата снимка - в верхнем левом углу.]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.

Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg|700px|thumb|center|Точечный слой треннингов на облачность]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg|700px|thumb|center|Результат классификации - маска облаков (синим)]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей.

Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-27T17:45:24Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои тренингов состоят из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings)

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (треннингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg|700px|thumb|center|Результат анализа изменений по снимкам Landsat слева - общий результат, справа примеры снимков до (декабрь 2015) и после (январь-февраль 2016) нарушения, и результат классификации]]

[[Файл:Pic2res.jpg|700px|thumb|center|Пример выявления выборочной рубки]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор тренигов и создается отдельная модель для классификации. Но в нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg|700px|thumb|center|Точечный слой треннингов для созданий модели]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg|700px|thumb|center|Точечный слой треннингов для отлельной рубки (пример)]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg|700px|thumb|center|Результат классификации]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Файл:DTconsol pic4.jpg

2016-11-27T17:42:24Z

Igg: загружена новая версия «Файл:DTconsol pic4.jpg»

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-27T17:38:59Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои тренингов состоят из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings)

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (треннингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg|700px|thumb|center|Результат анализа изменений по снимкам Landsat слева - общий результат, справа примеры снимков до (декабрь 2015) и после (январь-февраль 2016) нарушения, и результат классификации]]

[[Файл:Pic2res.jpg|700px|thumb|center|Пример выявления выборочной рубки]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор тренигов и создается отдельная модель для классификации. Но в нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Файл:Pic2res.jpg

2016-11-27T17:35:13Z

Igg: загружена новая версия «Файл:Pic2res.jpg»

Файл:Pic2res.jpg

2016-11-27T17:34:36Z

Igg: загружена новая версия «Файл:Pic2res.jpg»: Возврат к версии от 13:18, 20 ноября 2016

Файл:Pic2res.jpg

2016-11-27T17:34:20Z

Igg: загружена новая версия «Файл:Pic2res.jpg»

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-27T17:31:17Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои тренингов состоят из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings)

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (треннингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg|700px|thumb|center|Создание обучающей выборки (треннингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки (синим)]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор тренигов и создается отдельная модель для классификации. Но в нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-27T17:30:02Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои тренингов состоят из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings)

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (треннингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки (синим)]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg|700px|thumb|center|Создание обучающей выборки (треннингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки (синим)]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор тренигов и создается отдельная модель для классификации. Но в нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Файл:Pic1.jpg

2016-11-27T17:28:26Z

Igg: загружена новая версия «Файл:Pic1.jpg»

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-27T17:27:55Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои тренингов состоят из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings)

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (треннингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор тренигов и создается отдельная модель для классификации. Но в нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-27T17:26:50Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои тренингов состоят из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings)

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (треннингов) по снимкам Landsat до (декабрь 2015) и после (февраль 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор тренигов и создается отдельная модель для классификации. Но в нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-27T17:25:54Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои тренингов состоят из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings)

[[Файл:Pic1.jpg]|700px|thumb|center|Создание обучающей выборки (треннингов) по снимкам Landsat до (декабрь 2015) и после (февраль 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор тренигов и создается отдельная модель для классификации. Но в нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-27T17:18:01Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои тренингов состоят из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор тренигов и создается отдельная модель для классификации. Но в нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-21T17:24:19Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив QGIS-NextGIS[http://nextgis.ru/nextgis-qgis/].
Расширение использует метод деревьев решений реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее о работе расширения написано здесь [http://gis-lab.info/qa/dtclassifier.html].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в workflow обработки изображений или для анализа большого количества данных удобнее использоывать
консольную версию плагина. Что и было реализовано командой NextGIS.

{{NextGIS}}

=== Получение и установка ===

Расширение доступно как в виде исходного кода C++, так и в бинарной форме.

==== Бинарная сборка ====

Для работы с программой в ОС Windows можно пойти двумя путями:

* [http://nextgis.ru/nextgis-qgis/ загрузить] и установить NextGIS QGIS версии 15.4.88 или выше, DTClassifier включен в дистрибутив.

или

* загрузить и установить QGIS версии 2.8 или выше ([http://gis-lab.info/qa/qgis-osgeo4w.html подробнее])
* [http://nextgis.ru/programs/dtclassifier-qgis2.0.zip загрузить] архив с расширением и необходимыми библиотеками
* извлечь содержимое архива в каталог модулей QGIS (обычно это C:\OSGeo4W\apps\qgis-dev\plugins и C:\OSGeo4W\bin)

После установки, в окне [https://trac.osgeo.org/osgeo4w/ OSGeo4W] shell наряду с другими функциями ([http://gdal.org GDAL]) и ([http://gdal.org OGR])
появится функция '''classifier'''.

[[Файл:DTconsol_pic1.jpg]]

==== Исходный код ====

Исходный код модуля (лицензия GNU GPL v2) можно получить через [https://github.com/nextgis/dtclassifier репозиторий на GitHub], или выполнив команду:

<pre>git clone git@github.com:nextgis/dtclassifier.git</pre>

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам) разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов содержащие признак который нужно выделить при анализе, разделенные пробелом. Например для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов , т.е. объектам от которых нужно отделить объекты содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп файла с атрибутивнлой таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использовует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующией точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели, без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой треннингов выходит за границы растра, то часть точек за границами создается с не нулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои трениннгов состоят из двух шейп файлов (сut1.shp - рубки произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Треннинги находятся в отдельной дир-ии (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл в котором последовательно записать командные строки для обработки всех директорий
или cоздать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Cоздание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, в этом же примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Cтруктура входящих данных (число каналов или сцен ) должна быть одинаковой для для каждого блока данных, в отличии от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор треннигов и создается отдельная модель для классификации. Но в нашем случае, количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровнять баланс между числом тренировочных точек содержащих признак и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстриует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере, слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но так же можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и треннингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции( и код) что бы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера, важно что бы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех треннингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где треннинги выходят за границы снимка, поэтому при объединении задана функция использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0). При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании треннингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя треннингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения, можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами и хотя по прежнему остается прерогативой крупных команд и организаций,
методы полу-автомтической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодяря простоте и относительно высокой производительности, возможно позволит развивать свои проекты в области ДЗЗ, не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-21T17:05:40Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив QGIS-NextGIS[http://nextgis.ru/nextgis-qgis/].
Расширение использует метод деревьев решений реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее о работе расширения написано здесь [http://gis-lab.info/qa/dtclassifier.html].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в workflow обработки изображений или для анализа большого количества данных удобнее использоывать
консольную версию плагина. Что и было реализовано командой NextGIS.

{{NextGIS}}

=== Получение и установка ===

Расширение доступно как в виде исходного кода C++, так и в бинарной форме.

==== Бинарная сборка ====

Для работы с программой в ОС Windows можно пойти двумя путями:

* [http://nextgis.ru/nextgis-qgis/ загрузить] и установить NextGIS QGIS версии 15.4.88 или выше, DTClassifier включен в дистрибутив.

или

* загрузить и установить QGIS версии 2.8 или выше ([http://gis-lab.info/qa/qgis-osgeo4w.html подробнее])
* [http://nextgis.ru/programs/dtclassifier-qgis2.0.zip загрузить] архив с расширением и необходимыми библиотеками
* извлечь содержимое архива в каталог модулей QGIS (обычно это C:\OSGeo4W\apps\qgis-dev\plugins и C:\OSGeo4W\bin)

После установки, в окне [https://trac.osgeo.org/osgeo4w/ OSGeo4W] shell наряду с другими функциями ([http://gdal.org GDAL]) и ([http://gdal.org OGR])
появится функция '''classifier'''.

[[Файл:DTconsol_pic1.jpg]]

==== Исходный код ====

Исходный код модуля (лицензия GNU GPL v2) можно получить через [https://github.com/nextgis/dtclassifier репозиторий на GitHub], или выполнив команду:

<pre>git clone git@github.com:nextgis/dtclassifier.git</pre>

==== Тестовые данные ====

[http://gis-lab.info/data/samples/ Загрузить] архив c данными, использовавшимися при подготовке статьи (... Мб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам) разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов содержащие признак который нужно выделить при анализе, разделенные пробелом. Например для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов , т.е. объектам от которых нужно отделить объекты содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп файла с атрибутивнлой таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использовует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующией точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели, без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой треннингов выходит за границы растра, то часть точек за границами создается с не нулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои трениннгов состоят из двух шейп файлов (сut1.shp - рубки произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Треннинги находятся в отдельной дир-ии (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл в котором последовательно записать командные строки для обработки всех директорий
или cоздать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Cоздание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, в этом же примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Cтруктура входящих данных (число каналов или сцен ) должна быть одинаковой для для каждого блока данных, в отличии от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор треннигов и создается отдельная модель для классификации. Но в нашем случае, количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровнять баланс между числом тренировочных точек содержащих признак и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстриует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере, слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но так же можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и треннингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции( и код) что бы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера, важно что бы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех треннингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где треннинги выходят за границы снимка, поэтому при объединении задана функция использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0). При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании треннингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя треннингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения, можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами и хотя по прежнему остается прерогативой крупных команд и организаций,
методы полу-автомтической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодяря простоте и относительно высокой производительности, возможно позволит развивать свои проекты в области ДЗЗ, не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-21T16:58:55Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив QGIS-NextGIS[http://nextgis.ru/nextgis-qgis/].
Расширение использует метод деревьев решений реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее о работе расширения написано здесь [http://gis-lab.info/qa/dtclassifier.html].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в workflow обработки изображений или для анализа большого количества данных удобнее использоывать
консольную версию плагина. Что и было реализовано командой NextGIS.

{{NextGIS}}

=== Получение и установка ===

Расширение доступно как в виде исходного кода C++, так и в бинарной форме.

==== Бинарная сборка ====

Для работы с программой в ОС Windows можно пойти двумя путями:

* [http://nextgis.ru/nextgis-qgis/ загрузить] и установить NextGIS QGIS версии 15.4.88 или выше, DTClassifier включен в дистрибутив.

или

* загрузить и установить QGIS версии 2.8 или выше ([http://gis-lab.info/qa/qgis-osgeo4w.html подробнее])
* [http://nextgis.ru/programs/dtclassifier-qgis2.0.zip загрузить] архив с расширением и необходимыми библиотеками
* извлечь содержимое архива в каталог модулей QGIS (обычно это C:\OSGeo4W\apps\qgis-dev\plugins и C:\OSGeo4W\bin)

После установки, в окне [https://trac.osgeo.org/osgeo4w/ OSGeo4W] shell наряду с другими функциями ([http://gdal.org GDAL]) и ([http://gdal.org OGR])
появится функция '''classifier'''.

[[Файл:DTconsol_pic1.jpg]]

==== Исходный код ====

Исходный код модуля (лицензия GNU GPL v2) можно получить через [https://github.com/nextgis/dtclassifier репозиторий на GitHub], или выполнив команду:

<pre>git clone git@github.com:nextgis/dtclassifier.git</pre>

==== Тестовые данные ====

[http://gis-lab.info/data/samples/ Загрузить] архив c данными, использовавшимися при подготовке статьи (... Мб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам) разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов содержащие признак который нужно выделить при анализе, разделенные пробелом. Например для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов , т.е. объектам от которых нужно отделить объекты содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп файла с атрибутивнлой таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использовует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующией точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели, без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой треннингов выходит за границы растра, то часть точек за границами создается с не нулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои трениннгов состоят из двух шейп файлов (сut1.shp - рубки произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Треннинги находятся в отдельной дир-ии (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл в котором последовательно записать командные строки для обработки всех директорий
или cоздать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Cоздание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, в этом же примере используются две новые функции DTClassifier --load_points и --use_model, которые позволяют
собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Cтруктура входящих данных (число каналов или сцен ) должна быть одинаковой для для каждого блока данных, в отличии от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор треннигов и создается отдельная модель для классификации. Но в нашем случае, количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровнять баланс между числом тренировочных точек содержащих признак и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстриует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере, слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но так же можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и треннингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции( и код) что бы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера, важно что бы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех треннингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где треннинги выходят за границы снимка, поэтому при объединении задана функция использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0). При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании треннингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя треннингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения, можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами и хотя по прежнему остается прерогативой крупных команд и организаций,
методы полу-автомтической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодяря простоте и относительно высокой производительности, возможно позволит развивать свои проекты в области ДЗЗ, не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-21T16:00:59Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив QGIS-NextGIS[http://nextgis.ru/nextgis-qgis/].
Расширение использует метод деревьев решений реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее о работе расширения написано здесь [http://gis-lab.info/qa/dtclassifier.html].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в workflow обработки изображений или для анализа большого количества данных удобнее использоывать
консольную версию плагина. Что и было реализовано командой NextGIS.

{{NextGIS}}

=== Получение и установка ===

Расширение доступно как в виде исходного кода C++, так и в бинарной форме.

==== Бинарная сборка ====

Для работы с программой в ОС Windows можно пойти двумя путями:

* [http://nextgis.ru/nextgis-qgis/ загрузить] и установить NextGIS QGIS версии 15.4.88 или выше, DTClassifier включен в дистрибутив.

или

* загрузить и установить QGIS версии 2.8 или выше ([http://gis-lab.info/qa/qgis-osgeo4w.html подробнее])
* [http://nextgis.ru/programs/dtclassifier-qgis2.0.zip загрузить] архив с расширением и необходимыми библиотеками
* извлечь содержимое архива в каталог модулей QGIS (обычно это C:\OSGeo4W\apps\qgis-dev\plugins и C:\OSGeo4W\bin)

После установки, в окне [https://trac.osgeo.org/osgeo4w/ OSGeo4W] shell наряду с другими функциями ([http://gdal.org GDAL]) и ([http://gdal.org OGR])
появится функция '''classifier'''.

[[Файл:DTconsol_pic1.jpg]]

==== Исходный код ====

Исходный код модуля (лицензия GNU GPL v2) можно получить через [https://github.com/nextgis/dtclassifier репозиторий на GitHub], или выполнив команду:

<pre>git clone git@github.com:nextgis/dtclassifier.git</pre>

==== Тестовые данные ====

[http://gis-lab.info/data/samples/ Загрузить] архив c данными, использовавшимися при подготовке статьи (... Мб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам) разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов содержащие признак который нужно выделить при анализе, разделенные пробелом. Например для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов , т.е. объектам от которых нужно отделить объекты содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп файла с атрибутивнлой таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использовует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующией точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели, без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой треннингов выходит за границы растра, то часть точек за границами создается с не нулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои трениннгов состоят из двух шейп файлов (сut1.shp - рубки произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Треннинги находятся в отдельной дир-ии (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл в котором последовательно записать командные строки для обработки всех директорий
или cоздать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Cоздание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, в этом же примере используются две новые функции DTClassifier --load_points и --use_model, которые позволяют
собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Cтруктура входящих данных (число каналов или сцен ) должна быть одинаковой для для каждого блока данных, в отличии от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор треннигов и создается отдельная модель для классификации. Но в нашем случае, количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровнять баланс между числом тренировочных точек содержащих признак и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстриует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере, слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но так же можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и треннингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции( и код) что бы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Важно что бы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех треннингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где треннинги выходят за границы снимка, поэтому при объединении задана функция использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0).

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя треннингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения, можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами и хотя по прежнему остается прерогативой крупных команд и организаций,
методы полу-автомтической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодяря простоте и относительно высокой производительности, возможно позволит развивать свои проекты в области ДЗЗ, не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-21T15:59:51Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив QGIS-NextGIS[http://nextgis.ru/nextgis-qgis/].
Расширение использует метод деревьев решений реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее о работе расширения написано здесь [http://gis-lab.info/qa/dtclassifier.html].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в workflow обработки изображений или для анализа большого количества данных удобнее использоывать
консольную версию плагина. Что и было реализовано командой NextGIS.

{{NextGIS}}

=== Получение и установка ===

Расширение доступно как в виде исходного кода C++, так и в бинарной форме.

==== Бинарная сборка ====

Для работы с программой в ОС Windows можно пойти двумя путями:

* [http://nextgis.ru/nextgis-qgis/ загрузить] и установить NextGIS QGIS версии 15.4.88 или выше, DTClassifier включен в дистрибутив.

или

* загрузить и установить QGIS версии 2.8 или выше ([http://gis-lab.info/qa/qgis-osgeo4w.html подробнее])
* [http://nextgis.ru/programs/dtclassifier-qgis2.0.zip загрузить] архив с расширением и необходимыми библиотеками
* извлечь содержимое архива в каталог модулей QGIS (обычно это C:\OSGeo4W\apps\qgis-dev\plugins и C:\OSGeo4W\bin)

После установки, в окне [https://trac.osgeo.org/osgeo4w/ OSGeo4W] shell наряду с другими функциями ([http://gdal.org GDAL]) и ([http://gdal.org OGR])
появится функция '''classifier'''.

[[Файл:DTconsol_pic1.jpg]]

==== Исходный код ====

Исходный код модуля (лицензия GNU GPL v2) можно получить через [https://github.com/nextgis/dtclassifier репозиторий на GitHub], или выполнив команду:

<pre>git clone git@github.com:nextgis/dtclassifier.git</pre>

==== Тестовые данные ====

[http://gis-lab.info/data/samples/ Загрузить] архив c данными, использовавшимися при подготовке статьи (... Мб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам) разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов содержащие признак который нужно выделить при анализе, разделенные пробелом. Например для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов , т.е. объектам от которых нужно отделить объекты содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп файла с атрибутивнлой таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использовует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующией точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели, без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой треннингов выходит за границы растра, то часть точек за границами создается с не нулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои трениннгов состоят из двух шейп файлов (сut1.shp - рубки произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Треннинги находятся в отдельной дир-ии (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл в котором последовательно записать командные строки для обработки всех директорий
или cоздать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Cоздание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, в этом же примере используются две новые функции DTClassifier --load_points и --use_model, которые позволяют
собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Cтруктура входящих данных (число каналов или сцен ) должна быть одинаковой для для каждого блока данных, в отличии от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор треннигов и создается отдельная модель для классификации. Но в нашем случае, количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровнять баланс между числом тренировочных точек содержащих признак и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстриует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере, слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но так же можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и треннингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции( и код) что бы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Важно что бы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех треннингов последовательно для каждого снимка, что приводит к появлению большого числа нудевых значений там, где треннинги выходят за границы снимка, поэтому при объединении задана функция использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0).

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя треннингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения, можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами и хотя по прежнему остается прерогативой крупных команд и организаций,
методы полу-автомтической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодяря простоте и относительно высокой производительности, возможно позволит развивать свои проекты в области ДЗЗ, не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-21T15:57:37Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив QGIS-NextGIS[http://nextgis.ru/nextgis-qgis/].
Расширение использует метод деревьев решений реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее о работе расширения написано здесь [http://gis-lab.info/qa/dtclassifier.html].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в workflow обработки изображений или для анализа большого количества данных удобнее использоывать
консольную версию плагина. Что и было реализовано командой NextGIS.

{{NextGIS}}

=== Получение и установка ===

Расширение доступно как в виде исходного кода C++, так и в бинарной форме.

==== Бинарная сборка ====

Для работы с программой в ОС Windows можно пойти двумя путями:

* [http://nextgis.ru/nextgis-qgis/ загрузить] и установить NextGIS QGIS версии 15.4.88 или выше, DTClassifier включен в дистрибутив.

или

* загрузить и установить QGIS версии 2.8 или выше ([http://gis-lab.info/qa/qgis-osgeo4w.html подробнее])
* [http://nextgis.ru/programs/dtclassifier-qgis2.0.zip загрузить] архив с расширением и необходимыми библиотеками
* извлечь содержимое архива в каталог модулей QGIS (обычно это C:\OSGeo4W\apps\qgis-dev\plugins и C:\OSGeo4W\bin)

После установки, в окне [https://trac.osgeo.org/osgeo4w/ OSGeo4W] shell наряду с другими функциями ([http://gdal.org GDAL]) и ([http://gdal.org OGR])
появится функция '''classifier'''.

[[Файл:DTconsol_pic1.jpg]]

==== Исходный код ====

Исходный код модуля (лицензия GNU GPL v2) можно получить через [https://github.com/nextgis/dtclassifier репозиторий на GitHub], или выполнив команду:

<pre>git clone git@github.com:nextgis/dtclassifier.git</pre>

==== Тестовые данные ====

[http://gis-lab.info/data/samples/ Загрузить] архив c данными, использовавшимися при подготовке статьи (... Мб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам) разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов содержащие признак который нужно выделить при анализе, разделенные пробелом. Например для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов , т.е. объектам от которых нужно отделить объекты содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп файла с атрибутивнлой таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использовует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующией точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели, без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой треннингов выходит за границы растра, то часть точек за границами создается с не нулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои трениннгов состоят из двух шейп файлов (сut1.shp - рубки произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Треннинги находятся в отдельной дир-ии (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл в котором последовательно записать командные строки для обработки всех директорий
или cоздать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Cоздание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, в этом же примере используются две новые функции DTClassifier --load_points и --use_model, которые позволяют
собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Cтруктура входящих данных (число каналов или сцен ) должна быть одинаковой для для каждого блока данных, в отличии от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор треннигов и создается отдельная модель для классификации. Но в нашем случае, количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровнять баланс между числом тренировочных точек содержащих признак и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстриует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере, слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но так же можно использовать любые другие способы сохдания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].
Разобьем обработку на несколько этапов:

'''Определение путей к данным и треннингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции( и код) что бы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Важно что бы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех треннингов последовательно для каждого снимка, что приводит к появлению большого числа нудевых значений там, где треннинги выходят за границы снимка, поэтому при объединении задана функция использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0).

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя треннингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения, можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами и хотя по прежнему остается прерогативой крупных команд и организаций,
методы полу-автомтической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодяря простоте и относительно высокой производительности, возможно позволит развивать свои проекты в области ДЗЗ, не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-21T15:47:52Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив QGIS-NextGIS[http://nextgis.ru/nextgis-qgis/].
Расширение использует метод деревьев решений реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее о работе расширения написано здесь [http://gis-lab.info/qa/dtclassifier.html].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в workflow обработки изображений или для анализа большого количества данных удобнее использоывать
консольную версию плагина. Что и было реализовано командой NextGIS.

{{NextGIS}}

=== Получение и установка ===

Расширение доступно как в виде исходного кода C++, так и в бинарной форме.

==== Бинарная сборка ====

Для работы с программой в ОС Windows можно пойти двумя путями:

* [http://nextgis.ru/nextgis-qgis/ загрузить] и установить NextGIS QGIS версии 15.4.88 или выше, DTClassifier включен в дистрибутив.

или

* загрузить и установить QGIS версии 2.8 или выше ([http://gis-lab.info/qa/qgis-osgeo4w.html подробнее])
* [http://nextgis.ru/programs/dtclassifier-qgis2.0.zip загрузить] архив с расширением и необходимыми библиотеками
* извлечь содержимое архива в каталог модулей QGIS (обычно это C:\OSGeo4W\apps\qgis-dev\plugins и C:\OSGeo4W\bin)

После установки, в окне [https://trac.osgeo.org/osgeo4w/ OSGeo4W] shell наряду с другими функциями ([http://gdal.org GDAL]) и ([http://gdal.org OGR])
появится функция '''classifier'''.

[[Файл:DTconsol_pic1.jpg]]

==== Исходный код ====

Исходный код модуля (лицензия GNU GPL v2) можно получить через [https://github.com/nextgis/dtclassifier репозиторий на GitHub], или выполнив команду:

<pre>git clone git@github.com:nextgis/dtclassifier.git</pre>

==== Тестовые данные ====

[http://gis-lab.info/data/samples/ Загрузить] архив c данными, использовавшимися при подготовке статьи (... Мб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам) разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов содержащие признак который нужно выделить при анализе, разделенные пробелом. Например для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов , т.е. объектам от которых нужно отделить объекты содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп файла с атрибутивнлой таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использовует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующией точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели, без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой треннингов выходит за границы растра, то часть точек за границами создается с не нулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои трениннгов состоят из двух шейп файлов (сut1.shp - рубки произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Треннинги находятся в отдельной дир-ии (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл в котором последовательно записать командные строки для обработки всех директорий
или cоздать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Cоздание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, в этом же примере используются две новые функции DTClassifier --load_points и --use_model, которые позволяют
собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Cтруктура входящих данных (число каналов или сцен ) должна быть одинаковой для для каждого блока данных, в отличии от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор треннигов и создается отдельная модель для классификации. Но в нашем случае, количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровнять баланс между числом тренировочных точек содержащих признак и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстриует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp).
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].
Разобьем обработку на несколько этапов:

'''Определение путей к данным и треннингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции( и код) что бы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Важно что бы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех треннингов последовательно для каждого снимка, что приводит к появлению большого числа нудевых значений там, где треннинги выходят за границы снимка, поэтому при объединении задана функция использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0).

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя треннингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения, можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами и хотя по прежнему остается прерогативой крупных команд и организаций,
методы полу-автомтической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодяря простоте и относительно высокой производительности, возможно позволит развивать свои проекты в области ДЗЗ, не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-21T15:45:02Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив QGIS-NextGIS[http://nextgis.ru/nextgis-qgis/].
Расширение использует метод деревьев решений реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее о работе расширения написано здесь [http://gis-lab.info/qa/dtclassifier.html].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в workflow обработки изображений или для анализа большого количества данных удобнее использоывать
консольную версию плагина. Что и было реализовано командой NextGIS.

{{NextGIS}}

=== Получение и установка ===

Расширение доступно как в виде исходного кода C++, так и в бинарной форме.

==== Бинарная сборка ====

Для работы с программой в ОС Windows можно пойти двумя путями:

* [http://nextgis.ru/nextgis-qgis/ загрузить] и установить NextGIS QGIS версии 15.4.88 или выше, DTClassifier включен в дистрибутив.

или

* загрузить и установить QGIS версии 2.8 или выше ([http://gis-lab.info/qa/qgis-osgeo4w.html подробнее])
* [http://nextgis.ru/programs/dtclassifier-qgis2.0.zip загрузить] архив с расширением и необходимыми библиотеками
* извлечь содержимое архива в каталог модулей QGIS (обычно это C:\OSGeo4W\apps\qgis-dev\plugins и C:\OSGeo4W\bin)

После установки, в окне [https://trac.osgeo.org/osgeo4w/ OSGeo4W] shell наряду с другими функциями ([http://gdal.org GDAL]) и ([http://gdal.org OGR])
появится функция '''classifier'''.

[[Файл:DTconsol_pic1.jpg]]

==== Исходный код ====

Исходный код модуля (лицензия GNU GPL v2) можно получить через [https://github.com/nextgis/dtclassifier репозиторий на GitHub], или выполнив команду:

<pre>git clone git@github.com:nextgis/dtclassifier.git</pre>

==== Тестовые данные ====

[http://gis-lab.info/data/samples/ Загрузить] архив c данными, использовавшимися при подготовке статьи (... Мб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам) разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов содержащие признак который нужно выделить при анализе, разделенные пробелом. Например для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов , т.е. объектам от которых нужно отделить объекты содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп файла с атрибутивнлой таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использовует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующией точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели, без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой треннингов выходит за границы растра, то часть точек за границами создается с не нулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои трениннгов состоят из двух шейп файлов (сut1.shp - рубки произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Треннинги находятся в отдельной дир-ии (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл в котором последовательно записать командные строки для обработки всех директорий
или cоздать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Cоздание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, в этом же примере используются две новые функции DTClassifier --load_points и --use_model, которые позволяют
собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Cтруктура входящих данных (число каналов или сцен ) должна быть одинаковой для для каждого блока данных, в отличии от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор треннигов и создается отдельная модель для классификации. Но в нашем случае, количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровнять баланс между числом тренировочных точек содержащих признак и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif)

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера)
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстриует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp).
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].
Разобьем обработку на несколько этапов:

'''Определение путей к данным и треннингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции( и код) что бы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Важно что бы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех треннингов последовательно для каждого снимка, что приводит к появлению большого числа нудевых значений там, где треннинги выходят за границы снимка, поэтому при объединении задана функция использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0).

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя треннингов и классификация
Результаты сохранены в директории /result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения, можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами и хотя по прежнему остается прерогативой крупных команд и организаций,
методы полу-автомтической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодяря простоте и относительно высокой производительности, возможно позволит развивать свои проекты в области ДЗЗ, не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-21T15:38:00Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив QGIS-NextGIS[http://nextgis.ru/nextgis-qgis/].
Расширение использует метод деревьев решений реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее о работе расширения написано здесь [http://gis-lab.info/qa/dtclassifier.html].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в workflow обработки изображений или для анализа большого количества данных удобнее использоывать
консольную версию плагина. Что и было реализовано командой NextGIS.

{{NextGIS}}

=== Получение и установка ===

Расширение доступно как в виде исходного кода C++, так и в бинарной форме.

==== Бинарная сборка ====

Для работы с программой в ОС Windows можно пойти двумя путями:

* [http://nextgis.ru/nextgis-qgis/ загрузить] и установить NextGIS QGIS версии 15.4.88 или выше, DTClassifier включен в дистрибутив.

или

* загрузить и установить QGIS версии 2.8 или выше ([http://gis-lab.info/qa/qgis-osgeo4w.html подробнее])
* [http://nextgis.ru/programs/dtclassifier-qgis2.0.zip загрузить] архив с расширением и необходимыми библиотеками
* извлечь содержимое архива в каталог модулей QGIS (обычно это C:\OSGeo4W\apps\qgis-dev\plugins и C:\OSGeo4W\bin)

После установки, в окне [https://trac.osgeo.org/osgeo4w/ OSGeo4W] shell наряду с другими функциями ([http://gdal.org GDAL]) и ([http://gdal.org OGR])
появится функция '''classifier'''.

[[Файл:DTconsol_pic1.jpg]]

==== Исходный код ====

Исходный код модуля (лицензия GNU GPL v2) можно получить через [https://github.com/nextgis/dtclassifier репозиторий на GitHub], или выполнив команду:

<pre>git clone git@github.com:nextgis/dtclassifier.git</pre>

==== Тестовые данные ====

[http://gis-lab.info/data/samples/ Загрузить] архив c данными, использовавшимися при подготовке статьи (... Мб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам) разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов содержащие признак который нужно выделить при анализе, разделенные пробелом. Например для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов , т.е. объектам от которых нужно отделить объекты содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп файла с атрибутивнлой таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использовует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующией точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели, без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой треннингов выходит за границы растра, то часть точек за границами создается с не нулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои трениннгов состоят из двух шейп файлов (сut1.shp - рубки произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Треннинги находятся в отдельной дир-ии (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл в котором последовательно записать командные строки для обработки всех директорий
или cоздать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (суффикс - ..train_points.shp и модели (...out_rfmodel.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Cоздание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, в этом же примере используются две новые функции DTClassifier --load_points и --use_model, которые позволяют
собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Cтруктура входящих данных (число каналов или сцен ) должна быть одинаковой для для каждого блока данных, в отличии от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор треннигов и создается отдельная модель для классификации. Но в нашем случае, количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровнять баланс между числом тренировочных точек содержащих признак и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (...out1.tif и ...out1_smooth.tif)

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера)
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстриует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp).
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].
Разобьем обработку на несколько этапов:

'''Определение путей к данным и треннингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции что бы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов -ключевой момент, который определяет качество получаемой модели и классификации. Важно что бы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех треннингов последовательно для каждого снимка, что приводит к появлению большого числа нудевых значений там, где треннинги выходят за границы снимка, поэтому при объединении задана функция использовать только ненулевые значения каналов (в данном примере Band_1).

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя треннингов и классификация
Результаты сохранены в директории /result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения, можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами и хотя по прежнему остается прерогативой крупных команд и организаций,
методы полу-автомтической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодяря простоте и относительно высокой производительности, возможно позволит развивать свои проекты в области ДЗЗ, не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-21T15:34:28Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив QGIS-NextGIS[http://nextgis.ru/nextgis-qgis/].
Расширение использует метод деревьев решений реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее о работе расширения написано здесь [http://gis-lab.info/qa/dtclassifier.html].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в workflow обработки изображений или для анализа большого количества данных удобнее использоывать
консольную версию плагина. Что и было реализовано командой NextGIS.

{{NextGIS}}

=== Получение и установка ===

Расширение доступно как в виде исходного кода C++, так и в бинарной форме.

==== Бинарная сборка ====

Для работы с программой в ОС Windows можно пойти двумя путями:

* [http://nextgis.ru/nextgis-qgis/ загрузить] и установить NextGIS QGIS версии 15.4.88 или выше, DTClassifier включен в дистрибутив.

или

* загрузить и установить QGIS версии 2.8 или выше ([http://gis-lab.info/qa/qgis-osgeo4w.html подробнее])
* [http://nextgis.ru/programs/dtclassifier-qgis2.0.zip загрузить] архив с расширением и необходимыми библиотеками
* извлечь содержимое архива в каталог модулей QGIS (обычно это C:\OSGeo4W\apps\qgis-dev\plugins и C:\OSGeo4W\bin)

После установки, в окне [https://trac.osgeo.org/osgeo4w/ OSGeo4W] shell наряду с другими функциями ([http://gdal.org GDAL]) и ([http://gdal.org OGR])
появится функция '''classifier'''.

[[Файл:DTconsol_pic1.jpg]]

==== Исходный код ====

Исходный код модуля (лицензия GNU GPL v2) можно получить через [https://github.com/nextgis/dtclassifier репозиторий на GitHub], или выполнив команду:

<pre>git clone git@github.com:nextgis/dtclassifier.git</pre>

==== Тестовые данные ====

[http://gis-lab.info/data/samples/ Загрузить] архив c данными, использовавшимися при подготовке статьи (... Мб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам) разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов содержащие признак который нужно выделить при анализе, разделенные пробелом. Например для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов , т.е. объектам от которых нужно отделить объекты содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп файла с атрибутивнлой таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использовует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующией точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели, без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой треннингов выходит за границы растра, то часть точек за границами создается с не нулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои трениннгов состоят из двух шейп файлов (сut1.shp - рубки произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Треннинги находятся в отдельной дир-ии (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл в котором последовательно записать командные строки для обработки всех директорий
или cоздать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (суффикс - ..train_points.shp и модели (...out_rfmodel.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Cоздание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, в этом же примере используются две новые функции DTClassifier --load_points и --use_model, которые позволяют
собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Cтруктура входящих данных (число каналов или сцен ) должна быть одинаковой для для каждого блока данных, в отличии от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор треннигов и создается отдельная модель для классификации. Но в нашем случае, количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровнять баланс между числом тренировочных точек содержащих признак и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.aml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (...out1.tif и ...out1_smooth.tif)

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера)
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстриует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp).
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].
Разобьем обработку на несколько этапов:

'''Определение путей к данным и треннингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции что бы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов -ключевой момент, который определяет качество получаемой модели и классификации. Важно что бы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех треннингов последовательно для каждого снимка, что приводит к появлению большого числа нудевых значений там, где треннинги выходят за границы снимка, поэтому при объединении задана функция использовать только ненулевые значения каналов (в данном примере Band_1).

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя треннингов и классификация
Результаты сохранены в директории /result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения, можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами и хотя по прежнему остается прерогативой крупных команд и организаций,
методы полу-автомтической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодяря простоте и относительно высокой производительности, возможно позволит развивать свои проекты в области ДЗЗ, не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Файл:Runscript.jpg

2016-11-21T15:31:15Z

Igg:

Файл:DT batch classify.zip

2016-11-21T15:27:38Z

Igg:

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-21T15:19:30Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

DT classifier простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив QGIS-NextGIS[http://nextgis.ru/nextgis-qgis/].
Расширение использует метод деревьев решений реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее о работе расширения написано здесь [http://gis-lab.info/qa/dtclassifier.html].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в workflow обработки изображений или для анализа большого количества данных удобнее использоывать
консольную версию плагина. Что и было реализовано командой NextGIS

{{NextGIS}}

=== Получение и установка ===

Расширение доступно как в виде исходного кода C++, так и в бинарной форме.

==== Бинарная сборка ====

Для работы с программой в ОС Windows можно пойти двумя путями:

* [http://nextgis.ru/nextgis-qgis/ загрузить] и установить NextGIS QGIS версии 15.4.88 или выше, DTClassifier включен в дистрибутив.

или

* загрузить и установить QGIS версии 2.8 или выше ([http://gis-lab.info/qa/qgis-osgeo4w.html подробнее])
* [http://nextgis.ru/programs/dtclassifier-qgis2.0.zip загрузить] архив с расширением и необходимыми библиотеками
* извлечь содержимое архива в каталог модулей QGIS (обычно это C:\OSGeo4W\apps\qgis-dev\plugins и C:\OSGeo4W\bin)

После установки, в окне [https://trac.osgeo.org/osgeo4w/ OSGeo4W] shell наряду с другими функциями ([http://gdal.org GDAL]) и ([http://gdal.org OGR])
появится функция '''classifier'''.

[[Файл:DTconsol_pic1.jpg]]

==== Исходный код ====

Исходный код модуля (лицензия GNU GPL v2) можно получить через [https://github.com/nextgis/dtclassifier репозиторий на GitHub], или выполнив команду:

<pre>git clone git@github.com:nextgis/dtclassifier.git</pre>

==== Тестовые данные ====

[http://gis-lab.info/data/samples/ Загрузить] архив c данными, использовавшимися при подготовке статьи (... Мб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам) разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов содержащие признак который нужно выделить при анализе, разделенные пробелом. Например для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов , т.е. объектам от которых нужно отделить объекты содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп файла с атрибутивнлой таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использовует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующией точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели, без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой треннингов выходит за границы растра, то часть точек за границами создается с не нулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.
Возможно, это связано с топологией слоя, но проверка в QGIS не показала ошибок.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои трениннгов состоят из двух шейп файлов (сut1.shp - рубки произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Треннинги находятся в отдельной дир-ии (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. Нпример d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл в котором последовательно записать командные строки для обработки всех директорий
или cоздать скрипт (например на python):

Пример [http://wiki.gis-lab.info/w/%D0%A4%D0%B0%D0%B9%D0%BB:BatchDT.zip скрипта] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (суффикс - ..train_points.shp и модели (...out_rfmodel.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Cоздание объединенной модели классификации ====
ВАЖНО: Этот пример носит скорее демонстрационный характер поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, в этом же примере используются две новые функции DTClassifier --load_points и --use_model, которые позволяют
собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Cтруктура входящих данных (число каналов или сцен ) должна быть одинаковой для для каждого блока данных, в отличии от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор треннигов и создается отдельная модель для классификации. Но в нашем случае, количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровнять баланс между числом тренировочных точек содержащих признак и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.aml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (...out1.tif и ...out1_smooth.tif)

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера)
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстриует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp).
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].
Разобьем обработку на несколько этапов:

'''Определение путей к данным и треннингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции что бы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов -ключевой момент, который определяет качество получаемой модели и классификации. Важно что бы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех треннингов последовательно для каждого снимка, что приводит к появлению большого числа нудевых значений там, где треннинги выходят за границы снимка, поэтому при объединении задана функция использовать только ненулевые значения каналов (в данном примере Band_1).

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя треннингов и классификация
Результаты сохранены в директории /result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg]]

В качестве заключения, можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами и хотя по прежнему остается прерогативой крупных команд и организаций,
методы полу-автомтической и автоматической обработки становятся доступны и для более широкого круга пользователей. Данное расширение, благодяря простоте и относительно высокой производительности, возможно позволит развивать свои проекты в области ДЗЗ, не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Файл:Ex3 result fin.jpg

2016-11-21T14:55:06Z

Igg:

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-21T14:50:33Z

Igg:

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-21T13:51:11Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

DT classifier простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив QGIS-NextGIS[http://nextgis.ru/nextgis-qgis/].
Расширение использует метод деревьев решений реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее о работе расширения написано здесь [http://gis-lab.info/qa/dtclassifier.html].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в workflow обработки изображений или для анализа большого количества данных удобнее использоывать
консольную версию плагина. Что и было реализовано командой NextGIS

{{NextGIS}}

=== Получение и установка ===

Расширение доступно как в виде исходного кода C++, так и в бинарной форме.

==== Бинарная сборка ====

Для работы с программой в ОС Windows можно пойти двумя путями:

* [http://nextgis.ru/nextgis-qgis/ загрузить] и установить NextGIS QGIS версии 15.4.88 или выше, DTClassifier включен в дистрибутив.

или

* загрузить и установить QGIS версии 2.8 или выше ([http://gis-lab.info/qa/qgis-osgeo4w.html подробнее])
* [http://nextgis.ru/programs/dtclassifier-qgis2.0.zip загрузить] архив с расширением и необходимыми библиотеками
* извлечь содержимое архива в каталог модулей QGIS (обычно это C:\OSGeo4W\apps\qgis-dev\plugins и C:\OSGeo4W\bin)

После установки, в окне [https://trac.osgeo.org/osgeo4w/ OSGeo4W] shell наряду с другими функциями ([http://gdal.org GDAL]) и ([http://gdal.org OGR])
появится функция '''classifier'''.

[[Файл:DTconsol_pic1.jpg]]

==== Исходный код ====

Исходный код модуля (лицензия GNU GPL v2) можно получить через [https://github.com/nextgis/dtclassifier репозиторий на GitHub], или выполнив команду:

<pre>git clone git@github.com:nextgis/dtclassifier.git</pre>

==== Тестовые данные ====

[http://gis-lab.info/data/samples/ Загрузить] архив c данными, использовавшимися при подготовке статьи (... Мб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам) разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов содержащие признак который нужно выделить при анализе, разделенные пробелом. Например для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов , т.е. объектам от которых нужно отделить объекты содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп файла с атрибутивнлой таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использовует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующией точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели, без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой треннингов выходит за границы растра, то часть точек за границами создается с не нулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.
Возможно, это связано с топологией слоя, но проверка в QGIS не показала ошибок.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои трениннгов состоят из двух шейп файлов (сut1.shp - рубки произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Треннинги находятся в отдельной дир-ии (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. Нпример d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл в котором последовательно записать командные строки для обработки всех директорий
или cоздать скрипт (например на python):

Пример [http://wiki.gis-lab.info/w/%D0%A4%D0%B0%D0%B9%D0%BB:BatchDT.zip скрипта] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (суффикс - ..train_points.shp и модели (...out_rfmodel.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Cоздание объединенной модели классификации ====
ВАЖНО: Этот пример носит скорее демонстрационный характер поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, в этом же примере используются две новые функции DTClassifier --load_points и --use_model, которые позволяют
собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Cтруктура входящих данных (число каналов или сцен ) должна быть одинаковой для для каждого блока данных, в отличии от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор треннигов и создается отдельная модель для классификации. Но в нашем случае, количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровнять баланс между числом тренировочных точек содержащих признак и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.aml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (...out1.tif и ...out1_smooth.tif)

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера)
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстриует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp).
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].
Разобьем обработку на несколько этапов:

'''Определение путей к данным и треннингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические каналы, но конечно можно использовать и другие опции что бы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove panchromatic channel
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов -ключевой момент, который определяет качество получаемой модели и классификации. Важно что бы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех треннингов последовательно для каждого снимка, что приводит к появлению большого числа нудевых значений там, где треннинги выходят за границы снимка, поэтому при объединении задана функция использовать только ненулевые значения каналов (в данном примере Band_1).

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp

[[Файл:Ex3 trainigs fin.jpg]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя треннингов и классификация
Результаты сохранены в директории /result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

Файл:Ex3 trainigs fin.jpg

2016-11-21T13:41:23Z

Igg:

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-21T13:38:24Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

DT classifier простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив QGIS-NextGIS[http://nextgis.ru/nextgis-qgis/].
Расширение использует метод деревьев решений реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее о работе расширения написано здесь [http://gis-lab.info/qa/dtclassifier.html].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в workflow обработки изображений или для анализа большого количества данных удобнее использоывать
консольную версию плагина. Что и было реализовано командой NextGIS

{{NextGIS}}

=== Получение и установка ===

Расширение доступно как в виде исходного кода C++, так и в бинарной форме.

==== Бинарная сборка ====

Для работы с программой в ОС Windows можно пойти двумя путями:

* [http://nextgis.ru/nextgis-qgis/ загрузить] и установить NextGIS QGIS версии 15.4.88 или выше, DTClassifier включен в дистрибутив.

или

* загрузить и установить QGIS версии 2.8 или выше ([http://gis-lab.info/qa/qgis-osgeo4w.html подробнее])
* [http://nextgis.ru/programs/dtclassifier-qgis2.0.zip загрузить] архив с расширением и необходимыми библиотеками
* извлечь содержимое архива в каталог модулей QGIS (обычно это C:\OSGeo4W\apps\qgis-dev\plugins и C:\OSGeo4W\bin)

После установки, в окне [https://trac.osgeo.org/osgeo4w/ OSGeo4W] shell наряду с другими функциями ([http://gdal.org GDAL]) и ([http://gdal.org OGR])
появится функция '''classifier'''.

[[Файл:DTconsol_pic1.jpg]]

==== Исходный код ====

Исходный код модуля (лицензия GNU GPL v2) можно получить через [https://github.com/nextgis/dtclassifier репозиторий на GitHub], или выполнив команду:

<pre>git clone git@github.com:nextgis/dtclassifier.git</pre>

==== Тестовые данные ====

[http://gis-lab.info/data/samples/ Загрузить] архив c данными, использовавшимися при подготовке статьи (... Мб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам) разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов содержащие признак который нужно выделить при анализе, разделенные пробелом. Например для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов , т.е. объектам от которых нужно отделить объекты содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп файла с атрибутивнлой таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использовует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующией точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели, без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой треннингов выходит за границы растра, то часть точек за границами создается с не нулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.
Возможно, это связано с топологией слоя, но проверка в QGIS не показала ошибок.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои трениннгов состоят из двух шейп файлов (сut1.shp - рубки произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Треннинги находятся в отдельной дир-ии (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. Нпример d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл в котором последовательно записать командные строки для обработки всех директорий
или cоздать скрипт (например на python):

Пример [http://wiki.gis-lab.info/w/%D0%A4%D0%B0%D0%B9%D0%BB:BatchDT.zip скрипта] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (суффикс - ..train_points.shp и модели (...out_rfmodel.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Cоздание объединенной модели классификации ====
ВАЖНО: Этот пример носит скорее демонстрационный характер поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, в этом же примере используются две новые функции DTClassifier --load_points и --use_model, которые позволяют
собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Cтруктура входящих данных (число каналов или сцен ) должна быть одинаковой для для каждого блока данных, в отличии от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор треннигов и создается отдельная модель для классификации. Но в нашем случае, количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровнять баланс между числом тренировочных точек содержащих признак и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.aml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (...out1.tif и ...out1_smooth.tif)

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера)
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстриует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp).
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].
Разобьем обработку на несколько этапов:

'''Определение путей к данным и треннингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические каналы, но конечно можно использовать и другие опции что бы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove panchromatic channel
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов -ключевой момент, который определяет качество получаемой модели и классификации. Важно что бы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.
Также следует учитывать, что DT classifier собирает данные со всех треннингов последовательно для каждого снимка, что приводит к появлению большого числа нудевых значений там, где треннинги выходят за границы снимка, поэтому при объединении задана функция использовать только ненулевые значения каналов (в данном примере Band_1).

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp

[[Файл:Ex2 resmodel.jpg]]

'''Создание модели и классификация.'''

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-21T13:18:48Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

DT classifier простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив QGIS-NextGIS[http://nextgis.ru/nextgis-qgis/].
Расширение использует метод деревьев решений реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее о работе расширения написано здесь [http://gis-lab.info/qa/dtclassifier.html].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в workflow обработки изображений или для анализа большого количества данных удобнее использоывать
консольную версию плагина. Что и было реализовано командой NextGIS

{{NextGIS}}

=== Получение и установка ===

Расширение доступно как в виде исходного кода C++, так и в бинарной форме.

==== Бинарная сборка ====

Для работы с программой в ОС Windows можно пойти двумя путями:

* [http://nextgis.ru/nextgis-qgis/ загрузить] и установить NextGIS QGIS версии 15.4.88 или выше, DTClassifier включен в дистрибутив.

или

* загрузить и установить QGIS версии 2.8 или выше ([http://gis-lab.info/qa/qgis-osgeo4w.html подробнее])
* [http://nextgis.ru/programs/dtclassifier-qgis2.0.zip загрузить] архив с расширением и необходимыми библиотеками
* извлечь содержимое архива в каталог модулей QGIS (обычно это C:\OSGeo4W\apps\qgis-dev\plugins и C:\OSGeo4W\bin)

После установки, в окне [https://trac.osgeo.org/osgeo4w/ OSGeo4W] shell наряду с другими функциями ([http://gdal.org GDAL]) и ([http://gdal.org OGR])
появится функция '''classifier'''.

[[Файл:DTconsol_pic1.jpg]]

==== Исходный код ====

Исходный код модуля (лицензия GNU GPL v2) можно получить через [https://github.com/nextgis/dtclassifier репозиторий на GitHub], или выполнив команду:

<pre>git clone git@github.com:nextgis/dtclassifier.git</pre>

==== Тестовые данные ====

[http://gis-lab.info/data/samples/ Загрузить] архив c данными, использовавшимися при подготовке статьи (... Мб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам) разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов содержащие признак который нужно выделить при анализе, разделенные пробелом. Например для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов , т.е. объектам от которых нужно отделить объекты содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп файла с атрибутивнлой таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использовует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующией точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели, без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой треннингов выходит за границы растра, то часть точек за границами создается с не нулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.
Возможно, это связано с топологией слоя, но проверка в QGIS не показала ошибок.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои трениннгов состоят из двух шейп файлов (сut1.shp - рубки произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Треннинги находятся в отдельной дир-ии (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. Нпример d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл в котором последовательно записать командные строки для обработки всех директорий
или cоздать скрипт (например на python):

Пример [http://wiki.gis-lab.info/w/%D0%A4%D0%B0%D0%B9%D0%BB:BatchDT.zip скрипта] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (суффикс - ..train_points.shp и модели (...out_rfmodel.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Cоздание объединенной модели классификации ====
ВАЖНО: Этот пример носит скорее демонстрационный характер поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, в этом же примере используются две новые функции DTClassifier --load_points и --use_model, которые позволяют
собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Cтруктура входящих данных (число каналов или сцен ) должна быть одинаковой для для каждого блока данных, в отличии от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор треннигов и создается отдельная модель для классификации. Но в нашем случае, количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровнять баланс между числом тренировочных точек содержащих признак и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.aml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (...out1.tif и ...out1_smooth.tif)

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера)
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

ВАЖНО: Этот пример также носит скорее демонстрационный характер поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстриует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp).
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, скрипт доступен здесь[https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py].
Разобьем обработку на несколько этапов:

Определение путей к данным и треннингам и импорт необходимых библиотек.

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

Распаковка и удаление ненужных каналов.
В данном примере я просто удалил панхроматические каналы, но конечно можно использовать и другие опции что бы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove panchromatic channel
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

Создание общего точечного слоя тренингов.
Здесь следует отметит, что создание обучающего слоя тренингов -ключевой момент, который определяет качество получаемой модели и классификации. Важно что бы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнет дулирующиеся точки с разными значениями исзлучения в каналах. Для облачного снимкаи безоблочного в зоне перекрытия.
Также следует учитывать, что DT classifier собирает данные со всех треннингов последовательно для каждого снимка, что приводит к появлению большого числа нудевых значений там где треннинги выходят за границы снимка, поэтому при объединении задана функция использовать только ненулевые значения каналов.

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-20T20:37:24Z

Igg:

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

DT classifier простой в использовании и эффективный плагин для классификации растровых изображений
Декстопная версия расширения входит в дистрибутив QGIS-NextGIS[http://nextgis.ru/nextgis-qgis/].
Расширение использует метод деревьев решений реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее о работе расширения написано здесь [http://gis-lab.info/qa/dtclassifier.html].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в workflow обработки изображений или для анализа большого количества данных удобнее использоывать
консольную версию плагина. Что и было реализовано командой NextGIS

{{NextGIS}}

=== Получение и установка ===

Расширение доступно как в виде исходного кода C++, так и в бинарной форме.

==== Бинарная сборка ====

Для работы с программой в ОС Windows можно пойти двумя путями:

* [http://nextgis.ru/nextgis-qgis/ загрузить] и установить NextGIS QGIS версии 15.4.88 или выше, DTClassifier включен в дистрибутив.

или

* загрузить и установить QGIS версии 2.8 или выше ([http://gis-lab.info/qa/qgis-osgeo4w.html подробнее])
* [http://nextgis.ru/programs/dtclassifier-qgis2.0.zip загрузить] архив с расширением и необходимыми библиотеками
* извлечь содержимое архива в каталог модулей QGIS (обычно это C:\OSGeo4W\apps\qgis-dev\plugins и C:\OSGeo4W\bin)

После установки, в окне [https://trac.osgeo.org/osgeo4w/ OSGeo4W] shell наряду с другими функциями ([http://gdal.org GDAL]) и ([http://gdal.org OGR])
появится функция '''classifier'''.

[[Файл:DTconsol_pic1.jpg]]

==== Исходный код ====

Исходный код модуля (лицензия GNU GPL v2) можно получить через [https://github.com/nextgis/dtclassifier репозиторий на GitHub], или выполнив команду:

<pre>git clone git@github.com:nextgis/dtclassifier.git</pre>

==== Тестовые данные ====

[http://gis-lab.info/data/samples/ Загрузить] архив c данными, использовавшимися при подготовке статьи (... Мб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам) разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов содержащие признак который нужно выделить при анализе, разделенные пробелом. Например для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов , т.е. объектам от которых нужно отделить объекты содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest существенно улучшает результат классификации

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп файла с атрибутивнлой таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использовует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующией точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели, без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой треннингов выходит за границы растра, то часть точек за границами создается с не нулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.
Возможно, это связано с топологией слоя, но проверка в QGIS не показала ошибок.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Слои трениннгов состоят из двух шейп файлов (сut1.shp - рубки произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Треннинги находятся в отдельной дир-ии (trainings)

[[Файл:Pic1.jpg]]

Распакуем и сохраним на диске тестовые данные. Нпример d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Для обработки нескольких path/row можно создать .bat файл в котором последовательно записать командные строки для обработки всех директорий
или cоздать скрипт (например на python):

Пример [http://wiki.gis-lab.info/w/%D0%A4%D0%B0%D0%B9%D0%BB:BatchDT.zip скрипта] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (суффикс - ..train_points.shp и модели (...out_rfmodel.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg]]

Пример выявления выборочной рубки:

[[Файл:Pic2res.jpg]]

==== Пример 2. Cоздание объединенной модели классификации ====
ВАЖНО: Этот пример носит скорее демонстрационный характер поскольку для создания реальной модели входящие данные должны быть нормализованы.

Предыдущий пример фактически повторяет функционал декстопной версии, в этом же примере используются две новые функции DTClassifier --load_points и --use_model, которые позволяют
собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Cтруктура входящих данных (число каналов или сцен ) должна быть одинаковой для для каждого блока данных, в отличии от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row используется свой набор треннигов и создается отдельная модель для классификации. Но в нашем случае, количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории). Поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные для создания модели и последовательно применяем ее к каждой поддиректории.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровнять баланс между числом тренировочных точек содержащих признак и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.aml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (...out1.tif и ...out1_smooth.tif)

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера)
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубки попала в изменения), что связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

ВАЖНО: Этот пример также носит скорее демонстрационный характер поскольку для создания реальной модели каналы лучше сначала перевести в toar reflectance.

Данный пример иллюстриует возможность встраивания плагина в процесс обработки данных, например создание масок облачности для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облкаов (cloud.shp) и необлачных участков (nocloud.shp).
Поробуем полностью автоматизировать процесс обработки и получения масок облачности для данных сцен.

каждой поддиректории структура данных не меняется (11 каналов Landsat).

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-20T16:54:03Z

Igg:

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-20T16:35:56Z

Igg:

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-20T16:24:30Z

Igg:

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-20T16:06:46Z

Igg:

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-20T16:04:12Z

Igg:

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-11-20T15:29:53Z

Igg: