GIS-Lab - Вклад [ru]

Использование консольного DTclassifier для классификации растровых данных и анализа изменений

2016-12-09T10:41:46Z

KolesovDmitry: /* Работа с расширением */

{{Статья|Черновик}}
{{Аннотация|Описание и примеры использования консольной версии DTclassifier для классификации растровых данных.}}

'''DT classifier''' - это простой в использовании и эффективный плагин для классификации растровых изображений.
Декстопная версия расширения входит в дистрибутив [http://nextgis.ru/nextgis-qgis/ NextGIS QGIS].
Расширение использует метод деревьев решений, реализованный на основе библиотеки [https://github.com/opencv/opencv/wiki OpenCV].
Подробнее об установке и работе декстопной версии расширения написано [http://gis-lab.info/qa/dtclassifier.html здесь].

Плагин имеет удобный графический интерфейс, но для некоторых задач, например,
для встраивания алгоритмов классификации в процесс обработки изображений или для анализа большого количества данных, удобнее использовать консольную версию инструмента. Про нее и пойдет речь в этой статье.

==== Тестовые данные ====

[https://drive.google.com/file/d/0B-Sx9ICoBa2QZzlCR2tOZEgtWkE/view?usp=sharing Загрузить] архив c данными, использовавшимися при подготовке статьи (4.7Гб).

=== Работа с расширением ===
Синтаксис расширения включает несколько обязательных параметров и ряд дополнительных,
расширяющих функциональность приложения.

[[Файл:DTconsol_pic2a.jpg|700px|thumb|center]]

<pre>classifier.bat</pre>

- запуск расширения

'''Основные опции'''

<pre>--input_rasters</pre>

- пути к растровым данным ('''ВАЖНО'''! необходимо указывать полные пути к файлам), разделенные пробелом

<pre>--presence </pre>

- полные пути к векторным слоям объектов, содержащие признак, который нужно выделить при анализе, разделенные пробелом. Например, для природных экосистем: облака, водные объекты, рубки или пожары.

<pre>--absence</pre>

- полные пути к векторным слоям фоновых объектов, т.е. объектам, от которых нужно отделить объекты, содержащие признак.

<pre>--classify</pre>

путь для сохранения результата классификации

'''Дополнительные опции'''

<pre>--decision_tree</pre>

- использует дерево решений (по умолчанию используется случаный лес, т.е. random forest). ПРИМЕЧАНИЕ: Опыт показывает, что использование Random Forest обычно существенно улучшает результат классификации по сравнению с деревом решений

<pre>--discrete_classes</pre>

- Применяется при использовании одиночного дерева (--use_decision_tree). В этом случае, если флаг установлен, исходные данные будут трактоваться как набор дискретных величин (классификационная модель). Если флаг не установлен, то используется регрессионная модель.

<pre>--generalize</pre>

- размер окна для генерализации (kernel size). «Cглаживание» результатов классификации с настраиваемым размером окна. При включенном сглаживании будет создан не один, а два растра: классифицированный и сглаженный (имя содержит суффикс «_smooth»).

<pre>--save_train_layer </pre>

- сохраняет слой тренингов, полученный из обучающих данных (полигонов, линий и тд.) в виде точечного шейп-файла с атрибутивной таблицей, включающей значения растров и классы обучающей выборки (1- presence,0 - absence)

<pre>--save_model</pre>

- сохраняет модель (дерево решений или модель random forest) в файл (.yaml)

<pre>--use_model</pre>

- использует существующую модель. При этом параметры --presence и --absence игнорируются.
('''ВАЖНО'''! количество и порядок каналов должен быть таким же как при создании модели, иначе результат будет некорректным)

<pre>--use_train_layer</pre>

- использует существующий точечный файл (полученный при помощи опции --save_train_layer) для создания модели. При этом игнорируются опции --presence и --absence. Также используется для создания модели без последующей классификации. В этом случае достаточно просто игнорировать опции --classify и --input_rasters

Также приведены примеры синтаксиса командной строки:

Классификация.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --classify result.tiff
</syntaxhighlight>

Классификация c с использованием существующей модели.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --use_model model.yaml --classify result.tiff
</syntaxhighlight>

Создание модели (без классификации).
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_model model.yaml
</syntaxhighlight>

Создание модели на основе точечного слоя.
<syntaxhighlight lang="python">
classifier.bat --use_train_layer train_points.shp --save_model model.yaml
</syntaxhighlight>

Создание точечного слоя тренингов.
<syntaxhighlight lang="python">
classifier.bat --input_rasters rast1 [rast2, ...] --presence vect1.shp [vect2, ...] --absence vect1.shp [vect2, ...] --save_train_layer train_points.shp
</syntaxhighlight>

'''TODO''': Проверить! Если слой тренингов выходит за границы растра, то часть точек за границами создается с ненулевыми значениями (+ errors при выполнении), которые приходится удалять вручную.

=== Примеры использования ===

==== Пример 1. Классификация сцен Landsat в batch режиме на основе общего слоя тестовых объектов ====

Для выявления изменения лесного покрова в результате рубок в зимний период используется анализ изменений 2-х и более сцен Landsat. Если территория исследования занимает значительную площадь
и включает в себя несколько path/row спутника, то удобнее использовать консольную версию для проведения классификации в batch режиме. В данном примере, сцены Landsat за период 2015-2016 гг.
разбиты по директориям (data/<path/row>) и классификация проводится последовательно для каждого path/row.
Обучающая выборка (тренинги) состоит из двух шейп-файлов (сut1.shp - рубки, произошедшие за период наблюдения и nochange.shp - не изменившиеся территории). Тренинги находятся в отдельной директории (trainings).

[[Файл:Pic1.jpg|700px|thumb|center|Создание обучающей выборки (тренингов) по снимкам Landsat до (декабрь 2015) и после (январь 2016) вырубки]]

Распакуем и сохраним на диске тестовые данные. В примере используется расположение d:\DT.
Снимки лежат в d:\DT\data, тренинги в d:\DT\trainings. Командная строка для классификации отдельного path/row:

<syntaxhighlight lang="python">
classifier.bat --presence d:\DT\trainings\cut1.shp --absence d:\DT\trainings\nochange.shp --input_rasters d:\DT\data\113027\113027_16055.tif d:\DT\data\113027\113027_15020.tif --save_points --save_model d:\DT\data\113027\model.aml --classify d:\DT\data\113027\113027_dtclass.tif --generalize 3
</syntaxhighlight>

Здесь следует пояснить, что при создании модели программа использует только те полигоны обучающей выборки которые пересекаются с указанными --input_rasters (если точнее, для всех остальных объектов, значения спектральных каналов будут равны нулю). Полигоны взяты из общего слоя, но для построения модели важны только те которые пересекаются с экстентом указанных в командной строке сцен. Количество каналов (bands) по которым строится модель равно сумме всех каналов сцен перечисленных в --input_rasters. Значения пикселей пересекающие полигоны (также можно использовать линии или точки) обучающей выборки (тренингов), на основе которых и строится модель классификации, можно сохранить в виде точечного слоя (опция --save_points). Также можно сохранить и саму модель (опция --save_model). Для каждой поддиректории (path/row) модель будет уникальной, поскольку строится только на тех полигонах (из слоя cut1.shp) которые пересекаются со снимком.

Для обработки нескольких path/row можно создать .bat файл, в котором последовательно записать командные строки для обработки всех директорий
или создать скрипт (например на python):

Пример [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_batch_classify.py скрипта] для обработки нескольких сцен

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to training
traindir='d:\DT\\trainings'
# presence
presence=os.path.join(traindir,'cut1.shp')
# absence
absence=os.path.join(traindir,'nochange.shp')
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out.tif')
model=os.path.join(result, str(os.path.basename(subdir))+'model.yaml')
train_points=os.path.join(result, str(os.path.basename(subdir))+'train_points.shp')
# command DTclassifier
command= 'classifier.bat --input_rasters %s --save_train_layer %s --save_model %s --presence %s --absence %s --classify %s --generalize 3' % (scenes,train_points,model,presence,absence,output)
#run command
os.system(command)
}</syntaxhighlight>

Запустим скрипт в OSGeo4W shell:

[[Файл:Runscript.jpg|700px|thumb|center]]

После выполнения операции результаты будут сохранены в директорию d:\DT\result (генерализованые растры имеют суффикс _smooth.tif). Также будут сохранены векторные слои (точки) треннингов (<path/row>train_points.shp) и модели (<path/row>model.yaml).

Результат классификации:

[[Файл:DTconsol_pic4.jpg|700px|thumb|center|Результат анализа изменений по снимкам Landsat слева - общий результат, справа примеры снимков до (декабрь 2015) и после (январь-февраль 2016) нарушения, и результат классификации]]

[[Файл:Pic2res.jpg|700px|thumb|center|Пример выявления выборочной рубки]]

==== Пример 2. Создание объединенной модели классификации ====

ВАЖНО: Этот пример носит скорее демонстрационный характер, поскольку для создания реальной модели входящие данные должны быть [http://gis-lab.info/qa/regress-r.html нормализованы].

Предыдущий пример фактически повторяет функционал декстопной версии, а в данном примере используются две новые функции DTClassifier ----use_train_layer и --use_model, которые позволяют собирать тренировочные данные с отдельно выбранных сцен и на этой основе создавать модель, которую затем можно применить ко всему массиву данных.

Структура входящих данных (число каналов или сцен) должна быть одинаковой для каждого блока данных, в отличие от предыдущего примера, где число снимков / каналов в поддиректории может варьировать, поскольку для каждого path/row создается отдельная модель для классификации. В нашем случае количество каналов для каждого path/row одинаковое (2 снимка по 7 каналов в каждой поддиректории), поэтому в данном примере мы используем сохраненные на предыдущем этапе точечные данные (--save_points) для создания общей для всех сцен модели и последовательно применим ее к каждой поддиректории с данными.

Для этого создадим объединенный слой точек train_points.shp, просто объединив ..113027\out_train_points.shp и ..112027\out_train_points.shp в QGIS. Дополнительно можно убрать нулевые значения
что выровняет баланс между числом тренировочных точек, содержащих признак, и точками с его отсутствием.

[[Файл:DTconsol pic6.jpeg|700px|thumb|center|Точечный слой треннингов для созданий модели]]

Для отдельной рубки слой выглядит так:

[[Файл:Ex2 trainings1.jpg|700px|thumb|center|Точечный слой треннингов для отдельной рубки (пример)]]

Сохраним объединенный слой точек в директорию d:\DT\model\points.shp. Затем создадим модель, используя командную строку:

<syntaxhighlight lang="python">
classifier.bat --use_train_layer d:\DT\model\points.shp --save_model d:\DT\model\model_all.yaml
</syntaxhighlight>

И применим ее последовательно к данным, к примеру, используя скрипт (python):

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob

# path to data
datadir='d:\DT\data'
# path to model
model='d:\DT\model\model_all.yaml'
#result
result='d:\DT\\result'

for subdir, dirs, files in os.walk(datadir):
scenes=glob.glob(os.path.join(subdir, '*.tif'))
if scenes == []:
continue
else:
scenes=' '.join(scenes)
output=os.path.join(result, str(os.path.basename(subdir))+'out1.tif')
#command DTclassifier
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (scenes,model,output)
#run command
print command
os.system(command)
}</syntaxhighlight>

После завершения, в директории d:\DT\result добавятся результаты классификации (<path/row>out1.tif и <path/row>out1_smooth.tif).

Откроем результат в QGIS:

[[Файл:Ex2 resmodel.jpg|700px|thumb|center|Результат классификации. Сверху-вниз примеры выявления выборочных рубок на снимках Landsat до и после нарушения. Дата снимка - в верхнем левом углу.]]

Цветом показаны результаты классификации на основе объединенной модели (красным) и модели для каждой сцены (синим - модель из предыдущего примера).
Следует отметить, что результат объединенной модели несколько хуже (меньшая площадь рубок попала в изменения), что скорее всего связано с варьированием яркости между ненормализованными снимками.

==== Пример 3. Cоздание модели облачности на основе ''исходных'' данных Landsat ====

'''ВАЖНО''': Этот пример также носит скорее демонстрационный характер, поскольку для создания реальной модели каналы лучше сначала перевести в значения излучения на сенсоре ([https://grasswiki.osgeo.org/wiki/Atmospheric_correction toar reflectance]).

Данный пример иллюстрирует возможность встраивания плагина в процесс обработки данных, например создание масок облачности (или любой другой классификации) для нескольких сцен, на основе общего слоя треннингов.
В директории DT\cloud_data находится три "исходных" сцены Landsat (..tar.gz - архивы), а в DT\cloud_trainings обучающие слои облаков (cloud.shp) и необлачных участков (nocloud.shp). В данном примере слои получены случайной выборкой из классифицированного до этого (другими методами) растра, но также можно использовать любые другие способы создания тестовых объектов.
Попробуем максимально автоматизировать процесс обработки и получения масок облачности для данных сцен.

Для этого воспользуемся возможностями python, целиком скрипт доступен [https://github.com/IgorGlushkov/DT_classifier_utilities/blob/master/DT_cloud_model.py здесь].

Разобьем обработку на несколько этапов:

'''Определение путей к данным и тренингам и импорт необходимых библиотек.'''

<syntaxhighlight lang="python">
# -*- coding: UTF-8 -*-
import os
import glob
import tarfile

# path to data
datadir='d:\DT\cloud_data'
# path to training
traindir='d:\DT\cloud_trainings'
# presence
presence=os.path.join(traindir,'cloud.shp')
# absence
absence=os.path.join(traindir,'nocloud.shp')
#merge points
merge_train_points='cloud_train_points.shp'
#model
model='d:\DT\model\model_cloud.yaml'
#result
result='d:\DT\\result'
}</syntaxhighlight>

'''Распаковка и удаление ненужных каналов.'''

В данном примере я просто удалил панхроматические и BQA каналы, но конечно можно использовать и другие опции (и код), чтобы сохранить эти данные для других задач.

<syntaxhighlight lang="python">
#unzip in separate folders
scenes = glob.glob(os.path.join(datadir, '*gz'))
for scene in scenes:
try:
a = tarfile.open(scene)
scene_name = scene.split('.')[0]
a.extractall(path=os.path.join(datadir,scene_name))
a.close()
except IOError:
False

#remove BQA bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*BQA.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)

#remove panchromatic bands
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*B8.TIF'))
if bands == []:
continue
else:
command= 'rm %s' % (bands[0])
print command
os.system(command)
}</syntaxhighlight>

'''Создание общего точечного слоя тренингов.'''

Здесь следует отметит, что создание обучающего слоя тренингов - ключевой момент, который определяет качество получаемой модели и классификации. Для данного примера важно, чтобы тренинги с облаками не располагались в области перекрытия снимков, поскольку в этом случае возникнут дублирующиеся точки с разными значениями класса объекта, но с одинаковыми значениями излучения в каналах снимка.

Также следует учитывать, что DT classifier собирает данные со всех тренингов последовательно для каждого снимка, что приводит к появлению большого числа нулевых значений там, где тренинги выходят за границы снимка, поэтому при объединении задана функция "использовать только ненулевые значения каналов (в данном примере -where Band_1 > 0)". При использовании большего числа снимков необходимо будет учитывать и дату каждой отдельной сцены при создании тренингов, но в данном простом примере используются только неперекрывающиеся участки облачности.

<syntaxhighlight lang="python">
#create train points from selected scenes
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
train_points=os.path.join(traindir, str(os.path.basename(subdir))+'train_points.shp')
command= 'classifier.bat --input_rasters %s --save_train_layer %s --presence %s --absence %s' % (bands,train_points,presence,absence)
print command
os.system(command)

#merge trainings with null values removing using ogr2ogr
commandlist=[]
driver='ESRI Shapefile'
trainings=glob.glob(os.path.join(traindir, '*train_points.shp'))
for training in trainings:
if commandlist == []:
merge_train=os.path.join(traindir, merge_train_points)
command='ogr2ogr -f \"%s\" %s %s -where \"Band_1 > 0\"' % (driver,merge_train,training)
merge_name = merge_train_points.split('.')[0]
command1='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)
commandlist.append(command1)
else:
merge_train=os.path.join(traindir, merge_train_points)
#remove ext
merge_name = merge_train_points.split('.')[0]
command='ogr2ogr -f \"%s\" -update -append %s %s -nln %s -where \"Band_1 > 0\"' % (driver,merge_train,training,merge_name)
commandlist.append(command)

#run merge shp
#f = open('%s\com.txt' % (traindir), 'w')
for command in commandlist:
#f.write(command+'\n')
os.system(command)
#f.close()
}</syntaxhighlight>

В результате - создан точечный слой d:\DT\cloud_trainings\cloud_train_points.shp.

[[Файл:Ex3 trainigs fin.jpg|700px|thumb|center|Точечный слой треннингов на облачность]]

'''Создание модели и классификация.'''

Заключительный этап - создание модели из объединенного слоя тренингов и классификация.
Результаты сохранены в директории ..DT\result в двух файлах для каждого снимка, <имя исходного архива>..out_cloud.tif и ..out_cloud_smooth.tif (генерализованный)

<syntaxhighlight lang="python">
#create model
if os.path.isfile(os.path.join(traindir,merge_train_points)):
try:
merge_train=os.path.join(traindir,merge_train_points)
command='classifier.bat --use_train_layer %s --save_model %s' % (merge_train,model)
os.system(command)
except IOError:
False

#classify
for subdir, dirs, files in os.walk(datadir):
bands=glob.glob(os.path.join(subdir, '*.TIF'))
if bands == []:
continue
else:
bands=' '.join(bands)
output=os.path.join(result, str(os.path.basename(subdir))+'out_cloud.tif')
command= 'classifier.bat --input_rasters %s --use_model %s --classify %s --generalize 3' % (bands,model,output)
print command
os.system(command)
}</syntaxhighlight>

Результат автоматической обработки:

[[Файл:Ex3 result fin.jpg|700px|thumb|center|Результат классификации - маска облаков (синим), справа примеры снимка с результатом классификации (справа внизу) и без (справа вверху)]]

В качестве заключения можно сказать, что автоматизация задач обработки и классификации данных ДЗЗ развивается стремительными темпами, и хотя по-прежнему остается прерогативой крупных команд и организаций,
методы полу-автоматической и автоматической обработки становятся доступны и для более широкого круга пользователей.

Данное расширение, благодаря простоте и относительно высокой производительности, позволит развивать свои проекты в области ДЗЗ не только профессиональным разработчикам, но и исследователям, только начинающим использовать языки программирования в своей работе.

Модуль r.series.filter ГИС GRASS

2015-12-23T19:40:11Z

KolesovDmitry: /* Фильтрация вегетационных индексов */

{{Статья|Черновик}}

{{NextGIS}}

== Назначение модуля ==
Модуль r.series.filter -- это модуль для геоинформационной системы GRASS, предназначенный для обработки временных рядов растровых данных, в первую очередь вегетационных индексов. Модуль производит очистку от шумов временных рядов с использованием различных фильтров (медианый фильтр, [https://en.wikipedia.org/wiki/Savitzky%E2%80%93Golay_filter фильтр Савицкого-Голея]). Модуль может использоваться для очистки от шумов временных рядов произвольной природы, однако одной из важных особенностей модуля является поддерка фильтрации данных вегетационных индексов. Для обработки таких рядов модуль реализует процедуру фильтрации, предложенную в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344.". Основная идея этого фильтра опирается на то, что шумы в значениях вегетационных индексов обычно индуцируются условиями съемки и атмосферными явлениями, которые занижают зачения индекса. В очень упрощенном виде можно сказать, что предлагаемая в указанной статье методика производит отбраковку низких значений индекса и производит фильтрацию по верхним значениям анализируемого временного ряда.

== Установка ==
Модуль был написан на языке Python и предназначен для работы в GRASS GIS седьмой версии. В модуле используются библиотека [http://docs.scipy.org/doc/scipy/reference/signal.html scipy.signal], входящая в состав пакета [http://www.scipy.org/about.html SciPy]. Поэтому перед началом работы в интерпретатор Python, используемый в GRASS, следует установить SciPy.

После установки SciPy появится возможность установить сам модуль r.series.filter. Данный модуль доступен в репозитории модулей GRASS ADDONS, поэтому его установка производится автоматически, если использовать модуль g.extension (вызываемый из графического интерфейса пользователя или командной строки). Например, можно использовать следущюую команду:
g.extension r.series.filter
В результате модуль будет автоматически скачан из репозитория и установлен.

== Особенности работы и примеры ==

=== Параметры модуля и их назначение ===
Модуль находится в состоянии разработки, это означает, что в него будут добавляться новые возможности. На момент написания статьи модуль использует следующие параметры и ключи (показаны наиболее важные):

r.series.filter [-cu] input=string[,string,...] result_prefix=string
[method=string] [winsize=value] [order=value] [opt_points=value]
[diff_penalty=value] [deriv_penalty=value] [iterations=value]
Flags:
-c Try to find optimal parameters for filtering
-u Fit the result curve by upper boundary
Parameters:
input Raster names of equally spaced time series.
result_prefix Prefix for raster names of filtered X(t)
method Used method
default: savgol
winsize Length of running window for the filter
default: 9
order Order of the Savitzky-Golay filter
default: 2
opt_points Count of random points used for parameter optimization
default: 50
diff_penalty Penalty for difference between original and filtered signals
default: 1.0
deriv_penalty Penalty for big derivates of the filtered signal
default: 1.0
iterations Number of iterations
default: 1

==== Параметры общего назначения ====
Два параметра input и result_prefix отвечают за перечень входных и выходных растров. Модуль ожидает, что на вход ему будет передан список растров, перечисленных через запятую в порядке возрастания (или убывания) времени. Например:
input=ndvi1,ndvi2,ndvi3,ndvi4,....
При этом временной ряд должен быть равноотстоящим, т.е. растры представляют собой измерения какой-либо величины (или состояния территории), сделанные через равные промежутки времени. Но на практике не всегда возможно иметь дело с равноотстоящими рядами, часть каких-либо измерений может отсутсвовать по объетивным причинам. В таком случае следует вставить пустой растр, состоящий из значений NULL (нет данных), который легко сгенерировать, воспользовавшись растровым калькулятором:
r.mapcalc expression="dummy = null()"
В самих растрах так же могут быть области, с отсутсвующими в них данными, такие участки не требуют специальной предварительной обработки.

Перед началом расчетов такие пропущенные значения будут предварительно заполнены данными, полученными линейной интерполяцией (во времени, пространственная интерполяция не используется).

Результаты будут записаны в новые растры, названия которых начинаются с указанного result_prefix. Например, в случае, если result_prefix="res.", будут получены растры: res.ndvi1,res.ndvi2,res.ndvi3,res.ndvi4,....

Таким образом команда со значениями, заданными по умолчанию может выглядеть следующим образом:
r.series.filter input=ndvi1,ndvi2,ndvi3,ndvi4,.... result_prefix="res."

==== Методы фильтрации ====

На момент написания статьи в модуле реализовано два метода фильтрации:
* медианный фильтр (параметр method=median);
* фильтр Савицкого-Голея (method=savgol).

Каждый из этих фильтров работает в скользящем окне и рассчитывает прогнозируемое значение исследуемой величины для центральной точки окна. Поэтому модуль использует еще один параметр winsize, задающий ширину скользящего окна. Этот параметр должен быть нечетным числом.

Кроме того у метода Савцикого-Голея есть еще один параметр -- порядок полинома (order), который используется при аппроксимации временного ряда внутри скользящего окна.

Естественно, что ширина окна и порядок полинома должны быть таковы, что позволят рассчитать коэффициенты полинома. В случае, если порядок полиома превышает допустимый для данной величины окна, будет выведено сообщение об ошибке.

Например, для использования фильтра Савицкого-Голея с порядком полинома, равным трем, и шириной окна 17 отсчетов, нужно использовать следующую команду:
r.series.filter input=.... result_prefix=... method=savgol order=3 wunsiz=17

Иногда есть смысл применить последовательно сразу несколько итераций фильтрации (особенно это актуально для медианного фильтра): сначала произвести фильтрацию исходных данных, затем применить этот же фильтр к результам фильтрации и т.д. Поэтому пользователь может уаказать параметр iterations, отвечающий за число итераций, например:
r.series.filter input=.... result_prefix=... method=median iterations=5 winsize=21

==== Подбор оптимальных значений параметров ====
Часто бывает сложно понять, какие значения параметров являются "хорошими" для конкретного набора растров.

Понятно, что эти величины зависят как и от форм анализируемых кривых, так и от целей исследователя, но в довольно обшем случае можно сказать, что качество подгонки может выражаться в виде некоторой функции от точности и "гладкости" результирующей кривой. Точность рассчитать легко как средний модуль разности между исходной кривой и результирующей, а гладкость можно оценить средним модулем разности между соседними значениями результирующей кривой. К сожалению, обычно бывает так, что гладкая и "красивая" кривая является слишком грубой и неточной, и наоборот -- точная кривая обычно повторяет все флуктуации в данных, в том числе и случайные шумы. Поэтому пользователь должен решить, что ему более важно, точность или гладкость.

На этом строится процедура подбора параметров фильтрации: пользователь задает два числа -- штрафы за неточность и негладкость результирующей кривой (параметры модуля diff_penalty и deriv_penalty). Эти штрафы показывают, насколько пользователю важна точность в ущерб гладкости. Затем запускается процедура подбора параметров, работающая следующим образом:
# Выбираются начальные значения параметра ширины окна для медианного фильра (ширины окна и порядка полинома для фильтра Савицкого-Голея).
# Выбирается opt_points случайных пикселей.
# Для выбранных пикселей производится фильтрация с заданными параметрами.
# Для каждого выбранного пикселя вычилсяется E - средний модуль разности между исходной кривой и результирующей, а также D - средний модуль разности между соседними значениями результирующей кривой.
# Для каждого пикселя находится взвешенная сумма штрафов: diff_penalty * E + deriv_penalty * D, а затем расчитывается суммарный штраф по всем пикселям. Этот суммарный штраф является оценкой качества подгонки кривых для заданных параметров фильтра.

Затем запускается процедура поиска таких параметров, при которых суммарный штраф будет минимальным. После нахождения таких параметров производится фильтрация всего временного растрового ряда.

Процедура подбора параметров включается флагом "-c", например:
r.series.filter -с input=.... result_prefix=... method=median

==== Фильтрация вегетационных индексов ====
Как отмечалось выше, в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344." предлагается метод фильтрации временных рядов вегетационных индексов, исходя из предположения, что атмосферные явления обычно занижают значения индексов. В исходной статье медод предлагался для фильра Савицкого-Голея, но с таким же успехом его можно применять и к другим фильтрам. Поэтому в модуле r.series.filter пользователь может включить флагом "-u" данную модификацию фильтра:
r.series.filter -u input=.... result_prefix=... method=median winsize=15
Предлагаемый в статье метод является итерационным, он действует на постепенно уменьшающихся величинах ширины скользящего окна, поэтому параметр winsize в данном случае будет означать начальную ширину окна.

Более подробно об функционировании фильтра см. в указанной выше статье.

=== Примеры ===

Модуль r.series.filter ГИС GRASS

2015-12-21T21:33:38Z

KolesovDmitry: /* Фильтрация вегетационных индексов */

{{Статья|Черновик}}

{{NextGIS}}

== Назначение модуля ==
Модуль r.series.filter -- это модуль для геоинформационной системы GRASS, предназначенный для обработки временных рядов растровых данных, в первую очередь вегетационных индексов. Модуль производит очистку от шумов временных рядов с использованием различных фильтров (медианый фильтр, [https://en.wikipedia.org/wiki/Savitzky%E2%80%93Golay_filter фильтр Савицкого-Голея]). Модуль может использоваться для очистки от шумов временных рядов произвольной природы, однако одной из важных особенностей модуля является поддерка фильтрации данных вегетационных индексов. Для обработки таких рядов модуль реализует процедуру фильтрации, предложенную в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344.". Основная идея этого фильтра опирается на то, что шумы в значениях вегетационных индексов обычно индуцируются условиями съемки и атмосферными явлениями, которые занижают зачения индекса. В очень упрощенном виде можно сказать, что предлагаемая в указанной статье методика производит отбраковку низких значений индекса и производит фильтрацию по верхним значениям анализируемого временного ряда.

== Установка ==
Модуль был написан на языке Python и предназначен для работы в GRASS GIS седьмой версии. В модуле используются библиотека [http://docs.scipy.org/doc/scipy/reference/signal.html scipy.signal], входящая в состав пакета [http://www.scipy.org/about.html SciPy]. Поэтому перед началом работы в интерпретатор Python, используемый в GRASS, следует установить SciPy.

После установки SciPy появится возможность установить сам модуль r.series.filter. Данный модуль доступен в репозитории модулей GRASS ADDONS, поэтому его установка производится автоматически, если использовать модуль g.extension (вызываемый из графического интерфейса пользователя или командной строки). Например, можно использовать следущюую команду:
g.extension r.series.filter
В результате модуль будет автоматически скачан из репозитория и установлен.

== Особенности работы и примеры ==

=== Параметры модуля и их назначение ===
Модуль находится в состоянии разработки, это означает, что в него будут добавляться новые возможности. На момент написания статьи модуль использует следующие параметры и ключи (показаны наиболее важные):

r.series.filter [-cu] input=string[,string,...] result_prefix=string
[method=string] [winsize=value] [order=value] [opt_points=value]
[diff_penalty=value] [deriv_penalty=value] [iterations=value]
Flags:
-c Try to find optimal parameters for filtering
-u Fit the result curve by upper boundary
Parameters:
input Raster names of equally spaced time series.
result_prefix Prefix for raster names of filtered X(t)
method Used method
default: savgol
winsize Length of running window for the filter
default: 9
order Order of the Savitzky-Golay filter
default: 2
opt_points Count of random points used for parameter optimization
default: 50
diff_penalty Penalty for difference between original and filtered signals
default: 1.0
deriv_penalty Penalty for big derivates of the filtered signal
default: 1.0
iterations Number of iterations
default: 1

==== Параметры общего назначения ====
Два параметра input и result_prefix отвечают за перечень входных и выходных растров. Модуль ожидает, что на вход ему будет передан список растров, перечисленных через запятую в порядке возрастания (или убывания) времени. Например:
input=ndvi1,ndvi2,ndvi3,ndvi4,....
При этом временной ряд должен быть равноотстоящим, т.е. растры представляют собой измерения какой-либо величины (или состояния территории), сделанные через равные промежутки времени. Но на практике не всегда возможно иметь дело с равноотстоящими рядами, часть каких-либо измерений может отсутсвовать по объетивным причинам. В таком случае следует вставить пустой растр, состоящий из значений NULL (нет данных), который легко сгенерировать, воспользовавшись растровым калькулятором:
r.mapcalc expression="dummy = null()"
В самих растрах так же могут быть области, с отсутсвующими в них данными, такие участки не требуют специальной предварительной обработки.

Перед началом расчетов такие пропущенные значения будут предварительно заполнены данными, полученными линейной интерполяцией (во времени, пространственная интерполяция не используется).

Результаты будут записаны в новые растры, названия которых начинаются с указанного result_prefix. Например, в случае, если result_prefix="res.", будут получены растры: res.ndvi1,res.ndvi2,res.ndvi3,res.ndvi4,....

Таким образом команда со значениями, заданными по умолчанию может выглядеть следующим образом:
r.series.filter input=ndvi1,ndvi2,ndvi3,ndvi4,.... result_prefix="res."

==== Методы фильтрации ====

На момент написания статьи в модуле реализовано два метода фильтрации:
* медианный фильтр (параметр method=median);
* фильтр Савицкого-Голея (method=savgol).

Каждый из этих фильтров работает в скользящем окне и рассчитывает прогнозируемое значение исследуемой величины для центральной точки окна. Поэтому модуль использует еще один параметр winsize, задающий ширину скользящего окна. Этот параметр должен быть нечетным числом.

Кроме того у метода Савцикого-Голея есть еще один параметр -- порядок полинома (order), который используется при аппроксимации временного ряда внутри скользящего окна.

Естественно, что ширина окна и порядок полинома должны быть таковы, что позволят рассчитать коэффициенты полинома. В случае, если порядок полиома превышает допустимый для данной величины окна, будет выведено сообщение об ошибке.

Например, для использования фильтра Савицкого-Голея с порядком полинома, равным трем, и шириной окна 17 отсчетов, нужно использовать следующую команду:
r.series.filter input=.... result_prefix=... method=savgol order=3 wunsiz=17

Иногда есть смысл применить последовательно сразу несколько итераций фильтрации (особенно это актуально для медианного фильтра): сначала произвести фильтрацию исходных данных, затем применить этот же фильтр к результам фильтрации и т.д. Поэтому пользователь может уаказать параметр iterations, отвечающий за число итераций, например:
r.series.filter input=.... result_prefix=... method=median iterations=5 winsize=21

==== Подбор оптимальных значений параметров ====
Часто бывает сложно понять, какие значения параметров являются "хорошими" для конкретного набора растров.

Понятно, что эти величины зависят как и от форм анализируемых кривых, так и от целей исследователя, но в довольно обшем случае можно сказать, что качество подгонки может выражаться в виде некоторой функции от точности и "гладкости" результирующей кривой. Точность рассчитать легко как средний модуль разности между исходной кривой и результирующей, а гладкость можно оценить средним модулем разности между соседними значениями результирующей кривой. К сожалению, обычно бывает так, что гладкая и "красивая" кривая является слишком грубой и неточной, и наоборот -- точная кривая обычно повторяет все флуктуации в данных, в том числе и случайные шумы. Поэтому пользователь должен решить, что ему более важно, точность или гладкость.

На этом строится процедура подбора параметров фильтрации: пользователь задает два числа -- штрафы за неточность и негладкость результирующей кривой (параметры модуля diff_penalty и deriv_penalty). Эти штрафы показывают, насколько пользователю важна точность в ущерб гладкости. Затем запускается процедура подбора параметров, работающая следующим образом:
# Выбираются начальные значения параметра ширины окна для медианного фильра (ширины окна и порядка полинома для фильтра Савицкого-Голея).
# Выбирается opt_points случайных пикселей.
# Для выбранных пикселей производится фильтрация с заданными параметрами.
# Для каждого выбранного пикселя вычилсяется E - средний модуль разности между исходной кривой и результирующей, а также D - средний модуль разности между соседними значениями результирующей кривой.
# Для каждого пикселя находится взвешенная сумма штрафов: diff_penalty * E + deriv_penalty * D, а затем расчитывается суммарный штраф по всем пикселям. Этот суммарный штраф является оценкой качества подгонки кривых для заданных параметров фильтра.

Затем запускается процедура поиска таких параметров, при которых суммарный штраф будет минимальным. После нахождения таких параметров производится фильтрация всего временного растрового ряда.

Процедура подбора параметров включается флагом "-c", например:
r.series.filter -с input=.... result_prefix=... method=median

==== Фильтрация вегетационных индексов ====
Как отмечалось выше, в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344." предлагается метод фильтрации временных рядов вегетационных индексов, исходя из предположения, что атмосферные явления обычно занижают значения индексов. В исходной статье медод предлагался для фильра Савицкого-Голея, но с таким же успехом его можно применять и к другим фильтрам. Поэтому в модуле r.series.filter пользователь может включить флагом "-u" данную модификацию фильтра:
r.series.filter -с input=.... result_prefix=... method=median winsize=15
Предлагаемый в статье метод является итерационным, он действует на постепенно уменьшающихся величинах ширины скользящего окна, поэтому параметр winsize в данном случае будет означать начальную ширину окна.

Более подробно об функционировании фильтра см. в указанной выше статье.

=== Примеры ===

Модуль r.series.filter ГИС GRASS

2015-12-21T21:28:59Z

KolesovDmitry: /* Фильтрация вегетационных индексов */

{{Статья|Черновик}}

{{NextGIS}}

== Назначение модуля ==
Модуль r.series.filter -- это модуль для геоинформационной системы GRASS, предназначенный для обработки временных рядов растровых данных, в первую очередь вегетационных индексов. Модуль производит очистку от шумов временных рядов с использованием различных фильтров (медианый фильтр, [https://en.wikipedia.org/wiki/Savitzky%E2%80%93Golay_filter фильтр Савицкого-Голея]). Модуль может использоваться для очистки от шумов временных рядов произвольной природы, однако одной из важных особенностей модуля является поддерка фильтрации данных вегетационных индексов. Для обработки таких рядов модуль реализует процедуру фильтрации, предложенную в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344.". Основная идея этого фильтра опирается на то, что шумы в значениях вегетационных индексов обычно индуцируются условиями съемки и атмосферными явлениями, которые занижают зачения индекса. В очень упрощенном виде можно сказать, что предлагаемая в указанной статье методика производит отбраковку низких значений индекса и производит фильтрацию по верхним значениям анализируемого временного ряда.

== Установка ==
Модуль был написан на языке Python и предназначен для работы в GRASS GIS седьмой версии. В модуле используются библиотека [http://docs.scipy.org/doc/scipy/reference/signal.html scipy.signal], входящая в состав пакета [http://www.scipy.org/about.html SciPy]. Поэтому перед началом работы в интерпретатор Python, используемый в GRASS, следует установить SciPy.

После установки SciPy появится возможность установить сам модуль r.series.filter. Данный модуль доступен в репозитории модулей GRASS ADDONS, поэтому его установка производится автоматически, если использовать модуль g.extension (вызываемый из графического интерфейса пользователя или командной строки). Например, можно использовать следущюую команду:
g.extension r.series.filter
В результате модуль будет автоматически скачан из репозитория и установлен.

== Особенности работы и примеры ==

=== Параметры модуля и их назначение ===
Модуль находится в состоянии разработки, это означает, что в него будут добавляться новые возможности. На момент написания статьи модуль использует следующие параметры и ключи (показаны наиболее важные):

r.series.filter [-cu] input=string[,string,...] result_prefix=string
[method=string] [winsize=value] [order=value] [opt_points=value]
[diff_penalty=value] [deriv_penalty=value] [iterations=value]
Flags:
-c Try to find optimal parameters for filtering
-u Fit the result curve by upper boundary
Parameters:
input Raster names of equally spaced time series.
result_prefix Prefix for raster names of filtered X(t)
method Used method
default: savgol
winsize Length of running window for the filter
default: 9
order Order of the Savitzky-Golay filter
default: 2
opt_points Count of random points used for parameter optimization
default: 50
diff_penalty Penalty for difference between original and filtered signals
default: 1.0
deriv_penalty Penalty for big derivates of the filtered signal
default: 1.0
iterations Number of iterations
default: 1

==== Параметры общего назначения ====
Два параметра input и result_prefix отвечают за перечень входных и выходных растров. Модуль ожидает, что на вход ему будет передан список растров, перечисленных через запятую в порядке возрастания (или убывания) времени. Например:
input=ndvi1,ndvi2,ndvi3,ndvi4,....
При этом временной ряд должен быть равноотстоящим, т.е. растры представляют собой измерения какой-либо величины (или состояния территории), сделанные через равные промежутки времени. Но на практике не всегда возможно иметь дело с равноотстоящими рядами, часть каких-либо измерений может отсутсвовать по объетивным причинам. В таком случае следует вставить пустой растр, состоящий из значений NULL (нет данных), который легко сгенерировать, воспользовавшись растровым калькулятором:
r.mapcalc expression="dummy = null()"
В самих растрах так же могут быть области, с отсутсвующими в них данными, такие участки не требуют специальной предварительной обработки.

Перед началом расчетов такие пропущенные значения будут предварительно заполнены данными, полученными линейной интерполяцией (во времени, пространственная интерполяция не используется).

Результаты будут записаны в новые растры, названия которых начинаются с указанного result_prefix. Например, в случае, если result_prefix="res.", будут получены растры: res.ndvi1,res.ndvi2,res.ndvi3,res.ndvi4,....

Таким образом команда со значениями, заданными по умолчанию может выглядеть следующим образом:
r.series.filter input=ndvi1,ndvi2,ndvi3,ndvi4,.... result_prefix="res."

==== Методы фильтрации ====

На момент написания статьи в модуле реализовано два метода фильтрации:
* медианный фильтр (параметр method=median);
* фильтр Савицкого-Голея (method=savgol).

Каждый из этих фильтров работает в скользящем окне и рассчитывает прогнозируемое значение исследуемой величины для центральной точки окна. Поэтому модуль использует еще один параметр winsize, задающий ширину скользящего окна. Этот параметр должен быть нечетным числом.

Кроме того у метода Савцикого-Голея есть еще один параметр -- порядок полинома (order), который используется при аппроксимации временного ряда внутри скользящего окна.

Естественно, что ширина окна и порядок полинома должны быть таковы, что позволят рассчитать коэффициенты полинома. В случае, если порядок полиома превышает допустимый для данной величины окна, будет выведено сообщение об ошибке.

Например, для использования фильтра Савицкого-Голея с порядком полинома, равным трем, и шириной окна 17 отсчетов, нужно использовать следующую команду:
r.series.filter input=.... result_prefix=... method=savgol order=3 wunsiz=17

Иногда есть смысл применить последовательно сразу несколько итераций фильтрации (особенно это актуально для медианного фильтра): сначала произвести фильтрацию исходных данных, затем применить этот же фильтр к результам фильтрации и т.д. Поэтому пользователь может уаказать параметр iterations, отвечающий за число итераций, например:
r.series.filter input=.... result_prefix=... method=median iterations=5 winsize=21

==== Подбор оптимальных значений параметров ====
Часто бывает сложно понять, какие значения параметров являются "хорошими" для конкретного набора растров.

Понятно, что эти величины зависят как и от форм анализируемых кривых, так и от целей исследователя, но в довольно обшем случае можно сказать, что качество подгонки может выражаться в виде некоторой функции от точности и "гладкости" результирующей кривой. Точность рассчитать легко как средний модуль разности между исходной кривой и результирующей, а гладкость можно оценить средним модулем разности между соседними значениями результирующей кривой. К сожалению, обычно бывает так, что гладкая и "красивая" кривая является слишком грубой и неточной, и наоборот -- точная кривая обычно повторяет все флуктуации в данных, в том числе и случайные шумы. Поэтому пользователь должен решить, что ему более важно, точность или гладкость.

На этом строится процедура подбора параметров фильтрации: пользователь задает два числа -- штрафы за неточность и негладкость результирующей кривой (параметры модуля diff_penalty и deriv_penalty). Эти штрафы показывают, насколько пользователю важна точность в ущерб гладкости. Затем запускается процедура подбора параметров, работающая следующим образом:
# Выбираются начальные значения параметра ширины окна для медианного фильра (ширины окна и порядка полинома для фильтра Савицкого-Голея).
# Выбирается opt_points случайных пикселей.
# Для выбранных пикселей производится фильтрация с заданными параметрами.
# Для каждого выбранного пикселя вычилсяется E - средний модуль разности между исходной кривой и результирующей, а также D - средний модуль разности между соседними значениями результирующей кривой.
# Для каждого пикселя находится взвешенная сумма штрафов: diff_penalty * E + deriv_penalty * D, а затем расчитывается суммарный штраф по всем пикселям. Этот суммарный штраф является оценкой качества подгонки кривых для заданных параметров фильтра.

Затем запускается процедура поиска таких параметров, при которых суммарный штраф будет минимальным. После нахождения таких параметров производится фильтрация всего временного растрового ряда.

Процедура подбора параметров включается флагом "-c", например:
r.series.filter -с input=.... result_prefix=... method=median

==== Фильтрация вегетационных индексов ====
Как отмечалось выше, в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344." предлагается метод фильтрации временных рядов вегетационных индексов, исходя из предположения, что атмосферные явления обычно занижают значения индексов. В исходной статье медод предлагался для фильра Савицкого-Голея, но с таким же успехом его можно применять и к другим фильтрам. Поэтому в модуле r.series.filter пользователь может включить флагом "-u" данную модификацию фильтра:
r.series.filter -с input=.... result_prefix=... method=median winsize=15
Предлагаемый в статье метод является итерационным, он действует на постепенно уменьшающихся величинах ширины скользящего окна, поэтому параметр winsize в данном случае будет означать начальную ширину окна.

Более подробно об функционировании фильтр см. в указанной выше статье.

=== Примеры ===

Модуль r.series.filter ГИС GRASS

2015-12-21T21:28:27Z

KolesovDmitry: /* Фильтрация вегетационных индексов */

{{Статья|Черновик}}

{{NextGIS}}

== Назначение модуля ==
Модуль r.series.filter -- это модуль для геоинформационной системы GRASS, предназначенный для обработки временных рядов растровых данных, в первую очередь вегетационных индексов. Модуль производит очистку от шумов временных рядов с использованием различных фильтров (медианый фильтр, [https://en.wikipedia.org/wiki/Savitzky%E2%80%93Golay_filter фильтр Савицкого-Голея]). Модуль может использоваться для очистки от шумов временных рядов произвольной природы, однако одной из важных особенностей модуля является поддерка фильтрации данных вегетационных индексов. Для обработки таких рядов модуль реализует процедуру фильтрации, предложенную в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344.". Основная идея этого фильтра опирается на то, что шумы в значениях вегетационных индексов обычно индуцируются условиями съемки и атмосферными явлениями, которые занижают зачения индекса. В очень упрощенном виде можно сказать, что предлагаемая в указанной статье методика производит отбраковку низких значений индекса и производит фильтрацию по верхним значениям анализируемого временного ряда.

== Установка ==
Модуль был написан на языке Python и предназначен для работы в GRASS GIS седьмой версии. В модуле используются библиотека [http://docs.scipy.org/doc/scipy/reference/signal.html scipy.signal], входящая в состав пакета [http://www.scipy.org/about.html SciPy]. Поэтому перед началом работы в интерпретатор Python, используемый в GRASS, следует установить SciPy.

После установки SciPy появится возможность установить сам модуль r.series.filter. Данный модуль доступен в репозитории модулей GRASS ADDONS, поэтому его установка производится автоматически, если использовать модуль g.extension (вызываемый из графического интерфейса пользователя или командной строки). Например, можно использовать следущюую команду:
g.extension r.series.filter
В результате модуль будет автоматически скачан из репозитория и установлен.

== Особенности работы и примеры ==

=== Параметры модуля и их назначение ===
Модуль находится в состоянии разработки, это означает, что в него будут добавляться новые возможности. На момент написания статьи модуль использует следующие параметры и ключи (показаны наиболее важные):

r.series.filter [-cu] input=string[,string,...] result_prefix=string
[method=string] [winsize=value] [order=value] [opt_points=value]
[diff_penalty=value] [deriv_penalty=value] [iterations=value]
Flags:
-c Try to find optimal parameters for filtering
-u Fit the result curve by upper boundary
Parameters:
input Raster names of equally spaced time series.
result_prefix Prefix for raster names of filtered X(t)
method Used method
default: savgol
winsize Length of running window for the filter
default: 9
order Order of the Savitzky-Golay filter
default: 2
opt_points Count of random points used for parameter optimization
default: 50
diff_penalty Penalty for difference between original and filtered signals
default: 1.0
deriv_penalty Penalty for big derivates of the filtered signal
default: 1.0
iterations Number of iterations
default: 1

==== Параметры общего назначения ====
Два параметра input и result_prefix отвечают за перечень входных и выходных растров. Модуль ожидает, что на вход ему будет передан список растров, перечисленных через запятую в порядке возрастания (или убывания) времени. Например:
input=ndvi1,ndvi2,ndvi3,ndvi4,....
При этом временной ряд должен быть равноотстоящим, т.е. растры представляют собой измерения какой-либо величины (или состояния территории), сделанные через равные промежутки времени. Но на практике не всегда возможно иметь дело с равноотстоящими рядами, часть каких-либо измерений может отсутсвовать по объетивным причинам. В таком случае следует вставить пустой растр, состоящий из значений NULL (нет данных), который легко сгенерировать, воспользовавшись растровым калькулятором:
r.mapcalc expression="dummy = null()"
В самих растрах так же могут быть области, с отсутсвующими в них данными, такие участки не требуют специальной предварительной обработки.

Перед началом расчетов такие пропущенные значения будут предварительно заполнены данными, полученными линейной интерполяцией (во времени, пространственная интерполяция не используется).

Результаты будут записаны в новые растры, названия которых начинаются с указанного result_prefix. Например, в случае, если result_prefix="res.", будут получены растры: res.ndvi1,res.ndvi2,res.ndvi3,res.ndvi4,....

Таким образом команда со значениями, заданными по умолчанию может выглядеть следующим образом:
r.series.filter input=ndvi1,ndvi2,ndvi3,ndvi4,.... result_prefix="res."

==== Методы фильтрации ====

На момент написания статьи в модуле реализовано два метода фильтрации:
* медианный фильтр (параметр method=median);
* фильтр Савицкого-Голея (method=savgol).

Каждый из этих фильтров работает в скользящем окне и рассчитывает прогнозируемое значение исследуемой величины для центральной точки окна. Поэтому модуль использует еще один параметр winsize, задающий ширину скользящего окна. Этот параметр должен быть нечетным числом.

Кроме того у метода Савцикого-Голея есть еще один параметр -- порядок полинома (order), который используется при аппроксимации временного ряда внутри скользящего окна.

Естественно, что ширина окна и порядок полинома должны быть таковы, что позволят рассчитать коэффициенты полинома. В случае, если порядок полиома превышает допустимый для данной величины окна, будет выведено сообщение об ошибке.

Например, для использования фильтра Савицкого-Голея с порядком полинома, равным трем, и шириной окна 17 отсчетов, нужно использовать следующую команду:
r.series.filter input=.... result_prefix=... method=savgol order=3 wunsiz=17

Иногда есть смысл применить последовательно сразу несколько итераций фильтрации (особенно это актуально для медианного фильтра): сначала произвести фильтрацию исходных данных, затем применить этот же фильтр к результам фильтрации и т.д. Поэтому пользователь может уаказать параметр iterations, отвечающий за число итераций, например:
r.series.filter input=.... result_prefix=... method=median iterations=5 winsize=21

==== Подбор оптимальных значений параметров ====
Часто бывает сложно понять, какие значения параметров являются "хорошими" для конкретного набора растров.

Понятно, что эти величины зависят как и от форм анализируемых кривых, так и от целей исследователя, но в довольно обшем случае можно сказать, что качество подгонки может выражаться в виде некоторой функции от точности и "гладкости" результирующей кривой. Точность рассчитать легко как средний модуль разности между исходной кривой и результирующей, а гладкость можно оценить средним модулем разности между соседними значениями результирующей кривой. К сожалению, обычно бывает так, что гладкая и "красивая" кривая является слишком грубой и неточной, и наоборот -- точная кривая обычно повторяет все флуктуации в данных, в том числе и случайные шумы. Поэтому пользователь должен решить, что ему более важно, точность или гладкость.

На этом строится процедура подбора параметров фильтрации: пользователь задает два числа -- штрафы за неточность и негладкость результирующей кривой (параметры модуля diff_penalty и deriv_penalty). Эти штрафы показывают, насколько пользователю важна точность в ущерб гладкости. Затем запускается процедура подбора параметров, работающая следующим образом:
# Выбираются начальные значения параметра ширины окна для медианного фильра (ширины окна и порядка полинома для фильтра Савицкого-Голея).
# Выбирается opt_points случайных пикселей.
# Для выбранных пикселей производится фильтрация с заданными параметрами.
# Для каждого выбранного пикселя вычилсяется E - средний модуль разности между исходной кривой и результирующей, а также D - средний модуль разности между соседними значениями результирующей кривой.
# Для каждого пикселя находится взвешенная сумма штрафов: diff_penalty * E + deriv_penalty * D, а затем расчитывается суммарный штраф по всем пикселям. Этот суммарный штраф является оценкой качества подгонки кривых для заданных параметров фильтра.

Затем запускается процедура поиска таких параметров, при которых суммарный штраф будет минимальным. После нахождения таких параметров производится фильтрация всего временного растрового ряда.

Процедура подбора параметров включается флагом "-c", например:
r.series.filter -с input=.... result_prefix=... method=median

==== Фильтрация вегетационных индексов ====
Как отмечалось выше, в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344." предлагается метод фильтрации временных рядов вегетационных индексов, исходя из предположения, что атмосферные явления обычно занижают значения индексов. В исходной статье медод предлагался для фильра Савицкого-Голея, но с таким же успехом его можно применять и к другим фильтрам. Поэтому в модуле r.series.filter пользователь может включить флагом "-u" данную модификацию фильтра:
r.series.filter -с input=.... result_prefix=... method=median winsize=15
Предлагаемый в статье метод является итерационным, он действует на постепенно уменьшающихся величинах ширины скользящего окна, поэтому параметр winsize в данном случае будет означать начальную ширину окна.

Более подробно об функционировании фильтр см. в указанной выше статье.

Модуль r.series.filter ГИС GRASS

2015-12-21T21:26:40Z

KolesovDmitry: /* Методы фильтрации */

{{Статья|Черновик}}

{{NextGIS}}

== Назначение модуля ==
Модуль r.series.filter -- это модуль для геоинформационной системы GRASS, предназначенный для обработки временных рядов растровых данных, в первую очередь вегетационных индексов. Модуль производит очистку от шумов временных рядов с использованием различных фильтров (медианый фильтр, [https://en.wikipedia.org/wiki/Savitzky%E2%80%93Golay_filter фильтр Савицкого-Голея]). Модуль может использоваться для очистки от шумов временных рядов произвольной природы, однако одной из важных особенностей модуля является поддерка фильтрации данных вегетационных индексов. Для обработки таких рядов модуль реализует процедуру фильтрации, предложенную в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344.". Основная идея этого фильтра опирается на то, что шумы в значениях вегетационных индексов обычно индуцируются условиями съемки и атмосферными явлениями, которые занижают зачения индекса. В очень упрощенном виде можно сказать, что предлагаемая в указанной статье методика производит отбраковку низких значений индекса и производит фильтрацию по верхним значениям анализируемого временного ряда.

== Установка ==
Модуль был написан на языке Python и предназначен для работы в GRASS GIS седьмой версии. В модуле используются библиотека [http://docs.scipy.org/doc/scipy/reference/signal.html scipy.signal], входящая в состав пакета [http://www.scipy.org/about.html SciPy]. Поэтому перед началом работы в интерпретатор Python, используемый в GRASS, следует установить SciPy.

После установки SciPy появится возможность установить сам модуль r.series.filter. Данный модуль доступен в репозитории модулей GRASS ADDONS, поэтому его установка производится автоматически, если использовать модуль g.extension (вызываемый из графического интерфейса пользователя или командной строки). Например, можно использовать следущюую команду:
g.extension r.series.filter
В результате модуль будет автоматически скачан из репозитория и установлен.

== Особенности работы и примеры ==

=== Параметры модуля и их назначение ===
Модуль находится в состоянии разработки, это означает, что в него будут добавляться новые возможности. На момент написания статьи модуль использует следующие параметры и ключи (показаны наиболее важные):

r.series.filter [-cu] input=string[,string,...] result_prefix=string
[method=string] [winsize=value] [order=value] [opt_points=value]
[diff_penalty=value] [deriv_penalty=value] [iterations=value]
Flags:
-c Try to find optimal parameters for filtering
-u Fit the result curve by upper boundary
Parameters:
input Raster names of equally spaced time series.
result_prefix Prefix for raster names of filtered X(t)
method Used method
default: savgol
winsize Length of running window for the filter
default: 9
order Order of the Savitzky-Golay filter
default: 2
opt_points Count of random points used for parameter optimization
default: 50
diff_penalty Penalty for difference between original and filtered signals
default: 1.0
deriv_penalty Penalty for big derivates of the filtered signal
default: 1.0
iterations Number of iterations
default: 1

==== Параметры общего назначения ====
Два параметра input и result_prefix отвечают за перечень входных и выходных растров. Модуль ожидает, что на вход ему будет передан список растров, перечисленных через запятую в порядке возрастания (или убывания) времени. Например:
input=ndvi1,ndvi2,ndvi3,ndvi4,....
При этом временной ряд должен быть равноотстоящим, т.е. растры представляют собой измерения какой-либо величины (или состояния территории), сделанные через равные промежутки времени. Но на практике не всегда возможно иметь дело с равноотстоящими рядами, часть каких-либо измерений может отсутсвовать по объетивным причинам. В таком случае следует вставить пустой растр, состоящий из значений NULL (нет данных), который легко сгенерировать, воспользовавшись растровым калькулятором:
r.mapcalc expression="dummy = null()"
В самих растрах так же могут быть области, с отсутсвующими в них данными, такие участки не требуют специальной предварительной обработки.

Перед началом расчетов такие пропущенные значения будут предварительно заполнены данными, полученными линейной интерполяцией (во времени, пространственная интерполяция не используется).

Результаты будут записаны в новые растры, названия которых начинаются с указанного result_prefix. Например, в случае, если result_prefix="res.", будут получены растры: res.ndvi1,res.ndvi2,res.ndvi3,res.ndvi4,....

Таким образом команда со значениями, заданными по умолчанию может выглядеть следующим образом:
r.series.filter input=ndvi1,ndvi2,ndvi3,ndvi4,.... result_prefix="res."

==== Методы фильтрации ====

На момент написания статьи в модуле реализовано два метода фильтрации:
* медианный фильтр (параметр method=median);
* фильтр Савицкого-Голея (method=savgol).

Каждый из этих фильтров работает в скользящем окне и рассчитывает прогнозируемое значение исследуемой величины для центральной точки окна. Поэтому модуль использует еще один параметр winsize, задающий ширину скользящего окна. Этот параметр должен быть нечетным числом.

Кроме того у метода Савцикого-Голея есть еще один параметр -- порядок полинома (order), который используется при аппроксимации временного ряда внутри скользящего окна.

Естественно, что ширина окна и порядок полинома должны быть таковы, что позволят рассчитать коэффициенты полинома. В случае, если порядок полиома превышает допустимый для данной величины окна, будет выведено сообщение об ошибке.

Например, для использования фильтра Савицкого-Голея с порядком полинома, равным трем, и шириной окна 17 отсчетов, нужно использовать следующую команду:
r.series.filter input=.... result_prefix=... method=savgol order=3 wunsiz=17

Иногда есть смысл применить последовательно сразу несколько итераций фильтрации (особенно это актуально для медианного фильтра): сначала произвести фильтрацию исходных данных, затем применить этот же фильтр к результам фильтрации и т.д. Поэтому пользователь может уаказать параметр iterations, отвечающий за число итераций, например:
r.series.filter input=.... result_prefix=... method=median iterations=5 winsize=21

==== Подбор оптимальных значений параметров ====
Часто бывает сложно понять, какие значения параметров являются "хорошими" для конкретного набора растров.

Понятно, что эти величины зависят как и от форм анализируемых кривых, так и от целей исследователя, но в довольно обшем случае можно сказать, что качество подгонки может выражаться в виде некоторой функции от точности и "гладкости" результирующей кривой. Точность рассчитать легко как средний модуль разности между исходной кривой и результирующей, а гладкость можно оценить средним модулем разности между соседними значениями результирующей кривой. К сожалению, обычно бывает так, что гладкая и "красивая" кривая является слишком грубой и неточной, и наоборот -- точная кривая обычно повторяет все флуктуации в данных, в том числе и случайные шумы. Поэтому пользователь должен решить, что ему более важно, точность или гладкость.

На этом строится процедура подбора параметров фильтрации: пользователь задает два числа -- штрафы за неточность и негладкость результирующей кривой (параметры модуля diff_penalty и deriv_penalty). Эти штрафы показывают, насколько пользователю важна точность в ущерб гладкости. Затем запускается процедура подбора параметров, работающая следующим образом:
# Выбираются начальные значения параметра ширины окна для медианного фильра (ширины окна и порядка полинома для фильтра Савицкого-Голея).
# Выбирается opt_points случайных пикселей.
# Для выбранных пикселей производится фильтрация с заданными параметрами.
# Для каждого выбранного пикселя вычилсяется E - средний модуль разности между исходной кривой и результирующей, а также D - средний модуль разности между соседними значениями результирующей кривой.
# Для каждого пикселя находится взвешенная сумма штрафов: diff_penalty * E + deriv_penalty * D, а затем расчитывается суммарный штраф по всем пикселям. Этот суммарный штраф является оценкой качества подгонки кривых для заданных параметров фильтра.

Затем запускается процедура поиска таких параметров, при которых суммарный штраф будет минимальным. После нахождения таких параметров производится фильтрация всего временного растрового ряда.

Процедура подбора параметров включается флагом "-c", например:
r.series.filter -с input=.... result_prefix=... method=median

==== Фильтрация вегетационных индексов ====
Как отмечалось выше, в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344." предлагается метод фильтрации временных рядов вегетационных индексов, исходя из предположения, что атмосферные явления обычно занижают значения индексов. В исходной статье медод предлагался для фильра Савицкого-Голея, но с таким же успехом его можно применять и к другим фильтрам. Поэтому в модуле r.series.filter пользователь может включить флагом "-u" данную модификацию фильтра:
r.series.filter -с input=.... result_prefix=... method=median winsize=15
Предлагаемый в статье метод является итерационным, он действует на постепенно уменьшающихся величинах ширины скользящего окна.

Модуль r.series.filter ГИС GRASS

2015-12-21T21:18:37Z

KolesovDmitry: /* Фильтрация вегетационных индексов */

{{Статья|Черновик}}

{{NextGIS}}

== Назначение модуля ==
Модуль r.series.filter -- это модуль для геоинформационной системы GRASS, предназначенный для обработки временных рядов растровых данных, в первую очередь вегетационных индексов. Модуль производит очистку от шумов временных рядов с использованием различных фильтров (медианый фильтр, [https://en.wikipedia.org/wiki/Savitzky%E2%80%93Golay_filter фильтр Савицкого-Голея]). Модуль может использоваться для очистки от шумов временных рядов произвольной природы, однако одной из важных особенностей модуля является поддерка фильтрации данных вегетационных индексов. Для обработки таких рядов модуль реализует процедуру фильтрации, предложенную в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344.". Основная идея этого фильтра опирается на то, что шумы в значениях вегетационных индексов обычно индуцируются условиями съемки и атмосферными явлениями, которые занижают зачения индекса. В очень упрощенном виде можно сказать, что предлагаемая в указанной статье методика производит отбраковку низких значений индекса и производит фильтрацию по верхним значениям анализируемого временного ряда.

== Установка ==
Модуль был написан на языке Python и предназначен для работы в GRASS GIS седьмой версии. В модуле используются библиотека [http://docs.scipy.org/doc/scipy/reference/signal.html scipy.signal], входящая в состав пакета [http://www.scipy.org/about.html SciPy]. Поэтому перед началом работы в интерпретатор Python, используемый в GRASS, следует установить SciPy.

После установки SciPy появится возможность установить сам модуль r.series.filter. Данный модуль доступен в репозитории модулей GRASS ADDONS, поэтому его установка производится автоматически, если использовать модуль g.extension (вызываемый из графического интерфейса пользователя или командной строки). Например, можно использовать следущюую команду:
g.extension r.series.filter
В результате модуль будет автоматически скачан из репозитория и установлен.

== Особенности работы и примеры ==

=== Параметры модуля и их назначение ===
Модуль находится в состоянии разработки, это означает, что в него будут добавляться новые возможности. На момент написания статьи модуль использует следующие параметры и ключи (показаны наиболее важные):

r.series.filter [-cu] input=string[,string,...] result_prefix=string
[method=string] [winsize=value] [order=value] [opt_points=value]
[diff_penalty=value] [deriv_penalty=value] [iterations=value]
Flags:
-c Try to find optimal parameters for filtering
-u Fit the result curve by upper boundary
Parameters:
input Raster names of equally spaced time series.
result_prefix Prefix for raster names of filtered X(t)
method Used method
default: savgol
winsize Length of running window for the filter
default: 9
order Order of the Savitzky-Golay filter
default: 2
opt_points Count of random points used for parameter optimization
default: 50
diff_penalty Penalty for difference between original and filtered signals
default: 1.0
deriv_penalty Penalty for big derivates of the filtered signal
default: 1.0
iterations Number of iterations
default: 1

==== Параметры общего назначения ====
Два параметра input и result_prefix отвечают за перечень входных и выходных растров. Модуль ожидает, что на вход ему будет передан список растров, перечисленных через запятую в порядке возрастания (или убывания) времени. Например:
input=ndvi1,ndvi2,ndvi3,ndvi4,....
При этом временной ряд должен быть равноотстоящим, т.е. растры представляют собой измерения какой-либо величины (или состояния территории), сделанные через равные промежутки времени. Но на практике не всегда возможно иметь дело с равноотстоящими рядами, часть каких-либо измерений может отсутсвовать по объетивным причинам. В таком случае следует вставить пустой растр, состоящий из значений NULL (нет данных), который легко сгенерировать, воспользовавшись растровым калькулятором:
r.mapcalc expression="dummy = null()"
В самих растрах так же могут быть области, с отсутсвующими в них данными, такие участки не требуют специальной предварительной обработки.

Перед началом расчетов такие пропущенные значения будут предварительно заполнены данными, полученными линейной интерполяцией (во времени, пространственная интерполяция не используется).

Результаты будут записаны в новые растры, названия которых начинаются с указанного result_prefix. Например, в случае, если result_prefix="res.", будут получены растры: res.ndvi1,res.ndvi2,res.ndvi3,res.ndvi4,....

Таким образом команда со значениями, заданными по умолчанию может выглядеть следующим образом:
r.series.filter input=ndvi1,ndvi2,ndvi3,ndvi4,.... result_prefix="res."

==== Методы фильтрации ====

На момент написания статьи в модуле реализовано два метода фильтрации:
* медианный фильтр (параметр method=median);
* фильтр Савицкого-Голея (method=savgol).

Каждый из этих фильтров работает в скользящем окне и рассчитывает прогнозируемое значение исследуемой величины для центральной точки окна. Поэтому модуль использует еще один параметр winsize, задающий ширину скользящего окна. Этот параметр должен быть нечетным числом.

Кроме того у метода Савцикого-Голея есть еще один параметр -- порядок полинома (order), который используется при аппроксимации временного ряда внутри скользящего окна.

Естественно, что ширина окна и порядок полинома должны быть таковы, что позволят рассчитать коэффициенты полинома. В случае, если порядок полиома превышает допустимый для данной величины окна, будет выведено сообщение об ошибке.

Например, для использования фильтра Савицкого-Голея с порядком полинома, равным трем, и шириной окна 17 отсчетов, нужно использовать следующую команду:
r.series.filter input=.... result_prefix=... method=savgol order=3 wunsiz=17

==== Подбор оптимальных значений параметров ====
Часто бывает сложно понять, какие значения параметров являются "хорошими" для конкретного набора растров.

Понятно, что эти величины зависят как и от форм анализируемых кривых, так и от целей исследователя, но в довольно обшем случае можно сказать, что качество подгонки может выражаться в виде некоторой функции от точности и "гладкости" результирующей кривой. Точность рассчитать легко как средний модуль разности между исходной кривой и результирующей, а гладкость можно оценить средним модулем разности между соседними значениями результирующей кривой. К сожалению, обычно бывает так, что гладкая и "красивая" кривая является слишком грубой и неточной, и наоборот -- точная кривая обычно повторяет все флуктуации в данных, в том числе и случайные шумы. Поэтому пользователь должен решить, что ему более важно, точность или гладкость.

На этом строится процедура подбора параметров фильтрации: пользователь задает два числа -- штрафы за неточность и негладкость результирующей кривой (параметры модуля diff_penalty и deriv_penalty). Эти штрафы показывают, насколько пользователю важна точность в ущерб гладкости. Затем запускается процедура подбора параметров, работающая следующим образом:
# Выбираются начальные значения параметра ширины окна для медианного фильра (ширины окна и порядка полинома для фильтра Савицкого-Голея).
# Выбирается opt_points случайных пикселей.
# Для выбранных пикселей производится фильтрация с заданными параметрами.
# Для каждого выбранного пикселя вычилсяется E - средний модуль разности между исходной кривой и результирующей, а также D - средний модуль разности между соседними значениями результирующей кривой.
# Для каждого пикселя находится взвешенная сумма штрафов: diff_penalty * E + deriv_penalty * D, а затем расчитывается суммарный штраф по всем пикселям. Этот суммарный штраф является оценкой качества подгонки кривых для заданных параметров фильтра.

Затем запускается процедура поиска таких параметров, при которых суммарный штраф будет минимальным. После нахождения таких параметров производится фильтрация всего временного растрового ряда.

Процедура подбора параметров включается флагом "-c", например:
r.series.filter -с input=.... result_prefix=... method=median

==== Фильтрация вегетационных индексов ====
Как отмечалось выше, в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344." предлагается метод фильтрации временных рядов вегетационных индексов, исходя из предположения, что атмосферные явления обычно занижают значения индексов. В исходной статье медод предлагался для фильра Савицкого-Голея, но с таким же успехом его можно применять и к другим фильтрам. Поэтому в модуле r.series.filter пользователь может включить флагом "-u" данную модификацию фильтра:
r.series.filter -с input=.... result_prefix=... method=median winsize=15
Предлагаемый в статье метод является итерационным, он действует на постепенно уменьшающихся величинах ширины скользящего окна.

Модуль r.series.filter ГИС GRASS

2015-12-21T21:10:59Z

KolesovDmitry: /* Подбор оптимальных значений параметров */

{{Статья|Черновик}}

{{NextGIS}}

== Назначение модуля ==
Модуль r.series.filter -- это модуль для геоинформационной системы GRASS, предназначенный для обработки временных рядов растровых данных, в первую очередь вегетационных индексов. Модуль производит очистку от шумов временных рядов с использованием различных фильтров (медианый фильтр, [https://en.wikipedia.org/wiki/Savitzky%E2%80%93Golay_filter фильтр Савицкого-Голея]). Модуль может использоваться для очистки от шумов временных рядов произвольной природы, однако одной из важных особенностей модуля является поддерка фильтрации данных вегетационных индексов. Для обработки таких рядов модуль реализует процедуру фильтрации, предложенную в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344.". Основная идея этого фильтра опирается на то, что шумы в значениях вегетационных индексов обычно индуцируются условиями съемки и атмосферными явлениями, которые занижают зачения индекса. В очень упрощенном виде можно сказать, что предлагаемая в указанной статье методика производит отбраковку низких значений индекса и производит фильтрацию по верхним значениям анализируемого временного ряда.

== Установка ==
Модуль был написан на языке Python и предназначен для работы в GRASS GIS седьмой версии. В модуле используются библиотека [http://docs.scipy.org/doc/scipy/reference/signal.html scipy.signal], входящая в состав пакета [http://www.scipy.org/about.html SciPy]. Поэтому перед началом работы в интерпретатор Python, используемый в GRASS, следует установить SciPy.

После установки SciPy появится возможность установить сам модуль r.series.filter. Данный модуль доступен в репозитории модулей GRASS ADDONS, поэтому его установка производится автоматически, если использовать модуль g.extension (вызываемый из графического интерфейса пользователя или командной строки). Например, можно использовать следущюую команду:
g.extension r.series.filter
В результате модуль будет автоматически скачан из репозитория и установлен.

== Особенности работы и примеры ==

=== Параметры модуля и их назначение ===
Модуль находится в состоянии разработки, это означает, что в него будут добавляться новые возможности. На момент написания статьи модуль использует следующие параметры и ключи (показаны наиболее важные):

r.series.filter [-cu] input=string[,string,...] result_prefix=string
[method=string] [winsize=value] [order=value] [opt_points=value]
[diff_penalty=value] [deriv_penalty=value] [iterations=value]
Flags:
-c Try to find optimal parameters for filtering
-u Fit the result curve by upper boundary
Parameters:
input Raster names of equally spaced time series.
result_prefix Prefix for raster names of filtered X(t)
method Used method
default: savgol
winsize Length of running window for the filter
default: 9
order Order of the Savitzky-Golay filter
default: 2
opt_points Count of random points used for parameter optimization
default: 50
diff_penalty Penalty for difference between original and filtered signals
default: 1.0
deriv_penalty Penalty for big derivates of the filtered signal
default: 1.0
iterations Number of iterations
default: 1

==== Параметры общего назначения ====
Два параметра input и result_prefix отвечают за перечень входных и выходных растров. Модуль ожидает, что на вход ему будет передан список растров, перечисленных через запятую в порядке возрастания (или убывания) времени. Например:
input=ndvi1,ndvi2,ndvi3,ndvi4,....
При этом временной ряд должен быть равноотстоящим, т.е. растры представляют собой измерения какой-либо величины (или состояния территории), сделанные через равные промежутки времени. Но на практике не всегда возможно иметь дело с равноотстоящими рядами, часть каких-либо измерений может отсутсвовать по объетивным причинам. В таком случае следует вставить пустой растр, состоящий из значений NULL (нет данных), который легко сгенерировать, воспользовавшись растровым калькулятором:
r.mapcalc expression="dummy = null()"
В самих растрах так же могут быть области, с отсутсвующими в них данными, такие участки не требуют специальной предварительной обработки.

Перед началом расчетов такие пропущенные значения будут предварительно заполнены данными, полученными линейной интерполяцией (во времени, пространственная интерполяция не используется).

Результаты будут записаны в новые растры, названия которых начинаются с указанного result_prefix. Например, в случае, если result_prefix="res.", будут получены растры: res.ndvi1,res.ndvi2,res.ndvi3,res.ndvi4,....

Таким образом команда со значениями, заданными по умолчанию может выглядеть следующим образом:
r.series.filter input=ndvi1,ndvi2,ndvi3,ndvi4,.... result_prefix="res."

==== Методы фильтрации ====

На момент написания статьи в модуле реализовано два метода фильтрации:
* медианный фильтр (параметр method=median);
* фильтр Савицкого-Голея (method=savgol).

Каждый из этих фильтров работает в скользящем окне и рассчитывает прогнозируемое значение исследуемой величины для центральной точки окна. Поэтому модуль использует еще один параметр winsize, задающий ширину скользящего окна. Этот параметр должен быть нечетным числом.

Кроме того у метода Савцикого-Голея есть еще один параметр -- порядок полинома (order), который используется при аппроксимации временного ряда внутри скользящего окна.

Естественно, что ширина окна и порядок полинома должны быть таковы, что позволят рассчитать коэффициенты полинома. В случае, если порядок полиома превышает допустимый для данной величины окна, будет выведено сообщение об ошибке.

Например, для использования фильтра Савицкого-Голея с порядком полинома, равным трем, и шириной окна 17 отсчетов, нужно использовать следующую команду:
r.series.filter input=.... result_prefix=... method=savgol order=3 wunsiz=17

==== Подбор оптимальных значений параметров ====
Часто бывает сложно понять, какие значения параметров являются "хорошими" для конкретного набора растров.

Понятно, что эти величины зависят как и от форм анализируемых кривых, так и от целей исследователя, но в довольно обшем случае можно сказать, что качество подгонки может выражаться в виде некоторой функции от точности и "гладкости" результирующей кривой. Точность рассчитать легко как средний модуль разности между исходной кривой и результирующей, а гладкость можно оценить средним модулем разности между соседними значениями результирующей кривой. К сожалению, обычно бывает так, что гладкая и "красивая" кривая является слишком грубой и неточной, и наоборот -- точная кривая обычно повторяет все флуктуации в данных, в том числе и случайные шумы. Поэтому пользователь должен решить, что ему более важно, точность или гладкость.

На этом строится процедура подбора параметров фильтрации: пользователь задает два числа -- штрафы за неточность и негладкость результирующей кривой (параметры модуля diff_penalty и deriv_penalty). Эти штрафы показывают, насколько пользователю важна точность в ущерб гладкости. Затем запускается процедура подбора параметров, работающая следующим образом:
# Выбираются начальные значения параметра ширины окна для медианного фильра (ширины окна и порядка полинома для фильтра Савицкого-Голея).
# Выбирается opt_points случайных пикселей.
# Для выбранных пикселей производится фильтрация с заданными параметрами.
# Для каждого выбранного пикселя вычилсяется E - средний модуль разности между исходной кривой и результирующей, а также D - средний модуль разности между соседними значениями результирующей кривой.
# Для каждого пикселя находится взвешенная сумма штрафов: diff_penalty * E + deriv_penalty * D, а затем расчитывается суммарный штраф по всем пикселям. Этот суммарный штраф является оценкой качества подгонки кривых для заданных параметров фильтра.

Затем запускается процедура поиска таких параметров, при которых суммарный штраф будет минимальным. После нахождения таких параметров производится фильтрация всего временного растрового ряда.

Процедура подбора параметров включается флагом "-c", например:
r.series.filter -с input=.... result_prefix=... method=median

==== Фильтрация вегетационных индексов ====

Модуль r.series.filter ГИС GRASS

2015-12-21T21:10:08Z

KolesovDmitry: /* Подбор оптимальных значений параметров */

{{Статья|Черновик}}

{{NextGIS}}

== Назначение модуля ==
Модуль r.series.filter -- это модуль для геоинформационной системы GRASS, предназначенный для обработки временных рядов растровых данных, в первую очередь вегетационных индексов. Модуль производит очистку от шумов временных рядов с использованием различных фильтров (медианый фильтр, [https://en.wikipedia.org/wiki/Savitzky%E2%80%93Golay_filter фильтр Савицкого-Голея]). Модуль может использоваться для очистки от шумов временных рядов произвольной природы, однако одной из важных особенностей модуля является поддерка фильтрации данных вегетационных индексов. Для обработки таких рядов модуль реализует процедуру фильтрации, предложенную в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344.". Основная идея этого фильтра опирается на то, что шумы в значениях вегетационных индексов обычно индуцируются условиями съемки и атмосферными явлениями, которые занижают зачения индекса. В очень упрощенном виде можно сказать, что предлагаемая в указанной статье методика производит отбраковку низких значений индекса и производит фильтрацию по верхним значениям анализируемого временного ряда.

== Установка ==
Модуль был написан на языке Python и предназначен для работы в GRASS GIS седьмой версии. В модуле используются библиотека [http://docs.scipy.org/doc/scipy/reference/signal.html scipy.signal], входящая в состав пакета [http://www.scipy.org/about.html SciPy]. Поэтому перед началом работы в интерпретатор Python, используемый в GRASS, следует установить SciPy.

После установки SciPy появится возможность установить сам модуль r.series.filter. Данный модуль доступен в репозитории модулей GRASS ADDONS, поэтому его установка производится автоматически, если использовать модуль g.extension (вызываемый из графического интерфейса пользователя или командной строки). Например, можно использовать следущюую команду:
g.extension r.series.filter
В результате модуль будет автоматически скачан из репозитория и установлен.

== Особенности работы и примеры ==

=== Параметры модуля и их назначение ===
Модуль находится в состоянии разработки, это означает, что в него будут добавляться новые возможности. На момент написания статьи модуль использует следующие параметры и ключи (показаны наиболее важные):

r.series.filter [-cu] input=string[,string,...] result_prefix=string
[method=string] [winsize=value] [order=value] [opt_points=value]
[diff_penalty=value] [deriv_penalty=value] [iterations=value]
Flags:
-c Try to find optimal parameters for filtering
-u Fit the result curve by upper boundary
Parameters:
input Raster names of equally spaced time series.
result_prefix Prefix for raster names of filtered X(t)
method Used method
default: savgol
winsize Length of running window for the filter
default: 9
order Order of the Savitzky-Golay filter
default: 2
opt_points Count of random points used for parameter optimization
default: 50
diff_penalty Penalty for difference between original and filtered signals
default: 1.0
deriv_penalty Penalty for big derivates of the filtered signal
default: 1.0
iterations Number of iterations
default: 1

==== Параметры общего назначения ====
Два параметра input и result_prefix отвечают за перечень входных и выходных растров. Модуль ожидает, что на вход ему будет передан список растров, перечисленных через запятую в порядке возрастания (или убывания) времени. Например:
input=ndvi1,ndvi2,ndvi3,ndvi4,....
При этом временной ряд должен быть равноотстоящим, т.е. растры представляют собой измерения какой-либо величины (или состояния территории), сделанные через равные промежутки времени. Но на практике не всегда возможно иметь дело с равноотстоящими рядами, часть каких-либо измерений может отсутсвовать по объетивным причинам. В таком случае следует вставить пустой растр, состоящий из значений NULL (нет данных), который легко сгенерировать, воспользовавшись растровым калькулятором:
r.mapcalc expression="dummy = null()"
В самих растрах так же могут быть области, с отсутсвующими в них данными, такие участки не требуют специальной предварительной обработки.

Перед началом расчетов такие пропущенные значения будут предварительно заполнены данными, полученными линейной интерполяцией (во времени, пространственная интерполяция не используется).

Результаты будут записаны в новые растры, названия которых начинаются с указанного result_prefix. Например, в случае, если result_prefix="res.", будут получены растры: res.ndvi1,res.ndvi2,res.ndvi3,res.ndvi4,....

Таким образом команда со значениями, заданными по умолчанию может выглядеть следующим образом:
r.series.filter input=ndvi1,ndvi2,ndvi3,ndvi4,.... result_prefix="res."

==== Методы фильтрации ====

На момент написания статьи в модуле реализовано два метода фильтрации:
* медианный фильтр (параметр method=median);
* фильтр Савицкого-Голея (method=savgol).

Каждый из этих фильтров работает в скользящем окне и рассчитывает прогнозируемое значение исследуемой величины для центральной точки окна. Поэтому модуль использует еще один параметр winsize, задающий ширину скользящего окна. Этот параметр должен быть нечетным числом.

Кроме того у метода Савцикого-Голея есть еще один параметр -- порядок полинома (order), который используется при аппроксимации временного ряда внутри скользящего окна.

Естественно, что ширина окна и порядок полинома должны быть таковы, что позволят рассчитать коэффициенты полинома. В случае, если порядок полиома превышает допустимый для данной величины окна, будет выведено сообщение об ошибке.

Например, для использования фильтра Савицкого-Голея с порядком полинома, равным трем, и шириной окна 17 отсчетов, нужно использовать следующую команду:
r.series.filter input=.... result_prefix=... method=savgol order=3 wunsiz=17

==== Подбор оптимальных значений параметров ====
Часто бывает сложно понять, какие значения параметров являются "хорошими" для конкретного набора растров.

Понятно, что эти величины зависят как и от форм анализируемых кривых, так и от целей исследователя, но в довольно обшем случае можно сказать, что качество подгонки может выражаться в виде некоторой функции от точности и "гладкости" результирующей кривой. Точность рассчитать легко как средний модуль разности между исходной кривой и результирующей, а гладкость можно оценить средним модулем разности между соседними значениями результирующей кривой. К сожалению, обычно бывает так, что гладкая и "красивая" кривая является слишком грубой и неточной, и наоборот -- точная кривая обычно повторяет все флуктуации в данных, в том числе и случайные шумы. Поэтому пользователь должен решить, что ему более важно, точность или гладкость.

На этом строится процедура подбора параметров фильтрации: пользователь задает два числа -- штрафы за неточность и негладкость результирующей кривой (параметры модуля diff_penalty и deriv_penalty). Эти штрафы показывают, насколько пользователю важна точность в ущерб гладкости. Затем запускается процедура подбора параметров, работающая следующим образом:
# Выбираются начальные значения параметра ширины окна для медианного фильра (ширины окна и порядка полинома для фильтра Савицкого-Голея).
# Выбирается opt_points случайных пикселей.
# Для выбранных пикселей производится фильтрация с заданными параметрами.
# Для каждого выбранного пикселя вычилсяется E - средний модуль разности между исходной кривой и результирующей, а также D - средний модуль разности между соседними значениями результирующей кривой.
# Для каждого пикселя находится взвешенная сумма штрафов: diff_penalty * E + deriv_penalty * D, а затем расчитывается суммарный штраф по всем пикселям. Этот суммарный штраф является оценкой качества подгонки кривых для заданных параметров фильтра.

Затем запускается процедура поиска таких параметров, при которых суммарный штраф будет минимальным. После нахождения таких параметров производится фильтрация всего временного растрового ряда.

Процедура подбора параметров включается флагом -c, например:

==== Фильтрация вегетационных индексов ====

Модуль r.series.filter ГИС GRASS

2015-12-21T21:08:08Z

KolesovDmitry: /* Подбор оптимальных значений параметров */

{{Статья|Черновик}}

{{NextGIS}}

== Назначение модуля ==
Модуль r.series.filter -- это модуль для геоинформационной системы GRASS, предназначенный для обработки временных рядов растровых данных, в первую очередь вегетационных индексов. Модуль производит очистку от шумов временных рядов с использованием различных фильтров (медианый фильтр, [https://en.wikipedia.org/wiki/Savitzky%E2%80%93Golay_filter фильтр Савицкого-Голея]). Модуль может использоваться для очистки от шумов временных рядов произвольной природы, однако одной из важных особенностей модуля является поддерка фильтрации данных вегетационных индексов. Для обработки таких рядов модуль реализует процедуру фильтрации, предложенную в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344.". Основная идея этого фильтра опирается на то, что шумы в значениях вегетационных индексов обычно индуцируются условиями съемки и атмосферными явлениями, которые занижают зачения индекса. В очень упрощенном виде можно сказать, что предлагаемая в указанной статье методика производит отбраковку низких значений индекса и производит фильтрацию по верхним значениям анализируемого временного ряда.

== Установка ==
Модуль был написан на языке Python и предназначен для работы в GRASS GIS седьмой версии. В модуле используются библиотека [http://docs.scipy.org/doc/scipy/reference/signal.html scipy.signal], входящая в состав пакета [http://www.scipy.org/about.html SciPy]. Поэтому перед началом работы в интерпретатор Python, используемый в GRASS, следует установить SciPy.

После установки SciPy появится возможность установить сам модуль r.series.filter. Данный модуль доступен в репозитории модулей GRASS ADDONS, поэтому его установка производится автоматически, если использовать модуль g.extension (вызываемый из графического интерфейса пользователя или командной строки). Например, можно использовать следущюую команду:
g.extension r.series.filter
В результате модуль будет автоматически скачан из репозитория и установлен.

== Особенности работы и примеры ==

=== Параметры модуля и их назначение ===
Модуль находится в состоянии разработки, это означает, что в него будут добавляться новые возможности. На момент написания статьи модуль использует следующие параметры и ключи (показаны наиболее важные):

r.series.filter [-cu] input=string[,string,...] result_prefix=string
[method=string] [winsize=value] [order=value] [opt_points=value]
[diff_penalty=value] [deriv_penalty=value] [iterations=value]
Flags:
-c Try to find optimal parameters for filtering
-u Fit the result curve by upper boundary
Parameters:
input Raster names of equally spaced time series.
result_prefix Prefix for raster names of filtered X(t)
method Used method
default: savgol
winsize Length of running window for the filter
default: 9
order Order of the Savitzky-Golay filter
default: 2
opt_points Count of random points used for parameter optimization
default: 50
diff_penalty Penalty for difference between original and filtered signals
default: 1.0
deriv_penalty Penalty for big derivates of the filtered signal
default: 1.0
iterations Number of iterations
default: 1

==== Параметры общего назначения ====
Два параметра input и result_prefix отвечают за перечень входных и выходных растров. Модуль ожидает, что на вход ему будет передан список растров, перечисленных через запятую в порядке возрастания (или убывания) времени. Например:
input=ndvi1,ndvi2,ndvi3,ndvi4,....
При этом временной ряд должен быть равноотстоящим, т.е. растры представляют собой измерения какой-либо величины (или состояния территории), сделанные через равные промежутки времени. Но на практике не всегда возможно иметь дело с равноотстоящими рядами, часть каких-либо измерений может отсутсвовать по объетивным причинам. В таком случае следует вставить пустой растр, состоящий из значений NULL (нет данных), который легко сгенерировать, воспользовавшись растровым калькулятором:
r.mapcalc expression="dummy = null()"
В самих растрах так же могут быть области, с отсутсвующими в них данными, такие участки не требуют специальной предварительной обработки.

Перед началом расчетов такие пропущенные значения будут предварительно заполнены данными, полученными линейной интерполяцией (во времени, пространственная интерполяция не используется).

Результаты будут записаны в новые растры, названия которых начинаются с указанного result_prefix. Например, в случае, если result_prefix="res.", будут получены растры: res.ndvi1,res.ndvi2,res.ndvi3,res.ndvi4,....

Таким образом команда со значениями, заданными по умолчанию может выглядеть следующим образом:
r.series.filter input=ndvi1,ndvi2,ndvi3,ndvi4,.... result_prefix="res."

==== Методы фильтрации ====

На момент написания статьи в модуле реализовано два метода фильтрации:
* медианный фильтр (параметр method=median);
* фильтр Савицкого-Голея (method=savgol).

Каждый из этих фильтров работает в скользящем окне и рассчитывает прогнозируемое значение исследуемой величины для центральной точки окна. Поэтому модуль использует еще один параметр winsize, задающий ширину скользящего окна. Этот параметр должен быть нечетным числом.

Кроме того у метода Савцикого-Голея есть еще один параметр -- порядок полинома (order), который используется при аппроксимации временного ряда внутри скользящего окна.

Естественно, что ширина окна и порядок полинома должны быть таковы, что позволят рассчитать коэффициенты полинома. В случае, если порядок полиома превышает допустимый для данной величины окна, будет выведено сообщение об ошибке.

Например, для использования фильтра Савицкого-Голея с порядком полинома, равным трем, и шириной окна 17 отсчетов, нужно использовать следующую команду:
r.series.filter input=.... result_prefix=... method=savgol order=3 wunsiz=17

==== Подбор оптимальных значений параметров ====
Часто бывает сложно понять, какие значения параметров являются "хорошими" для конкретного набора растров.

Понятно, что эти величины зависят как и от форм анализируемых кривых, так и от целей исследователя, но в довольно обшем случае можно сказать, что качество подгонки может выражаться в виде некоторой функции от точности и "гладкости" результирующей кривой. Точность рассчитать легко как средний модуль разности между исходной кривой и результирующей, а гладкость можно оценить средним модулем разности между соседними значениями результирующей кривой. К сожалению, обычно бывает так, что гладкая и "красивая" кривая является слишком грубой и неточной, и наоборот -- точная кривая обычно повторяет все флуктуации в данных, в том числе и случайные шумы. Поэтому пользователь должен решить, что ему более важно, точность или гладкость.

На этом строится процедура подбора параметров фильтрации: пользователь задает два числа -- штрафы за неточность и негладкость результирующей кривой (параметры модуля diff_penalty и deriv_penalty). Эти штрафы показывают, насколько пользователю важна точность в ущерб гладкости. Затем запускается процедура подбора параметров, работающая следующим образом:
# Выбираются начальные значения параметра ширины окна для медианного фильра (ширины окна и порядка полинома для фильтра Савицкого-Голея).
# Выбирается opt_points случайных пикселей.
# Для выбранных пикселей производится фильтрация с заданными параметрами.
# Для каждого выбранного пикселя вычилсяется E - средний модуль разности между исходной кривой и результирующей, а также D - средний модуль разности между соседними значениями результирующей кривой.
# Для каждого пикселя находится взвешенная сумма штрафов: diff_penalty * E + deriv_penalty * D, а затем расчитывается суммарный штраф по всем пикселям. Этот суммарный штраф является оценкой качества подгонки кривых для заданных параметров фильтра.

Затем запускается процедура поиска таких параметров, при которых суммарный штраф будет минимальным. После нахождения таких параметров производится фильтрация всего временного растрового ряда.

Большие значения diff_penalty будут

Модуль r.series.filter ГИС GRASS

2015-12-21T20:48:33Z

KolesovDmitry: /* Подбор оптимальных значений параметров */

Модуль r.series.filter ГИС GRASS

2015-12-21T20:46:00Z

KolesovDmitry: /* Методы фильтрации */

Модуль r.series.filter ГИС GRASS

2015-12-21T20:29:11Z

KolesovDmitry: /* Методы фильтрации */

Модуль r.series.filter ГИС GRASS

2015-12-21T20:03:27Z

KolesovDmitry: /* Методы фильтрации */

{{Статья|Черновик}}

== Назначение модуля ==
Модуль r.series.filter -- это модуль для геоинформационной системы GRASS, предназначенный для обработки временных рядов растровых данных, в первую очередь вегетационных индексов. Модуль производит очистку от шумов временных рядов с использованием различных фильтров (медианый фильтр, [https://en.wikipedia.org/wiki/Savitzky%E2%80%93Golay_filter фильтр Савицкого-Голея]). Модуль может использоваться для очистки от шумов временных рядов произвольной природы, однако одной из важных особенностей модуля является поддерка фильтрации данных вегетационных индексов. Для обработки таких рядов модуль реализует процедуру фильтрации, предложенную в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344.". Основная идея этого фильтра опирается на то, что шумы в значениях вегетационных индексов обычно индуцируются условиями съемки и атмосферными явлениями, которые занижают зачения индекса. В очень упрощенном виде можно сказать, что предлагаемая в указанной статье методика производит отбраковку низких значений индекса и производит фильтрацию по верхним значениям анализируемого временного ряда.

== Установка ==
Модуль был написан на языке Python и предназначен для работы в GRASS GIS седьмой версии. В модуле используются библиотека [http://docs.scipy.org/doc/scipy/reference/signal.html scipy.signal], входящая в состав пакета [http://www.scipy.org/about.html SciPy]. Поэтому перед началом работы в интерпретатор Python, используемый в GRASS, следует установить SciPy.

После установки SciPy появится возможность установить сам модуль r.series.filter. Данный модуль доступен в репозитории модулей GRASS ADDONS, поэтому его установка производится автоматически, если использовать модуль g.extension (вызываемый из графического интерфейса пользователя или командной строки). Например, можно использовать следущюую команду:
g.extension r.series.filter
В результате модуль будет автоматически скачан из репозитория и установлен.

== Особенности работы и примеры ==

=== Параметры модуля и их назначение ===
Модуль находится в состоянии разработки, это означает, что в него будут добавляться новые возможности. На момент написания статьи модуль использует следующие параметры и ключи (показаны наиболее важные):

r.series.filter [-cu] input=string[,string,...] result_prefix=string
[method=string] [winsize=value] [order=value] [opt_points=value]
[diff_penalty=value] [deriv_penalty=value] [iterations=value]
Flags:
-c Try to find optimal parameters for filtering
-u Fit the result curve by upper boundary
Parameters:
input Raster names of equally spaced time series.
result_prefix Prefix for raster names of filtered X(t)
method Used method
default: savgol
winsize Length of running window for the filter
default: 9
order Order of the Savitzky-Golay filter
default: 2
opt_points Count of random points used for parameter optimization
default: 50
diff_penalty Penalty for difference between original and filtered signals
default: 1.0
deriv_penalty Penalty for big derivates of the filtered signal
default: 1.0
iterations Number of iterations
default: 1

==== Параметры общего назначения ====
Два параметра input и result_prefix отвечают за перечень входных и выходных растров. Модуль ожидает, что на вход ему будет передан список растров, перечисленных через запятую в порядке возрастания (или убывания) времени. Например:
input=ndvi1,ndvi2,ndvi3,ndvi4,....
При этом временной ряд должен быть равноотстоящим, т.е. растры представляют собой измерения какой-либо величины (или состояния территории), сделанные через равные промежутки времени. Но на практике не всегда возможно иметь дело с равноотстоящими рядами, часть каких-либо измерений может отсутсвовать по объетивным причинам. В таком случае следует вставить пустой растр, состоящий из значений NULL (нет данных), который легко сгенерировать, воспользовавшись растровым калькулятором:
r.mapcalc expression="dummy = null()"
В самих растрах так же могут быть области, с отсутсвующими в них данными, такие участки не требуют специальной предварительной обработки.

Перед началом расчетов такие пропущенные значения будут предварительно заполнены данными, полученными линейной интерполяцией (во времени, пространственная интерполяция не используется).

Результаты будут записаны в новые растры, названия которых начинаются с указанного result_prefix. Например, в случае, если result_prefix="res.", будут получены растры: res.ndvi1,res.ndvi2,res.ndvi3,res.ndvi4,....

Таким образом команда со значениями, заданными по умолчанию может выглядеть следующим образом:
r.series.filter input=ndvi1,ndvi2,ndvi3,ndvi4,.... result_prefix="res."

==== Методы фильтрации ====

На момент написания статьи в модуле реализовано два метода фильтрации:
* медианный фильтр (параметр method=median);
* фильтр Савицкого-Голея (method=savgol).

Каждый из этих фильтров работает в скользящем окне и рассчитывает прогнозируемое значение исследуемой величины для центральной точки окна. Поэтому модуль использует еще один параметр winsize, задающий ширину скользящего окна. Этот параметр должен быть нечетным числом.

Кроме того у метода Савцикого-Голея есть еще один параметр -- порядок полинома (order), который используется при аппроксимации временного ряда внутри скользящего окна.

Естественно, что ширина окна и порядок полинома должны быть таковы, что

Например, для использования фильтра Савицкого-Голея с порядком полинома, равным трем и шириной окна 17 отсчетов.

Модуль r.series.filter ГИС GRASS

2015-12-21T19:20:23Z

KolesovDmitry: /* Метод фильтрации */

{{Статья|Черновик}}

== Назначение модуля ==
Модуль r.series.filter -- это модуль для геоинформационной системы GRASS, предназначенный для обработки временных рядов растровых данных, в первую очередь вегетационных индексов. Модуль производит очистку от шумов временных рядов с использованием различных фильтров (медианый фильтр, [https://en.wikipedia.org/wiki/Savitzky%E2%80%93Golay_filter фильтр Савицкого-Голея]). Модуль может использоваться для очистки от шумов временных рядов произвольной природы, однако одной из важных особенностей модуля является поддерка фильтрации данных вегетационных индексов. Для обработки таких рядов модуль реализует процедуру фильтрации, предложенную в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344.". Основная идея этого фильтра опирается на то, что шумы в значениях вегетационных индексов обычно индуцируются условиями съемки и атмосферными явлениями, которые занижают зачения индекса. В очень упрощенном виде можно сказать, что предлагаемая в указанной статье методика производит отбраковку низких значений индекса и производит фильтрацию по верхним значениям анализируемого временного ряда.

== Установка ==
Модуль был написан на языке Python и предназначен для работы в GRASS GIS седьмой версии. В модуле используются библиотека [http://docs.scipy.org/doc/scipy/reference/signal.html scipy.signal], входящая в состав пакета [http://www.scipy.org/about.html SciPy]. Поэтому перед началом работы в интерпретатор Python, используемый в GRASS, следует установить SciPy.

После установки SciPy появится возможность установить сам модуль r.series.filter. Данный модуль доступен в репозитории модулей GRASS ADDONS, поэтому его установка производится автоматически, если использовать модуль g.extension (вызываемый из графического интерфейса пользователя или командной строки). Например, можно использовать следущюую команду:
g.extension r.series.filter
В результате модуль будет автоматически скачан из репозитория и установлен.

== Особенности работы и примеры ==

=== Параметры модуля и их назначение ===
Модуль находится в состоянии разработки, это означает, что в него будут добавляться новые возможности. На момент написания статьи модуль использует следующие параметры и ключи (показаны наиболее важные):

r.series.filter [-cu] input=string[,string,...] result_prefix=string
[method=string] [winsize=value] [order=value] [opt_points=value]
[diff_penalty=value] [deriv_penalty=value] [iterations=value]
Flags:
-c Try to find optimal parameters for filtering
-u Fit the result curve by upper boundary
Parameters:
input Raster names of equally spaced time series.
result_prefix Prefix for raster names of filtered X(t)
method Used method
default: savgol
winsize Length of running window for the filter
default: 9
order Order of the Savitzky-Golay filter
default: 2
opt_points Count of random points used for parameter optimization
default: 50
diff_penalty Penalty for difference between original and filtered signals
default: 1.0
deriv_penalty Penalty for big derivates of the filtered signal
default: 1.0
iterations Number of iterations
default: 1

==== Параметры общего назначения ====
Два параметра input и result_prefix отвечают за перечень входных и выходных растров. Модуль ожидает, что на вход ему будет передан список растров, перечисленных через запятую в порядке возрастания (или убывания) времени. Например:
input=ndvi1,ndvi2,ndvi3,ndvi4,....
При этом временной ряд должен быть равноотстоящим, т.е. растры представляют собой измерения какой-либо величины (или состояния территории), сделанные через равные промежутки времени. Но на практике не всегда возможно иметь дело с равноотстоящими рядами, часть каких-либо измерений может отсутсвовать по объетивным причинам. В таком случае следует вставить пустой растр, состоящий из значений NULL (нет данных), который легко сгенерировать, воспользовавшись растровым калькулятором:
r.mapcalc expression="dummy = null()"
В самих растрах так же могут быть области, с отсутсвующими в них данными, такие участки не требуют специальной предварительной обработки.

Перед началом расчетов такие пропущенные значения будут предварительно заполнены данными, полученными линейной интерполяцией (во времени, пространственная интерполяция не используется).

Результаты будут записаны в новые растры, названия которых начинаются с указанного result_prefix. Например, в случае, если result_prefix="res.", будут получены растры: res.ndvi1,res.ndvi2,res.ndvi3,res.ndvi4,....

Таким образом команда со значениями, заданными по умолчанию может выглядеть следующим образом:
r.series.filter input=ndvi1,ndvi2,ndvi3,ndvi4,.... result_prefix="res."

==== Методы фильтрации ====

На момент написания статьи в модуле реализовано два метода фильтрации:
* медианный фильтр (параметры);
* фильтр Савицкого-Голея.

Каждый из этих фильтров работает в скользящем окне и рассчитывает прогнозируемое значение исследуемой величины для центральной точки окна.

Модуль r.series.filter ГИС GRASS

2015-12-21T19:16:24Z

KolesovDmitry: /* Параметры общего назначения */

Модуль r.series.filter ГИС GRASS

2015-12-21T19:16:03Z

KolesovDmitry: /* Параметры общего назначения */

{{Статья|Черновик}}

== Назначение модуля ==
Модуль r.series.filter -- это модуль для геоинформационной системы GRASS, предназначенный для обработки временных рядов растровых данных, в первую очередь вегетационных индексов. Модуль производит очистку от шумов временных рядов с использованием различных фильтров (медианый фильтр, [https://en.wikipedia.org/wiki/Savitzky%E2%80%93Golay_filter фильтр Савицкого-Голея]). Модуль может использоваться для очистки от шумов временных рядов произвольной природы, однако одной из важных особенностей модуля является поддерка фильтрации данных вегетационных индексов. Для обработки таких рядов модуль реализует процедуру фильтрации, предложенную в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344.". Основная идея этого фильтра опирается на то, что шумы в значениях вегетационных индексов обычно индуцируются условиями съемки и атмосферными явлениями, которые занижают зачения индекса. В очень упрощенном виде можно сказать, что предлагаемая в указанной статье методика производит отбраковку низких значений индекса и производит фильтрацию по верхним значениям анализируемого временного ряда.

== Установка ==
Модуль был написан на языке Python и предназначен для работы в GRASS GIS седьмой версии. В модуле используются библиотека [http://docs.scipy.org/doc/scipy/reference/signal.html scipy.signal], входящая в состав пакета [http://www.scipy.org/about.html SciPy]. Поэтому перед началом работы в интерпретатор Python, используемый в GRASS, следует установить SciPy.

После установки SciPy появится возможность установить сам модуль r.series.filter. Данный модуль доступен в репозитории модулей GRASS ADDONS, поэтому его установка производится автоматически, если использовать модуль g.extension (вызываемый из графического интерфейса пользователя или командной строки). Например, можно использовать следущюую команду:
g.extension r.series.filter
В результате модуль будет автоматически скачан из репозитория и установлен.

== Особенности работы и примеры ==

=== Параметры модуля и их назначение ===
Модуль находится в состоянии разработки, это означает, что в него будут добавляться новые возможности. На момент написания статьи модуль использует следующие параметры и ключи (показаны наиболее важные):

r.series.filter [-cu] input=string[,string,...] result_prefix=string
[method=string] [winsize=value] [order=value] [opt_points=value]
[diff_penalty=value] [deriv_penalty=value] [iterations=value]
Flags:
-c Try to find optimal parameters for filtering
-u Fit the result curve by upper boundary
Parameters:
input Raster names of equally spaced time series.
result_prefix Prefix for raster names of filtered X(t)
method Used method
default: savgol
winsize Length of running window for the filter
default: 9
order Order of the Savitzky-Golay filter
default: 2
opt_points Count of random points used for parameter optimization
default: 50
diff_penalty Penalty for difference between original and filtered signals
default: 1.0
deriv_penalty Penalty for big derivates of the filtered signal
default: 1.0
iterations Number of iterations
default: 1

==== Параметры общего назначения ====
Два параметра input и result_prefix отвечают за перечень входных и выходных растров. Модуль ожидает, что на вход ему будет передан список растров, перечисленных через запятую в порядке возрастания (или убывания) времени. Например:
input=ndvi1,ndvi2,ndvi3,ndvi4,....
При этом временной ряд должен быть равноотстоящим, т.е. растры представляют собой измерения какой-либо величины (или состояния территории), сделанные через равные промежутки времени. Но на практике не всегда возможно иметь дело с равноотстоящими рядами, часть каких-либо измерений может отсутсвовать по объетивным причинам. В таком случае следует вставить пустой растр, состоящий из значений NULL (нет данных), который легко сгенерировать, воспользовавшись растровым калькулятором:
r.mapcalc expression="dummy = null()"
В самих растрах так же могут быть области, с отсутсвующими в них данными, такие участки не требуют специальной предварительной обработки.

Перед началом расчетов такие пропущенные значения будут предварительно заполнены данными, полученными линейной интерполяцией (во времени, пространственная интерполяция не используется).

Результаты будут записаны в новые растры, названия которых начинаются с указанного result_prefix. Например, в случае, если result_prefix="res.", будут получены растры: res.ndvi1,res.ndvi2,res.ndvi3,res.ndvi4,....

Таким образом команда со значениями, задаными по умолчанию может выглядеть следующим образом:
r.series.filter input=ndvi1,ndvi2,ndvi3,ndvi4,.... result_prefix="res."

==== Метод фильтрации ====

Модуль r.series.filter ГИС GRASS

2015-12-21T18:58:26Z

KolesovDmitry: /* Параметры модуля и их назначение */

{{Статья|Черновик}}

== Назначение модуля ==
Модуль r.series.filter -- это модуль для геоинформационной системы GRASS, предназначенный для обработки временных рядов растровых данных, в первую очередь вегетационных индексов. Модуль производит очистку от шумов временных рядов с использованием различных фильтров (медианый фильтр, [https://en.wikipedia.org/wiki/Savitzky%E2%80%93Golay_filter фильтр Савицкого-Голея]). Модуль может использоваться для очистки от шумов временных рядов произвольной природы, однако одной из важных особенностей модуля является поддерка фильтрации данных вегетационных индексов. Для обработки таких рядов модуль реализует процедуру фильтрации, предложенную в статье "Chen J. et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky–Golay filter //Remote sensing of Environment. – 2004. – Т. 91. – №. 3. – С. 332-344.". Основная идея этого фильтра опирается на то, что шумы в значениях вегетационных индексов обычно индуцируются условиями съемки и атмосферными явлениями, которые занижают зачения индекса. В очень упрощенном виде можно сказать, что предлагаемая в указанной статье методика производит отбраковку низких значений индекса и производит фильтрацию по верхним значениям анализируемого временного ряда.

== Установка ==
Модуль был написан на языке Python и предназначен для работы в GRASS GIS седьмой версии. В модуле используются библиотека [http://docs.scipy.org/doc/scipy/reference/signal.html scipy.signal], входящая в состав пакета [http://www.scipy.org/about.html SciPy]. Поэтому перед началом работы в интерпретатор Python, используемый в GRASS, следует установить SciPy.

После установки SciPy появится возможность установить сам модуль r.series.filter. Данный модуль доступен в репозитории модулей GRASS ADDONS, поэтому его установка производится автоматически, если использовать модуль g.extension (вызываемый из графического интерфейса пользователя или командной строки). Например, можно использовать следущюую команду:
g.extension r.series.filter
В результате модуль будет автоматически скачан из репозитория и установлен.

== Особенности работы и примеры ==

=== Параметры модуля и их назначение ===
Модуль находится в состоянии разработки, это означает, что в него будут добавляться новые возможности. На момент написания статьи модуль использует следующие параметры и ключи (показаны наиболее важные):

r.series.filter [-cu] input=string[,string,...] result_prefix=string
[method=string] [winsize=value] [order=value] [opt_points=value]
[diff_penalty=value] [deriv_penalty=value] [iterations=value]
Flags:
-c Try to find optimal parameters for filtering
-u Fit the result curve by upper boundary
Parameters:
input Raster names of equally spaced time series.
result_prefix Prefix for raster names of filtered X(t)
method Used method
default: savgol
winsize Length of running window for the filter
default: 9
order Order of the Savitzky-Golay filter
default: 2
opt_points Count of random points used for parameter optimization
default: 50
diff_penalty Penalty for difference between original and filtered signals
default: 1.0
deriv_penalty Penalty for big derivates of the filtered signal
default: 1.0
iterations Number of iterations
default: 1

==== Параметры общего назначения ====
Два параметра input и result_prefix отвечают за перечень входных и выходных растров. Модуль ожидает, что на вход ему будет передан список растров, перечисленных через запятую в порядке возрастания (или убывания) времени. Например:
input=ndvi1,ndvi2,ndvi3,ndvi4,....
При этом временной ряд должен быть равноотстоящим, т.е. растры представляют собой измерения какой-либо величины (или состояния территории), сделанные через равные промежутки времени. Но на практике не всегда возможно иметь дело с равноотстоящими рядами, часть каких-либо измерений может отсутсвовать по объетивным причинам. В таком случае следует вставить пустой растр, состоящий из значений NULL (нет данных), который легко сгенеерировать, воспользовавшись растровым калькулятором:
r.mapcalc "dummy = null()"
В самих растрах так же могут быть области, с отсутсвующими в них данными, такие участки не требуют специальной предварительной обработки.

Перед началом расчетов такие пропущенные значения будут предварительно заполнены данными, полученными линейной интерполяцией (во времени, пространственная интерполяция не используется).

Модуль r.series.filter ГИС GRASS

2015-12-21T18:39:34Z

KolesovDmitry: /* Установка */

Модуль r.series.filter ГИС GRASS

2015-12-21T18:37:19Z

KolesovDmitry: /* Назначение модуля */

Модуль r.series.filter ГИС GRASS

2015-12-21T18:11:08Z

KolesovDmitry: /* Параметры модуля и их назначение */

Модуль r.series.filter ГИС GRASS

2015-12-21T18:09:18Z

KolesovDmitry: /* Принципы работы и примеры */

Модуль r.series.filter ГИС GRASS

2015-12-21T18:04:53Z

KolesovDmitry: /* Установка */

Модуль r.series.filter ГИС GRASS

2015-12-21T17:58:49Z

KolesovDmitry: /* Установка */

Модуль r.series.filter ГИС GRASS

2015-12-21T17:43:05Z

KolesovDmitry: /* Назначение модуля */

Модуль r.series.filter ГИС GRASS

2015-12-21T17:25:02Z

KolesovDmitry: /* Назначение модуля */

{{Статья|Черновик}}

== Назначение модуля ==
Модуль r.series.filter -- это модуль для геоинформационной системы GRASS.

== Установка ==

== Принципы работы и примеры ==

Модуль r.series.filter ГИС GRASS

2015-12-21T17:11:32Z

KolesovDmitry: Новая страница: «{{Статья|Черновик}} == Назначение модуля == == Установка == == Принципы работы и примеры ==»

{{Статья|Черновик}}

== Назначение модуля ==

== Установка ==

== Принципы работы и примеры ==

GISConf - служба помощи

2015-10-21T16:53:30Z

KolesovDmitry: /* Эксперты */

На конференции Открытые ГИС планируется создать "Службу помощи" - отдельную стойку или стол, где каждый сможет подойти и задать свои вопросы одному из экспертов.

==Как работает==
В этой секции работает группа умудренных экспертов, каждый из которых готов потратить от 30 до 60 минут своего времени на ответы по ГИС и около тематики.
Предполагается помещение на 5-7 человек для консультаций. На экране ноутбука (идеально - компьютер с двумя мониторами) эксперт может показать какие-то наглядные вещи.
Данный формат общения будет работать как минимум один день конференции.

Компетенция эксперта может быть как технологической, так и тематической (например, GeoServer или Геомаркетинг). Для каждого эксперта можно определить круг компетенций (основная, второстепенные, "где-то что-то слышал").

==Эксперты==
Имя и Фамилия. День, в который готов выступить. Время, которое готов потратить. '''Основные компетенции'''. Второстепенные компетенции. ''Ориентируюсь''.

{| class="wikitable"
|-
! Имя
! Даты
! Время, ч
! Компетенции (основные)
! Компетенции (второстепенные)
|-
|Андрей Жуков
|21-22
|2
|GeoServer, картографические стили
|QGIS, Python
|-
|Максим Дубинин
|21-22
|0.5-1
|Развертывание, лицензирование
|
|-
|Дмитрий Колесов
|21-22
|1
|GRASS GIS, обработка данных
|
|-
|}

Вызов GRASS GIS из скрипта на Python

2015-06-22T07:16:35Z

KolesovDmitry: /* Запуск команд */

{{Статья|Опубликована|grass-external-scripting}}

Очень часто работа с GRASS GIS происходит в интерактивном режиме, когда пользователь вводит команды в консоли или вызывает их через графический интерфейс пользователя. При этом часто повторяемые действия пользователь может автоматизировать, создав скрипт, который будет доступен для повторного использования. GRASS GIS поддерживает большое количество языков программирования, на которых можно создавать пользовательские скрипты, наиболее распространенными из них являются скриптовый язык командной оболочки (shell, bash) и Python. Пример создания скрипта на языке Python описывается в статье [http://gis-lab.info/qa/grass64-python.html Создание скрипта на Python для ГИС GRASS]. После создания скрипта пользователь может запускать его из консоли, в которой запущена ГИС GRASS.

Однако, иногда может потребоваться полностью автономный скрипт, который может работать, даже если консоль GRASS GIS не запущена, например, при вызове скрипта из какой-либо своей программы. Это может быть полезным при автоматической обработке геоданных, когда нужно по расписанию обновлять, генерировать или анализировать данные. Возможно также создание таких скриптов, которые автоматически создают проект GRASS, выполняют определенную работу (импортируют данные, анализируют их) и, по завершении обработки, удаляют проекты. Методика создания подобных скриптов подробно описана в статье [http://geoinformatics.fsv.cvut.cz/gwiki/On_scripting_GRASS_GIS:_Building_location-independent_command_line_tools On scripting GRASS GIS: Building location-independent command line tools]. В данной статье рассматривается лишь часть методов, описанных вышеуказанной работе -- создание скрипта, способного использовать готовые проекты GRASS.

Пример подобного скрипта, написанного на shell, приводится в [http://gis-lab.info/forum/viewtopic.php?f=40&t=9303 рецепте], данная статья описывает решение данной задачи для языка Python. Нужно отметить, что описываемый подход можно применить к любому языку программирования, а не только к shell или Python.

== Этапы работы ==
В общем случае внешний по отношению к ГИС GRASS скрипт должен реализовать следующие основные этапы обработки:
# Задать значения переменным окружения, которые используются в GRASS GIS (PATH, GISRC и т.д.). Этот этап служит инициализацией и необходим для того, чтобы скрипт был в состоянии определить, где находятся файлы проекта и модули ГИС GRASS и, как следствие, мог их использовать в своей работе.
# Собственно сама обработка данных, состоящая из последовательности команд GRASS GIS. Это основная часть скрипта, в которой пользователь задает последовательность действий, необходимых для того, чтобы выполнить планируемую обработку данных.
# Очистка системы от временных файлов. После выполнения необходимого анализа или действий над исходными данными все вспомогательные файлы следует удалить, чтобы не "мусорить" в системе.

Данные этапы более подробно рассматриваются в последующих подразделах.

== Инициализация ==
=== Теория ===
Описание этапа инициализации рассматривается в [http://grasswiki.osgeo.org/wiki/GRASS_and_Python#Creating_Python_scripts_that_call_GRASS_functionality_from_outside Wiki проекта GRASS]. В этом подразделе приводится краткий перевод этой страницы.

Как было сказано выше, цель этапа инициализации -- установить переменные окружения так, чтобы скрипт мог получить информацию о том, где искать библиотеки GRASS и файлы проекта. Поэтому нужно задать следующие переменные:
* GISBASE путь к каталогу, в котором установлена ГИС GRASS. Узнать значение переменной можно, если запустить GRASS и в консоли выполнить команду: <code>echo $GISBASE</code>
* PATH системная переменная окружения $PATH, в которой нужно прописать пути каталогам, в которых следует искать скрипты и команды GRASS.
* LD_LIBRARY_PATH переменная, в которой перечисляются все каталоги содержащие пользовательские динамические библиотеки.
* GISRC переменная, содержащая путь к файлу, в котором задаются путь к проекту, области и набору карт. Для ГИС GRASS 6.x этот файл обычно называется .grassrc6, но можно создать свой собственный и прописать туда необходимые сведения. В последнем случае в файле должны быть установлены значения следующих переменных GISDBASE, LOCATION, MAPSET (посмотреть формат файла можно, открыв его в текстовом редакторе).

Если речь идет о скрипте на языке Python, то нужно задать еще переменные окружения, описывающие, где хранится интерпретатор языка:
* PYTHONLIB путь к интерпретатору Python.
* PYTHONPATH эта переменная должна указывать на %GISBASE%\etc\python.

Например, для системы Windows эти переменые могут быть такими (зависит от конкретных путей установки GRASS):
GISBASE= C:\GRASS-64
GISRC= C:\Documents and Settings\user\.grassrc6
LD_LIBRARY_PATH= C:\GRASS-64\lib
PATH= C:\GRASS-64\etc;C:\GRASS-64\etc\python;C:\GRASS-64\lib;C:\GRASS-64\bin;C:\GRASS-64\extralib;C:\GRASS-64\msys\bin;C:\Python26;
PYTHONLIB= C:\Python26
PYTHONPATH= C:\GRASS-64\etc\python
GRASS_SH= C:\GRASS-64\msys\bin\sh.exe

Для Linux переменные могут быть:
export GISBASE="/usr/local/grass-6.4.svn/"
export PATH="$PATH:$GISBASE/bin:$GISBASE/scripts"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:$GISBASE/lib"
export GISRC="$HOME/.grassrc6"
export PYTHONPATH="$PYTHONPATH:$GISBASE/etc/python"

=== Реализация ===
Язык Python несколько облегчает общую схему работы, рассмотренную в предыдущем подразделе, в частности, пользователь не обязан создавать файл с описанием путей проекта и, как следствие, этап очистки системы может быть также пропущен.

Предположим, что пользователь работает с набором данных [[http://gis-lab.info/qa/geosample.html geosample]], и пусть $HOME/grassdata -- каталог, в котором хранится данный набор. Тогда для установки переменных можно воспользоваться следующими командами на языке Python:

<syntaxhighlight lang="python">
import os
import sys
gisbase = os.environ['GISBASE'] = "/usr/lib/grass64"
gisdbase = os.path.join(os.environ['HOME'], "grassdata")
location = "geosample"
mapset = "PERMANENT"
sys.path.append(os.path.join(os.environ['GISBASE'], "etc", "python"))
import grass.script as grass
import grass.script.setup as gsetup
gsetup.init(gisbase,
gisdbase, location, mapset)
print grass.gisenv()

</syntaxhighlight>

Третья строка задает переменную окружения GISBASE. Четвертая, пятая и шестая строки задают переменные путей к проекту GRASS, которые будут использоваться в команде ''gsetup.init''. Обратите внимание на то, что использование команды ''gsetup.init'' избавляет программиста от создания/редактирования файла путей к проекту (см. переменную GISRC).

В Windows при установке GRASS через OSGeo4W/NextGIS_QGIS набор переменных может выглядеть так:

<syntaxhighlight lang="python">
gisbase = os.environ['GISBASE'] = "c:/tools/NextGIS_QGIS/apps/grass/grass-6.4.4/"
gisdbase = os.environ['GISDBASE'] = "e:/users/maxim/thematic/dhi/"
</syntaxhighlight>

Запускать python в этом случае нужно после OSGeo4W.bat.

== Запуск команд ==
Здесь происходит собственно обработка данных, которая зависит от целей и задач пользователя. Пользователь может вызывать любые команды GRASS или запускать сторонние модули Python или написать свой собственный обработчик.

Поскольку цель данной статьи -- продемонстрировать этапы предварительной подготовки, необходимые для вызова GRASS GIS из скрипта на Python, а не выполнение того или иного анализа данных, то в качестве пример обработки будем использовать "заглушку", т.е. демонстрационный пример вызова команд GRASS GIS. В качестве такого простого примера покажем, как можно произвести циклическую обработку растров. Следующий кусок кода производит поиск всех растровых файлов и:
# Выводит называние растра на экран
# Выводит статистику по данному растру (значение ячейки растра и общая площадь ячеек с данным значением)

<syntaxhighlight lang="python">
grass.message('Raster maps:')
for rast in grass.list_strings(type = 'rast'):
print rast
grass.run_command('r.stats', input=rast, flags='a')
</syntaxhighlight>

Читатель легко может заменить эти команды на свои, отражающие суть необходимых ему манипуляций с данными. Обратите внимание, что флаги (например --o перезапись) передаются в flags.

Для обработки выводов команд GRASS может понадобится работа с каналами (пайпами), например для получения списка растров области в виде массива:

<syntaxhighlight lang="python">
result = []
p = grass.pipe_command('g.mlist', type = 'rast', quiet=True)
for line in p.stdout:
result.append(line)
</syntaxhighlight>

Для некоторых команд GRASS параметры передаются не в виде "ключ - значение", а простым аргументом, в этом случае запуск осуществляется не через run_command, а саму команду, например для r.mapcalc:

<syntaxhighlight lang="python">
grass.mapcalc('dh3 = std/ave')
</syntaxhighlight>

== Очистка системы ==
Если пользователь в своем скрипте создавал те или иные вспомогательные файлы, то он должен удалить их по окончании работы скрипта. В первую очередь это относится к файлу с указанием путей к проекту, который хранится в переменной GISRC. Однако, если пользователь для настройки путей проекта использовал команду gsetup.init, то данный шаг можно опустить.

== Итоговый скрипт ==
Окончательный вид скрипта, готового для использования, приводится ниже:

<syntaxhighlight lang="python">
#!/usr/bin/env python
# -*- coding: utf-8 -*-

import os
import sys
gisbase = os.environ['GISBASE'] = "/usr/lib/grass64"
gisdbase = os.path.join(os.environ['HOME'], "grassdata")
location = "geosample"
mapset = "PERMANENT"
sys.path.append(os.path.join(os.environ['GISBASE'], "etc", "python"))
import grass.script as grass
import grass.script.setup as gsetup
gsetup.init(gisbase,
gisdbase, location, mapset)
print grass.gisenv()

# Обработка
grass.message('Raster maps:')
for rast in grass.list_strings(type = 'rast'):
print rast
grass.run_command('r.stats', input=rast, flags='a')
</syntaxhighlight>

== Ссылки ==
* [http://grasswiki.osgeo.org/wiki/Working_with_GRASS_without_starting_it_explicitly Working with GRASS without starting it explicitly (англ.)]
* [http://gis-lab.info/forum/viewtopic.php?f=40&t=9303 Рецепт создания внешнего для ГИС GRASS скрипта на shell]

Разработка простого расширения для QGIS на Python

2015-06-06T14:17:12Z

KolesovDmitry: /* Разработка */

{{Статья|Опубликована|qgis-dev-python}}
{{Аннотация|Описание процесса создания элементарного расширения для QGIS.}}

QGIS — свободная пользовательская ГИС, обладающая развитым API и продвинутой системой расширений (модулей). Модули создаются для расширения функциональности программы. QGIS написана на объектно-ориентированном языке высокого уровня C++. Так же в QGIS встроены привязки (bindings), которые реализуют практически весь функционал QGIS на языке Python. Графический интерфейс пользователя QGIS базируется на библиотеках Qt4. Разработка для QGIS может вестись на двух языках, Python и C++. Для разработки на языке Python необходимы привязки [http://www.riverbankcomputing.co.uk/software/pyqt/intro PyQt], обеспечивающие взаимодействия Python с Qt4. Помимо расширений библиотеки QGIS могут быть также использованы для разработки отдельных приложений, что подробно описано в статье «[http://gis-lab.info/qa/qgis-standalone.html Создание приложения на базе набора библиотек QGIS на Python]».

Данная статья описывает процесс создания каркаса расширения на языке Python. Разработанный каркас можно в дальнейшем использовать как основу для других расширений, выполняющих нужные функции.

Создание расширения состоит из нескольких этапов:

* Идея
* Создание каркаса
* Разработка необходимой функциональности.
* Тестирование
* Публикация

Задача этой статьи - иллюстрация процесса создания простого расширения, которое:
* добавит новую кнопку на панель инструментов
* добавит подменю в меню расширений
* выполнит простое действие.

Это расширение можно будет использовать как каркас для других будущих, более функциональных расширений. Далее мы более подробно разберем процесс создания по шагам.

=== Получение исходного кода ===

Код расширения, работающий под QGIS 2.0 можно получить в [https://github.com/nextgis/testplugin репозитории GitHub]:

<pre>git clone git@github.com:nextgis/testplugin.git</pre>

=== Подготовка ===

Для разработки расширения понадобится

* Любой текстовый редактор
* Python, лучше версии 2.5-2.7.х (3.x не подойдет)
* QGIS версии 2.0 и выше, для проверки работоспособности расширения.

Если вы установили QGIS с помощью установщика [http://gis-lab.info/qa/qgis-osgeo4w.html osgeo4w] или [http://nextgis.ru/nextgis-qgis NextGIS QGIS], то у вас уже есть все необходимое для разработки. Ничего дополнительно устанавливать не нужно.

Разработку можно вести прямо в папке, где хранятся расширения или переместить его в нее после разработки, в QGIS эта папка либо <tt>QGIS\python\plugins</tt> либо </tt>C:\Documents and Settings\username\.qgis2\python\plugins\</tt>.

В папке с плагинами необходимо создать новую, назвав ее так, чтобы бы по названию можно было легко определить, что именно делает расширение. Назовем нашу папку <code>testplugin</code>. Это название следует запомнить, так как оно будет фигурировать в различных компонентах кода.

Перед разработкой, нам нужно создать в этой папке несколько новых, пока пустых текстовых файлов:

* <tt>__init__.py</tt> — начальная точка, создаёт экземпляр основного класса, который передается в QGIS
* <tt>testplugin.py</tt> — основной код расширения. Содержит всю информацию о всех действиях расширения.
* <tt>resources.qrc</tt> — xml файл, создаваемый Qt Designer или вручную и содержащий относительные пути к ресурсам расширения, формам, иконкам и т.п. Компилируется в py перед созданием пакета плагина.
* <tt>metadata.txt</tt> — описание модуля, содержит информацию о расширении, версию, имя разработчика

Помимо этих файлов, если расширение использует формы, могут также присутствовать файлы:

* <tt>form.ui</tt> — форма созданная с помощью Qt Designer
* <tt>form.py</tt> — она же, скомпилированная в виде программы на языке Python

Для примера из данной статьи эти файлы не понадобятся.

Итак, пустые файлы созданы и лежат в нужной папке.

Перед разработкой, отредактируем файл metadata.txt. Этот файл содержит информацию о расширении, такую как его название <tt>name</tt>, т.е. то, как он будет показываться в Менеджере модулей, его описание <tt>description</tt>, показывается там же. Нужно также указать минимальную версию QGIS, для которой разработано это расширение (при попытке загрузки в QGIS меньшей версии плагин будет отключен) и другие параметры:

<pre>[general]
name=TestPlugin
description=This plugin is for testing and templating purposes
category=Vector
version=0.0.2
qgisMinimumVersion=2.0

author=NextGIS
email=info@nextgis.org

icon=icons/icon.png

tags=testing,template

homepage=http://gis-lab.info/qa/qgis-dev-python.html
tracker=https://github.com/nextgis/testplugin/issues
repository=https://github.com/nextgis/testplugin

experimental=True
deprecated=False</pre>

=== Разработка ===

Разработка начинается с файла <tt>__init__.py</tt>. Главным фрагментом кода является импорт исполняемой части расширения, содержащейся в файле <tt>plugin.py</tt> (поэтому <tt>from testplugin</tt>) и содержащей всю содержательную часть кода.

<syntaxhighlight lang="python">
def classFactory(iface):
# Import class TestPlugin from file testplugin.py
from testplugin import TestPlugin
return TestPlugin(iface)
</syntaxhighlight>

Название главного импортируемого класса <tt>TestPlugin</tt> должно быть равно названию класса в коде <tt>testplugin.py</tt>, название — регистрозависимое, если вызывается <tt>TestPlugin</tt>, а класс носит название <tt>testplugin</tt>, будет выдано сообщение об ошибке.

Рассмотрим <tt>testplugin.py</tt>.

Как и во всех программах на языке Python, все начинается с импорта необходимых для работы классов, в нашем случае это будут классы PyQt — обертки для Qt на языке Python: PyQt4.QtCore и PyQt4.QtGui, активно используемые QGIS и сами классы QGIS: qgis.core

<syntaxhighlight lang="python">
# -*- coding: utf-8 -*-
from PyQt4.QtCore import *
from PyQt4.QtGui import *
from qgis.core import *
</syntaxhighlight>

Помимо этого нужно также импортировать ресурсы самого расширения, в нашем случае они будут задаваться через <tt>resources.py</tt>, как его создать мы разберем чуть позже.

<syntaxhighlight lang="python">
import resources
</syntaxhighlight>

После импорта идет раздел главного класса, импортируемого в <tt>__init__.py</tt> и содержащего все нужные функции. Необходимо обратить внимание, что название класса должно быть равно названию используемому для его вызова в <tt>__init__.py</tt>. Определение функции начинается с ключевого слова <tt>def</tt>, за которым следует имя функции и ее аргументы.

Объявим наш основной класс и функцию инициализации:

<syntaxhighlight lang="python">
class TestPlugin:

def __init__(self, iface):
"""Initialize class"""
# сохраним ссылку на интерфейс QGIS//save reference to QGIS interface
self.iface = iface
self.qgsVersion = unicode(QGis.QGIS_VERSION_INT)
</syntaxhighlight>

Одна из важнейших функций — создание элементов интерфейса расширения <tt>initGui</tt>. При загрузке расширения к пользовательскому интерфейсу <tt>iface.self</tt> могут добавляться кнопки <tt>addToolBarIcon</tt> или строки в меню «Модули», <tt>addPluginToMenu</tt>. Не забываем документировать функции с помощью тройных кавычек.

<syntaxhighlight lang="python">
import resources
def initGui(self):
"""Инициализируем графический интерфейс пользователя"""
#проверим, не пытаются ли запустить плагин из QGIS версии ниже 2.0//check if the plugin is ran below 2.0
if int(self.qgsVersion) < 10900:
qgisVersion = self.qgsVersion[0] + "." + self.qgsVersion[2] + "." + self.qgsVersion[3]
QMessageBox.warning(self.iface.mainWindow(),
"TestPlugin", "Error",
"TestPlugin", "QGIS %s detected.\n" % (qgisVersion) +
"TestPlugin", "This version of TestPlugin requires at least QGIS version 2.0.\nPlugin will not be enabled.")
return None

# create action that will be run by the plugin//создадим действие, которое будет запускать конфигурацию расширения
self.action = QAction("Test plugin", self.iface.mainWindow())
self.action.setIcon(QIcon(":/icons/icon.png"))
self.action.setWhatsThis("Configuration for test plugin")
self.action.setStatusTip("This is status tip")

# добавим пункт в меню инструментов Vector//add plugin menu to Vector toolbar
self.iface.addPluginToVectorMenu("TestPlugin",self.action)

# добавим кнопку на панель инструментов Vector//add icon to new menu item in Vector toolbar
self.iface.addVectorToolBarIcon(self.action)

# связь действия с функцией run//connect action to the run method
self.action.triggered.connect(self.run)

</syntaxhighlight>

Следующая важная функция расширения описывает то, что происходит при его выгрузке, выключении через Менеджер модулей — <tt>unload(self)</tt>

<syntaxhighlight lang="python">
def unload(self):
"""Действия при выгрузке расширения"""
# удалить меню расширения и иконку//remove menu and icon from the menu
self.iface.removeVectorToolBarIcon(self.action)
self.iface.removePluginVectorMenu("TestPlugin",self.action)
</syntaxhighlight>

И наконец функция выполняющая единственное действие в нашем расширении — <tt>run()</tt>. Функция создаёт строку сообщения и показывает ее в <tt>QMessageBox</tt> в главном окне программы.

<syntaxhighlight lang="python">
def run(self):
"""Действия при запуске расширения"""
# создать и показать сообщение//create a string and show it
infoString = "This is a test"
QMessageBox.information(self.iface.mainWindow(),"About",infoString)
</syntaxhighlight>

=== Какие функции из API доступны через Python ===

К сожалению, не все функции API QGIS доступны через Python (через C++ доступны все). Чтобы определить, доступны ли конкретные классы и функции, необходимо сначала найти их в документации к API GIS [http://doc.qgis.org/ http://doc.qgis.org]. А затем в консоли Python (Модули\Консоль Python) определить с помощью команды <tt>dir</tt> видны ли эти классы и функции из Python.

Например, определим доступные классы:

<syntaxhighlight lang="python">
import qgis.core
dir(qgis.core)
</syntaxhighlight>

Результат:
<pre>
['DEFAULT_LINE_WIDTH', 'DEFAULT_POINT_SIZE', 'DEFAULT_SEGMENT_EPSILON', 'ELLPS_PREFIX_LEN', 'GEOCRS_ID', 'GEOPROJ4', 'GEOSRID', 'GEOWKT', 'GEO_EPSG_CRS_AUTHID', 'GEO_EPSG_CRS_ID', 'GEO_NONE', 'LAT_PREFIX_LEN', 'MINIMUM_POINT_SIZE', 'NULL', 'PROJECT_SCALES', 'PROJ_PREFIX_LEN', 'QGis', 'QgsAbstractCacheIndex', 'QgsAbstractFeatureIterator', 'QgsAction', 'QgsAddRemoveItemCommand', 'QgsAddRemoveMultiFrameCommand', 'QgsApplication', 'QgsAtlasComposition', 'QgsAttributeAction', 'QgsAttributeEditorContainer', 'QgsAttributeEditorElement', 'QgsAttributeEditorField', 'QgsBilinearRasterResampler', 'QgsBrightnessContrastFilter', 'QgsBrowserModel', 'QgsCRSCache', 'QgsCacheIndexFeatureId', 'QgsCachedFeatureIterator', 'QgsCachedFeatureWriterIterator', 'QgsCategorizedSymbolRendererV2', 'QgsCentroidFillSymbolLayerV2', 'QgsClipToMinMaxEnhancement', 'QgsClipper', 'QgsColorBrewerPalette', 'QgsColorRampShader', 'QgsComposerArrow', 'QgsComposerAttributeTable', 'QgsComposerAttributeTableCompare', 'QgsComposerEffect', 'QgsComposerFrame', 'QgsComposerGroupItem', 'QgsComposerHtml', 'QgsComposerItem', 'QgsComposerItemCommand', 'QgsComposerItemGroup', 'QgsComposerLabel', 'QgsComposerLayerItem', 'QgsComposerLegend', 'QgsComposerLegendItem', 'QgsComposerLegendStyle', 'QgsComposerMap', 'QgsComposerMergeCommand', 'QgsComposerMultiFrame', 'QgsComposerMultiFrameCommand', 'QgsComposerPicture', 'QgsComposerRasterSymbolItem', 'QgsComposerScaleBar', 'QgsComposerShape', 'QgsComposerSymbolV2Item', 'QgsComposerTable', 'QgsComposerTextTable', 'QgsComposition', 'QgsContextHelp', 'QgsContrastEnhancement', 'QgsContrastEnhancementFunction', 'QgsCoordinateReferenceSystem', 'QgsCoordinateTransform', 'QgsCoordinateTransformCache', 'QgsCptCityArchive', 'QgsCptCityBrowserModel', 'QgsCptCityCollectionItem', 'QgsCptCityColorRampItem', 'QgsCptCityColorRampV2', 'QgsCptCityDataItem', 'QgsCptCityDirectoryItem', 'QgsCptCitySelectionItem', 'QgsCredentials', 'QgsCredentialsConsole', 'QgsCsException', 'QgsCubicRasterResampler', 'QgsDataCollectionItem', 'QgsDataDefined', 'QgsDataItem', 'QgsDataProvider', 'QgsDataSourceURI', 'QgsDbFilterProxyModel', 'QgsDiagram', 'QgsDiagramInterpolationSettings', 'QgsDiagramLayerSettings', 'QgsDiagramRendererV2', 'QgsDiagramSettings', 'QgsDirectoryItem', 'QgsDirectoryParamWidget', 'QgsDistanceArea', 'QgsDoubleBoxScaleBarStyle', 'QgsEllipseSymbolLayerV2', 'QgsError', 'QgsErrorItem', 'QgsErrorMessage', 'QgsException', 'QgsExpression', 'QgsFavouritesItem', 'QgsFeature', 'QgsFeatureIterator', 'QgsFeatureRendererV2', 'QgsFeatureRequest', 'QgsFeatureStore', 'QgsField', 'QgsFields', 'QgsFillSymbolLayerV2', 'QgsFillSymbolV2', 'QgsFontMarkerSymbolLayerV2', 'QgsFontUtils', 'QgsGPSConnection', 'QgsGPSConnectionRegistry', 'QgsGPSDetector', 'QgsGPSInformation', 'QgsGeometry', 'QgsGeometryCache', 'QgsGeometryValidator', 'QgsGml', 'QgsGmlFeatureClass', 'QgsGmlSchema', 'QgsGpsdConnection', 'QgsGradientStop', 'QgsGraduatedSymbolRendererV2', 'QgsHistogramDiagram', 'QgsHttpTransaction', 'QgsHueSaturationFilter', 'QgsImageFillSymbolLayer', 'QgsLabel', 'QgsLabelAttributes', 'QgsLabelCandidate', 'QgsLabelComponent', 'QgsLabelPosition', 'QgsLabelSearchTree', 'QgsLabelingEngineInterface', 'QgsLayerItem', 'QgsLegendModel', 'QgsLinePatternFillSymbolLayer', 'QgsLineSymbolLayerV2', 'QgsLineSymbolV2', 'QgsLinearMinMaxEnhancement', 'QgsLinearMinMaxEnhancementWithClip', 'QgsLinearlyInterpolatedDiagramRenderer', 'QgsLogger', 'QgsMapLayer', 'QgsMapLayerRegistry', 'QgsMapRenderer', 'QgsMapToPixel', 'QgsMarkerLineSymbolLayerV2', 'QgsMarkerSymbolLayerV2', 'QgsMarkerSymbolV2', 'QgsMessageLog', 'QgsMessageLogConsole', 'QgsMessageOutput', 'QgsMessageOutputConsole', 'QgsMimeDataUtils', 'QgsMultiBandColorRenderer', 'QgsNMEAConnection', 'QgsNetworkAccessManager', 'QgsNumericScaleBarStyle', 'QgsOWSConnection', 'QgsOfflineEditing', 'QgsOgcUtils', 'QgsPaintEngineHack', 'QgsPalLabeling', 'QgsPalLayerSettings', 'QgsPalettedRasterRenderer', 'QgsPaperItem', 'QgsPieDiagram', 'QgsPluginLayer', 'QgsPluginLayerRegistry', 'QgsPluginLayerType', 'QgsPoint', 'QgsPointDisplacementRenderer', 'QgsPointPatternFillSymbolLayer', 'QgsProject', 'QgsProjectBadLayerDefaultHandler', 'QgsProjectBadLayerHandler', 'QgsProjectFileTransform', 'QgsProjectVersion', 'QgsProperty', 'QgsPropertyKey', 'QgsPropertyValue', 'QgsProviderCountCalcEvent', 'QgsProviderExtentCalcEvent', 'QgsProviderMetadata', 'QgsProviderRegistry', 'QgsPseudoColorShader', 'QgsPythonRunner', 'QgsRaster', 'QgsRasterBandStats', 'QgsRasterBlock', 'QgsRasterChecker', 'QgsRasterDataProvider', 'QgsRasterDrawer', 'QgsRasterFileWriter', 'QgsRasterHistogram', 'QgsRasterIdentifyResult', 'QgsRasterInterface', 'QgsRasterIterator', 'QgsRasterLayer', 'QgsRasterNuller', 'QgsRasterPipe', 'QgsRasterProjector', 'QgsRasterPyramid', 'QgsRasterRange', 'QgsRasterRenderer', 'QgsRasterResampleFilter', 'QgsRasterResampler', 'QgsRasterShader', 'QgsRasterShaderFunction', 'QgsRasterTransparency', 'QgsRasterViewPort', 'QgsRectangle', 'QgsRenderChecker', 'QgsRenderContext', 'QgsRendererCategoryV2', 'QgsRendererRangeV2', 'QgsRendererV2AbstractMetadata', 'QgsRendererV2Metadata', 'QgsRendererV2Registry', 'QgsRuleBasedRendererV2', 'QgsRunProcess', 'QgsSVGFillSymbolLayer', 'QgsSatelliteInfo', 'QgsScaleBarStyle', 'QgsScaleCalculator', 'QgsScaleUtils', 'QgsSimpleFillSymbolLayerV2', 'QgsSimpleLineSymbolLayerV2', 'QgsSimpleMarkerSymbolLayerV2', 'QgsSingleBandColorDataRenderer', 'QgsSingleBandGrayRenderer', 'QgsSingleBandPseudoColorRenderer', 'QgsSingleBoxScaleBarStyle', 'QgsSingleCategoryDiagramRenderer', 'QgsSingleSymbolRendererV2', 'QgsSnapper', 'QgsSnappingResult', 'QgsSpatialIndex', 'QgsStyleV2', 'QgsSvgCache', 'QgsSvgCacheEntry', 'QgsSvgMarkerSymbolLayerV2', 'QgsSymbolLayerV2', 'QgsSymbolLayerV2AbstractMetadata', 'QgsSymbolLayerV2Metadata', 'QgsSymbolLayerV2Registry', 'QgsSymbolLayerV2Utils', 'QgsSymbolV2', 'QgsSymbolV2LevelItem', 'QgsSymbolV2RenderContext', 'QgsSymbologyV2Conversion', 'QgsTextDiagram', 'QgsTicksScaleBarStyle', 'QgsTolerance', 'QgsVectorColorBrewerColorRampV2', 'QgsVectorColorRampV2', 'QgsVectorDataProvider', 'QgsVectorFieldSymbolLayer', 'QgsVectorFileWriter', 'QgsVectorGradientColorRampV2', 'QgsVectorJoinInfo', 'QgsVectorLayer', 'QgsVectorLayerCache', 'QgsVectorLayerEditBuffer', 'QgsVectorLayerEditUtils', 'QgsVectorLayerFeatureIterator', 'QgsVectorLayerImport', 'QgsVectorLayerJoinBuffer', 'QgsVectorRandomColorRampV2', 'QgsZipItem', 'USER_CRS_START_ID', '__doc__', '__file__', '__name__', '__package__']
</pre>

Далее, после выбора нужного класса, например QgsFeature, посмотрим его методы:

<syntaxhighlight lang="python">
dir(qgis.core.QgsFeature)
</syntaxhighlight>

Результат:

<pre>
['__class__', '__delattr__', '__delitem__', '__dict__', '__doc__', '__format__', '__getattribute__', '__getitem__', '__hash__', '__init__', '__iter__', '__module__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__setitem__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', 'attribute', 'attributes', 'deleteAttribute', 'fieldNameIndex', 'fields', 'geometry', 'geometryAndOwnership', 'id', 'initAttributes', 'isValid', 'setAttribute', 'setAttributes', 'setFeatureId', 'setFields', 'setGeometry', 'setGeometryAndOwnership', 'setValid']
</pre>

=== Ресурсы ===

Для разработки расширения понадобится создать специальный файл, который будет содержать указатели на используемые расширением ресурсы, такие как например иконки. Пример такого файла:

<syntaxhighlight lang="xml">
<RCC>
<qresource prefix="" >
<file>icons/icon.png</file>
</qresource>
</RCC>
</syntaxhighlight>

Рекомендуется использовать уникальный qresource prefix, который не будет конфликтовать с другими расширениями.

После создания этого файла, необходимо его скомпилировать с помощью <tt>pyrcc4</tt> в формат, который можно импортировать с помощью Python:

<pre>
pyrcc4 -o resources.py resources.qrc
</pre>

И как уже упоминалось выше, импортировать получившиеся ресурсы в основном коде <tt>testplugin.py</tt>.

=== Заключение ===

Разработка каркаса нашего расширения завершена. Если она велась в папке расширений, то после запуска QGIS расширение должно автоматически появиться в списке расширений и можно начать его тестирование, отладку и, конечно, наполнение нужными полезными функциями.

Помните, что лучшим пособием по разработке для QGIS являются расширения созданные другими авторами.

=== Ссылки по теме ===

* [http://gis-lab.info/qa/qgis-standalone.html Создание приложения на базе набора библиотек QGIS на Python]
* [http://gis-lab.info/qa/qgis-repo.html Организация и работа с репозиториями расширений QGIS]
* [http://gis-lab.info/qa/qgis-install-plugin.html Установка модулей расширения в QGIS]
* [http://gis-lab.info/docs/qgis Документация по QGIS]

ReconstructLine - восстановление линий по точкам в QGIS

2015-05-12T03:58:15Z

KolesovDmitry: /* Случай линии с ответвлениями */

{{Статья|Опубликована|reconstruct_line}}
{{Аннотация|Описание инструмента для создания линий по точкам в QGIS}}

[http://plugins.qgis.org/plugins/reconstruct_line/ ReconstructLine] - это инструмент для интерактивного создания линейных объектов по точечным.

Вы наверняка сталкивались с инструментом, объединяющим точки в линии. Все такие инструменты работают либо последовательно, т.е. точки объединяются в линии так, как они идут в таблице, либо про атрибутам. Теперь представьте, что вам не важен порядок записей в таблице и атрибутивная информация отсутствует или бесполезна, но что вам все равно нужно объединить точки в линию.

Расширение ReconstructLine умеет восстанавливать линии по точкам, используя '''только''' их пространственное расположение. Расширение может работать в двух режимах, "восстанавливая" единую линию или несколько линий. Поскольку восстановление - это сложный алгоритм, ReconstructLine работает только интерактивно. Процесс восстановления может занять значительное время, если точек много.

ReconstructLine плохо подходит для облаков точек.

Реальный пример применения - у вас есть несколько треков снятых в разное время, возможно разными людьми и представляющих один и тот же линейный объект. Их все необходимо объединить в единый объект. Подобная задача часто возникает при съемке протяженных объектов - линий электропередач, трубопроводов и т.п.

{{NextGIS}}

=== Замечания по установке ===

Расширение доступно из [http://plugins.qgis.org/plugins/reconstruct_line/ официального репозитория].

ReconstructLine находится в разработке и протестирован с QGIS 2.6 и выше. Расширение работает в Windows и Linux (Ubuntu).

Исходный код модуля доступен в ([https://github.com/nextgis/ReconstructLine репозитории] на Github).

=== Алгоритм ===
Модуль предназначен для работы с двумя типами расположения точек:
* Точки образуют единственную линию.
* Точки образуют несколько пересекающихся линий (основная линия и короткие боковые ответвления).
Для каждого из этих случаев точки обрабатываются отдельным алгоритмом. Пользователь может выбрать тот или иной алгоритм, нажав на соответсвующую точку на панели инструментов.

==== Случай одной линии ====

При разработке модуля принималось во внимание то, что точки можно соединить между собой "логичным" образом, если они образуют "видимую глазами" кривую линию. В этом случае задачу можно сформулировать следующим образом:

* Дан набор точек <math>T_1, T_2, \dots T_n</math>.
* Дана метрика <math>d(T_i, T_j)</math> -- функция, которая измеряет расстояния между произвольной парой точек. Тогда потенциальной восстановленной кривой (т.е. последовательности точек <math>(T_{i_1}, T_{i_2}, ..., T_{i_n})</math>) можно поставить в соответствие её длину, равную сумме растояний между парами точек, составляющих восстановленную кривую: <math>L = d(T_{i_1}, T_{i_2}) + d(T_{i_2}, T_{i_3}) + \dots + d(T_{i_{n-1}}, T_{i_n})</math>.
* Требуется найти среди всех комбинаций <math>(T_{i_1}, T_{i_2}, ..., T_{i_n})</math> такую комбинацию, для которой ее длина L будет минимальной.

Нужно заметить, что требование того, что восстановленная кривая должна иметь минимальную длину из всех возможных комбинаций точек -- чисто эвристическое допущение, которое, тем не менее, хорошо согласуется с реальным положением дел. (Чтобы убедиться в этом достаточно нарисовать кривую, измерить ее длину, затем "перепутать" в ней пару или несколько пар точек и измерить длину новой кривой).

Приведенная выше формулировка задачи представляет собой хорошо известную задачу поиска Гамильтонова пути. Также хорошо известно, что эта задача уже при небольшом числе точек не может быть решена "в лоб" простым перебором вариантов, поскольку их число взрыовобразно растет. Так, например, для пяти точек будет всего 60 (т.е. 5!/2) возможных комбинаций, для десяти точек -- уже почти два миллиона, а, например, для тридцати -- количество комбинаций описывется числом, состоящим из 34-х цифр.

Поэтому алгоритмы построения Гамильтонова пути, используемые на практике, представляют собой субоптимальные алгоритмы, которые позволяют найти хорошее решение за приемлемое время, но не гарантируют того, что оно будет лучшим из всех возможных. В данном модуле в качестве основного алгорима использовались [https://ru.wikipedia.org/wiki/%D0%A1%D0%B0%D0%BC%D0%BE%D0%BE%D1%80%D0%B3%D0%B0%D0%BD%D0%B8%D0%B7%D1%83%D1%8E%D1%89%D0%B0%D1%8F%D1%81%D1%8F_%D0%BA%D0%B0%D1%80%D1%82%D0%B0_%D0%9A%D0%BE%D1%85%D0%BE%D0%BD%D0%B5%D0%BD%D0%B0 самоорганизующиеся карты Кохонена]. Поскольку перед нами стоит задача восстановления линии, то и архитектура сети была выбрана линейной. Обученная сеть упорядочивает точки и в целом обеспечивает неплохой результат работы. Но в некоторых случаях "неудачного" расположения входных точек с одним узлом сети оказываются связаны несколько точек, их упорядоченность может оказаться нарушенной. Для того, чтобы отследить подобные случаи, в модуле используется постобработка: в упорядоченном картой Кохонена наборе точек производятся попарные перестановки соседних точек и измеряется совокупная длина линии. В итоге линия наименьшей длины возвращается в качестве результата алгоритма.

==== Случай линии с ответвлениями ====
Бывает так, что точки образуют основную (длинную) линию, от которой отходят короткие боковые ходы. В этом случае предположение о том, что конечная линия должна представлять собой линию минимальной длины (Гамильтонов путь) не верно. Зато данный случах хорошо "ложится" на [https://ru.wikipedia.org/wiki/%D0%9C%D0%B8%D0%BD%D0%B8%D0%BC%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5_%D0%BE%D1%81%D1%82%D0%BE%D0%B2%D0%BD%D0%BE%D0%B5_%D0%B4%D0%B5%D1%80%D0%B5%D0%B2%D0%BE задачу о нахождении минимального остовного дерева].

В плагине реализуется классический [https://ru.wikipedia.org/wiki/%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9F%D1%80%D0%B8%D0%BC%D0%B0 алгоритм Прима], предназначенный для решения этой задачи. В отличие от предыдущего случая, строится не одна итоговая линия, а множество сегментов между соседними точками. В случае необходимости объединить сегменты в одну линию, пользователь может воспользоваться стандартным иструментом QGIS объединения геометрий.

=== Работа с расширением ===

=== Режим одной линии ===

После установки расширения появится новая панель инструментов с двумя кнопками: "копировать точки" и "вставить линию".

[[Файл:Reconstructline-05.png|center]]

Предположим, что исходный набор точек выглядит следующим образом (обратите внимание на нумерацию, она отражает последовательность точек в таблице):

[[Файл:Reconstructline-02.png|center|thumb|600px|Исходные точки]]

Что будет, если просто соединить их в линию (например с помощью расширения Points2One):

[[Файл:Reconstructline-03.png|center|thumb|600px|Последовательное объединение точек в линию]]

Для объединения с помощью ReconstructLine:

1. Инструментом выделения выделите нужные точки, нажмите на кнопку "Копировать точки" в панели инструментов ReconstructLine

2. Вставьте линию в линейный слой (если слоя нет - создайте новый или добавьте существующий). Выберите слой в списке слоёв, начните редактирование и нажмите на кнопку "Вставить линию" в панели инструментов ReconstructLine

Результат должен выглядеть более логично:

[[Файл:Reconstructline-04.png|center|thumb|600px|Объединение точек в линию с помощью ReconstructLine]]

=== Режим восстановления нескольких линий ===

Используя инструмент "вставить линии" можно попытаться реконструировать несколько линий в исходных данных. Особенностью работы данного алгоритма является то, что создается не одна, а много линий, по количеству сегментов соединяющих точки.

Для примера рассмотрим следующий набор данных:

[[Файл:Reconstructline-06.png|center|thumb|600px|Точки и реальные линейная сеть их объединяющая (проверочные данные)]]

Используя алгоритм восстановления линий можно достичь следующего результата:

[[Файл:Reconstructline-07.png|center|thumb|600px|То же, что и выше, но красным цветом показана сеть восстановленная по точкам]]

Как можно видеть, автоматический алгоритм лишь в нескольких местах (синие фрагменты) не смог восстановить ожидаемую сеть.

=== Контакты ===

Если вы нашли ошибку или у вас есть предложения по улучшению расширения — воспользуйтесь [https://github.com/nextgis/ReconstructLine/issues багтрекером]. Кроме того, вопросы по использованию расширения можно задать авторам [http://nextgis.ru/contact/ напрямую].

=== Ссылки по теме ===

* [http://gis-lab.info/qa/qgis-install-plugin.html Установка модулей расширения в QGIS]
* [http://gis-lab.info/docs/qgis/ Документация по QGIS]

ReconstructLine - восстановление линий по точкам в QGIS

2015-05-12T03:52:48Z

KolesovDmitry: /* Алгоритм */

{{Статья|Опубликована|reconstruct_line}}
{{Аннотация|Описание инструмента для создания линий по точкам в QGIS}}

[http://plugins.qgis.org/plugins/reconstruct_line/ ReconstructLine] - это инструмент для интерактивного создания линейных объектов по точечным.

Вы наверняка сталкивались с инструментом, объединяющим точки в линии. Все такие инструменты работают либо последовательно, т.е. точки объединяются в линии так, как они идут в таблице, либо про атрибутам. Теперь представьте, что вам не важен порядок записей в таблице и атрибутивная информация отсутствует или бесполезна, но что вам все равно нужно объединить точки в линию.

Расширение ReconstructLine умеет восстанавливать линии по точкам, используя '''только''' их пространственное расположение. Расширение может работать в двух режимах, "восстанавливая" единую линию или несколько линий. Поскольку восстановление - это сложный алгоритм, ReconstructLine работает только интерактивно. Процесс восстановления может занять значительное время, если точек много.

ReconstructLine плохо подходит для облаков точек.

Реальный пример применения - у вас есть несколько треков снятых в разное время, возможно разными людьми и представляющих один и тот же линейный объект. Их все необходимо объединить в единый объект. Подобная задача часто возникает при съемке протяженных объектов - линий электропередач, трубопроводов и т.п.

{{NextGIS}}

=== Замечания по установке ===

Расширение доступно из [http://plugins.qgis.org/plugins/reconstruct_line/ официального репозитория].

ReconstructLine находится в разработке и протестирован с QGIS 2.6 и выше. Расширение работает в Windows и Linux (Ubuntu).

Исходный код модуля доступен в ([https://github.com/nextgis/ReconstructLine репозитории] на Github).

=== Алгоритм ===
Модуль предназначен для работы с двумя типами расположения точек:
* Точки образуют единственную линию.
* Точки образуют несколько пересекающихся линий (основная линия и короткие боковые ответвления).
Для каждого из этих случаев точки обрабатываются отдельным алгоритмом. Пользователь может выбрать тот или иной алгоритм, нажав на соответсвующую точку на панели инструментов.

==== Случай одной линии ====

При разработке модуля принималось во внимание то, что точки можно соединить между собой "логичным" образом, если они образуют "видимую глазами" кривую линию. В этом случае задачу можно сформулировать следующим образом:

* Дан набор точек <math>T_1, T_2, \dots T_n</math>.
* Дана метрика <math>d(T_i, T_j)</math> -- функция, которая измеряет расстояния между произвольной парой точек. Тогда потенциальной восстановленной кривой (т.е. последовательности точек <math>(T_{i_1}, T_{i_2}, ..., T_{i_n})</math>) можно поставить в соответствие её длину, равную сумме растояний между парами точек, составляющих восстановленную кривую: <math>L = d(T_{i_1}, T_{i_2}) + d(T_{i_2}, T_{i_3}) + \dots + d(T_{i_{n-1}}, T_{i_n})</math>.
* Требуется найти среди всех комбинаций <math>(T_{i_1}, T_{i_2}, ..., T_{i_n})</math> такую комбинацию, для которой ее длина L будет минимальной.

Нужно заметить, что требование того, что восстановленная кривая должна иметь минимальную длину из всех возможных комбинаций точек -- чисто эвристическое допущение, которое, тем не менее, хорошо согласуется с реальным положением дел. (Чтобы убедиться в этом достаточно нарисовать кривую, измерить ее длину, затем "перепутать" в ней пару или несколько пар точек и измерить длину новой кривой).

Приведенная выше формулировка задачи представляет собой хорошо известную задачу поиска Гамильтонова пути. Также хорошо известно, что эта задача уже при небольшом числе точек не может быть решена "в лоб" простым перебором вариантов, поскольку их число взрыовобразно растет. Так, например, для пяти точек будет всего 60 (т.е. 5!/2) возможных комбинаций, для десяти точек -- уже почти два миллиона, а, например, для тридцати -- количество комбинаций описывется числом, состоящим из 34-х цифр.

Поэтому алгоритмы построения Гамильтонова пути, используемые на практике, представляют собой субоптимальные алгоритмы, которые позволяют найти хорошее решение за приемлемое время, но не гарантируют того, что оно будет лучшим из всех возможных. В данном модуле в качестве основного алгорима использовались [https://ru.wikipedia.org/wiki/%D0%A1%D0%B0%D0%BC%D0%BE%D0%BE%D1%80%D0%B3%D0%B0%D0%BD%D0%B8%D0%B7%D1%83%D1%8E%D1%89%D0%B0%D1%8F%D1%81%D1%8F_%D0%BA%D0%B0%D1%80%D1%82%D0%B0_%D0%9A%D0%BE%D1%85%D0%BE%D0%BD%D0%B5%D0%BD%D0%B0 самоорганизующиеся карты Кохонена]. Поскольку перед нами стоит задача восстановления линии, то и архитектура сети была выбрана линейной. Обученная сеть упорядочивает точки и в целом обеспечивает неплохой результат работы. Но в некоторых случаях "неудачного" расположения входных точек с одним узлом сети оказываются связаны несколько точек, их упорядоченность может оказаться нарушенной. Для того, чтобы отследить подобные случаи, в модуле используется постобработка: в упорядоченном картой Кохонена наборе точек производятся попарные перестановки соседних точек и измеряется совокупная длина линии. В итоге линия наименьшей длины возвращается в качестве результата алгоритма.

==== Случай линии с ответвлениями ====
Бывает так, что точки образуют основную (длинную) линию, от которой отходят короткие боковые ходы. В этом случае предположение о том, что конечная линия должна представлять собой линию минимальной длины (Гамильтонов путь) не верно. Зато данный случах хорошо "ложится" на задачу о нахождении минимального остовного дерева.

=== Работа с расширением ===

=== Режим одной линии ===

После установки расширения появится новая панель инструментов с двумя кнопками: "копировать точки" и "вставить линию".

[[Файл:Reconstructline-05.png|center]]

Предположим, что исходный набор точек выглядит следующим образом (обратите внимание на нумерацию, она отражает последовательность точек в таблице):

[[Файл:Reconstructline-02.png|center|thumb|600px|Исходные точки]]

Что будет, если просто соединить их в линию (например с помощью расширения Points2One):

[[Файл:Reconstructline-03.png|center|thumb|600px|Последовательное объединение точек в линию]]

Для объединения с помощью ReconstructLine:

1. Инструментом выделения выделите нужные точки, нажмите на кнопку "Копировать точки" в панели инструментов ReconstructLine

2. Вставьте линию в линейный слой (если слоя нет - создайте новый или добавьте существующий). Выберите слой в списке слоёв, начните редактирование и нажмите на кнопку "Вставить линию" в панели инструментов ReconstructLine

Результат должен выглядеть более логично:

[[Файл:Reconstructline-04.png|center|thumb|600px|Объединение точек в линию с помощью ReconstructLine]]

=== Режим восстановления нескольких линий ===

Используя инструмент "вставить линии" можно попытаться реконструировать несколько линий в исходных данных. Особенностью работы данного алгоритма является то, что создается не одна, а много линий, по количеству сегментов соединяющих точки.

Для примера рассмотрим следующий набор данных:

[[Файл:Reconstructline-06.png|center|thumb|600px|Точки и реальные линейная сеть их объединяющая (проверочные данные)]]

Используя алгоритм восстановления линий можно достичь следующего результата:

[[Файл:Reconstructline-07.png|center|thumb|600px|То же, что и выше, но красным цветом показана сеть восстановленная по точкам]]

Как можно видеть, автоматический алгоритм лишь в нескольких местах (синие фрагменты) не смог восстановить ожидаемую сеть.

=== Контакты ===

Если вы нашли ошибку или у вас есть предложения по улучшению расширения — воспользуйтесь [https://github.com/nextgis/ReconstructLine/issues багтрекером]. Кроме того, вопросы по использованию расширения можно задать авторам [http://nextgis.ru/contact/ напрямую].

=== Ссылки по теме ===

* [http://gis-lab.info/qa/qgis-install-plugin.html Установка модулей расширения в QGIS]
* [http://gis-lab.info/docs/qgis/ Документация по QGIS]

ReconstructLine - восстановление линий по точкам в QGIS

2015-04-28T09:14:37Z

KolesovDmitry: /* Контакты */

{{Статья|Черновик|reconstructline}}
{{Аннотация|Описание инструмента для создания линейных объектов в QGIS.}}

[http://plugins.qgis.org/plugins/reconstruct_line/ ReconstructLine] - это инструмент для интерактивного создания линейных объектов по точечным.

Вы наверняка сталкивались с инструментом, объединяющим точки в линии. Все такие инструменты работают либо последовательно, т.е. точки объединяются в линии так, как они идут в таблице, либо про атрибутам. Теперь представьте, что вам не важен порядок записей в таблице и атрибутивная информация отсутствует или бесполезна, но что вам все равно нужно объединить точки в линию.

Расширение ReconstructLine умеет восстанавливать линии по точкам, используя '''только''' их пространственное расположение, "восстанавливая" линию. Поскольку восстановление - это сложный алгоритм, ReconstructLine работает только интерактивно. Процесс восстановления может занять значительное время, если точек много.

ReconstructLine плохо подходит для облаков точек.

{{NextGIS}}

=== Замечания по установке ===

Расширение доступно из [http://plugins.qgis.org/plugins/reconstruct_line/ официального репозитория].

ReconstructLine находится в разработке и протестирован с QGIS 2.6 и выше. Расширение работает в Windows и Linux (Ubuntu).

Исходный код модуля доступен в ([https://github.com/nextgis/ReconstructLine репозитории] на Github).

=== Алгоритм ===
При разработке модуля принималось во внимание то, что точки можно соединить между собой "логичным" образом, если они образуют "видимую глазами" кривую линию. В этом случае задачу можно сформулировать следующим образом:

* Дан набор точек <math>T_1, T_2, \dots T_n</math>.
* Дана метрика <math>d(T_i, T_j)</math> -- функция, которая измеряет расстояния между произвольной парой точек. Тогда потенциальной восстановленной кривой (т.е. последовательности точек <math>(T_{i_1}, T_{i_2}, ..., T_{i_n})</math>) можно поставить в соответствие её длину, равную сумме растояний между парами точек, составляющих восстановленную кривую: <math>L = d(T_{i_1}, T_{i_2}) + d(T_{i_2}, T_{i_3}) + \dots + d(T_{i_{n-1}}, T_{i_n})</math>.
* Требуется найти среди всех комбинаций <math>(T_{i_1}, T_{i_2}, ..., T_{i_n})</math> такую комбинацию, для которой ее длина L будет минимальной.

Нужно заметить, что требование того, что восстановленная кривая должна иметь минимальную длину из всех возможных комбинаций точек -- чисто эвристическое допущение, которое, тем не менее, хорошо согласуется с реальным положением дел. (Чтобы убедиться в этом достаточно нарисовать кривую, измерить ее длину, затем "перепутать" в ней пару или несколько пар точек и измерить длину новой кривой).

Приведенная выше формулировка задачи представляет собой хорошо известную задачу поиска Гамильтонова пути. Также хорошо известно, что эта задача уже при небольшом числе точек не может быть решена "в лоб" простым перебором вариантов, поскольку их число взрыовобразно растет. Так, например, для пяти точек будет всего 60 (т.е. 5!/2) возможных комбинаций, для десяти точек -- уже почти два миллиона, а, например, для тридцати -- количество комбинаций описывется числом, состоящим из 34-х цифр.

Поэтому алгоритмы построения Гамильтонова пути, используемые на практике, представляют собой субоптимальные алгоритмы, которые позволяют найти хорошее решение за приемлемое время, но не гарантируют того, что оно будет лучшим из всех возможных. В данном модуле в качестве основного алгорима использовались [https://ru.wikipedia.org/wiki/%D0%A1%D0%B0%D0%BC%D0%BE%D0%BE%D1%80%D0%B3%D0%B0%D0%BD%D0%B8%D0%B7%D1%83%D1%8E%D1%89%D0%B0%D1%8F%D1%81%D1%8F_%D0%BA%D0%B0%D1%80%D1%82%D0%B0_%D0%9A%D0%BE%D1%85%D0%BE%D0%BD%D0%B5%D0%BD%D0%B0 самоорганизующиеся карты Кохонена]. Поскольку перед нами стоит задача восстановления линии, то и архитектура сети была выбрана линейной. Обученная сеть упорядочивает точки и в целом обеспечивает неплохой результат работы. Но в некоторых случаях "неудачного" расположения входных точек с одним узлом сети оказываются связаны несколько точек, их упорядоченность может оказаться нарушенной. Для того, чтобы отследить подобные случаи, в модуле используется постобработка: в упорядоченном картой Кохонена наборе точек производятся попарные перестановки соседних точек и измеряется совокупная длина линии. В итоге линия наименьшей длины возвращается в качестве результата алгоритма.

=== Работа с расширением ===

После установки расширения появится новая панель инструментов с двумя кнопками: "копировать точки" и "вставить линию".

[[Файл:Reconstructline-01.png|center]]

Предположим, что исходный набор точек выглядит следующим образом (обратите внимание на нумерацию, она отражает последовательность точек в таблице):

[[Файл:Reconstructline-02.png|center|thumb|600px|Исходные точки]]

Что будет, если просто соединить их в линию (например с помощью расширения Points2One):

[[Файл:Reconstructline-03.png|center|thumb|600px|Последовательное объединение точек в линию]]

Для объединения с помощью ReconstructLine:

1. Инструментом выделения выделите нужные точки, нажмите на кнопку "копировать точки" в панели инструментов ReconstructLine

2. Вставьте линию в существующий или новый линейный слой, нажмите на кнопку "вставить линию" в панели инструментов ReconstructLine

Результат должен выглядеть более логично:

[[Файл:Reconstructline-04.png|center|thumb|600px|Объединение точек в линию с помощью ReconstructLine]]

=== Контакты ===

Если вы нашли ошибку или у вас есть предложения по улучшению расширения — воспользуйтесь [https://github.com/nextgis/ReconstructLine/issues багтрекером]. Кроме того, вопросы по использованию расширения можно задать авторам [http://nextgis.ru/contact/ напрямую].

=== Ссылки по теме ===

* [http://gis-lab.info/qa/qgis-install-plugin.html Установка модулей расширения в QGIS]
* [http://gis-lab.info/docs/qgis/ Документация по QGIS]

ReconstructLine - восстановление линий по точкам в QGIS

2015-04-28T07:53:45Z

KolesovDmitry: /* Алгоритм */

{{Статья|Черновик|reconstructline}}
{{Аннотация|Описание инструмента для создания линейных объектов в QGIS.}}

[http://plugins.qgis.org/plugins/reconstruct_line/ ReconstructLine] - это инструмент для интерактивного создания линейных объектов по точечным.

Вы наверняка сталкивались с инструментом объединяющим точки в линии. Все такие инструменты работают либо последовательно, т.е. точки объединяются в линии так, как они идут в таблице, либо про атрибутам. Теперь представьте, что вам не важен порядок записей в таблице и атрибутивная информация отсутствует или бесполезна, что вам все равно нужно объединить точки в линию.

Расширение ReconstructLine умеет восстанавливать линии по точкам используя '''только''' их пространственное расположение, "восстанавливая" линию. Поскольку восстановление это сложный алгоритм, ReconstructLine работает только интерактивно. Процесс восстановления может занять значительное время, если точек много.

ReconstructLine плохо подходит для облаков точек.

{{NextGIS}}

=== Замечания по установке ===

Расширение доступно из [http://plugins.qgis.org/plugins/reconstruct_line/ официального репозитория].

ReconstructLine находится в разработке и протестирован с QGIS 2.6 и выше. Расширение работает в Windows и Linux (Ubuntu).

Исходный код модуля доступен в ([https://github.com/nextgis/ReconstructLine репозитории] на Github).

=== Алгоритм ===
При разработке модуля принималось во внимание то, что точки можно соединить между собой "логичным" образом, если они образуют "видимую глазами" кривую линию. В этом случае задачу можно сформулировать следующим образом:

* Дан набор точек <math>T_1, T_2, \dots T_n</math>.
* Дана метрика <math>d(T_i, T_j)</math> -- функция, которая измеряет расстояния между произвольной парой точек. Тогда потенциальной восстановленной кривой (т.е. последовательности точек <math>(T_{i_1}, T_{i_2}, ..., T_{i_n})</math>) можно поставить в соответствие её длину, равную сумме растояний между парами точек, составляющих восстановленную кривую: <math>L = d(T_{i_1}, T_{i_2}) + d(T_{i_2}, T_{i_3}) + \dots + d(T_{i_{n-1}}, T_{i_n})</math>.
* Требуется найти среди всех комбинаций <math>(T_{i_1}, T_{i_2}, ..., T_{i_n})</math> такую комбинацию, для которой ее длина L будет минимальной.

Нужно заметить, что требование того, что восстановленная кривая должна иметь минимальную длину из всех возможных комбинаций точек -- чисто эвристическое допущение, которое, тем не менее, хорошо согласуется с реальным положением дел. (Чтобы убедиться в этом достаточно нарисовать кривую, измерить ее длину, затем "перепутать" в ней пару или несколько пар точек и измерить длину новой кривой).

Приведенная выше формулировка задачи представляет собой хорошо известную задачу поиска Гамильтонова пути. Также хорошо известно, что эта задача уже при небольшом числе точек не может быть решена "в лоб" простым перебором вариантов, поскольку их число взрыовобразно растет. Так, например, для пяти точек будет всего 60 (т.е. 5!/2) возможных комбинаций, для десяти точек -- уже почти два миллиона, а, например, для тридцати -- количество комбинаций описывется числом, состоящим из 34-х цифр.

Поэтому алгоритмы построения Гамильтонова пути, используемые на практике, представляют собой субоптимальные алгоритмы, которые позволяют найти хорошее решение за приемлемое время, но не гарантируют того, что оно будет лучшим из всех возможных. В данном модуле в качестве основного алгорима использовались [https://ru.wikipedia.org/wiki/%D0%A1%D0%B0%D0%BC%D0%BE%D0%BE%D1%80%D0%B3%D0%B0%D0%BD%D0%B8%D0%B7%D1%83%D1%8E%D1%89%D0%B0%D1%8F%D1%81%D1%8F_%D0%BA%D0%B0%D1%80%D1%82%D0%B0_%D0%9A%D0%BE%D1%85%D0%BE%D0%BD%D0%B5%D0%BD%D0%B0 самоорганизующиеся карты Кохонена]. Поскольку перед нами стоит задача восстановления линии, то и архитектура сети была выбрана линейной. Обученная сеть упорядочивает точки, и в целом обеспечивает неплохой результат работы. Но в некоторых случаях "неудачного" расположения входных точек с одним узлом сети оказываются связаны несколько точек, их упорядоченность может оказаться нарушенной. Для того, чтобы отследить подобные случаи, в модуле используется постобработка: в упорядоченном картой Кохонена наборе точек производятся попарные перестановки соседних точек и измеряется совокупная длина линии. В итоге линия наименьшей длины возвращается в качестве результата алгоритма.

=== Работа с расширением ===

После установки расширения появится новая панель инструментов с двумя кнопками: "копировать точки" и "вставить линию".

[[Файл:Reconstructline-01.png|center]]

Предположим, что исходный набор точек выглядит следующим образом (обратите внимание на нумерацию, она отражает последовательность точек в таблице):

[[Файл:Reconstructline-02.png|center|thumb|600px|Исходные точки]]

Что будет, если просто соединить их в линию (например с помощью расширения Points2One):

[[Файл:Reconstructline-03.png|center|thumb|600px|Последовательное объединение точек в линию]]

Для объединения с помощью ReconstructLine:

1. Инструментом выделения выделите нужные точки, нажмите на кнопку "копировать точки" в панели инструментов ReconstructLine

2. Вставьте линию в существующий или новый линейный слой, нажмите на кнопку "вставить линию" в панели инструментов ReconstructLine

Результат должен выглядеть более логично:

[[Файл:Reconstructline-04.png|center|thumb|600px|Объединение точек в линию с помощью ReconstructLine]]

=== Контакты ===

Если вы нашли ошибку или у вас есть предложения по улучшению расширения — воспользуйтесь [https://github.com/nextgis/shortcut_manager/issues багтрекером]. Кроме того, вопросы по использованию расширения можно задать авторам [http://nextgis.ru/contact/ напрямую].

=== Ссылки по теме ===

* [http://gis-lab.info/qa/qgis-install-plugin.html Установка модулей расширения в QGIS]
* [http://gis-lab.info/docs/qgis/ Документация по QGIS]

ReconstructLine - восстановление линий по точкам в QGIS

2015-04-28T07:17:35Z

KolesovDmitry: /* Алгоритм */

{{Статья|Черновик|reconstructline}}
{{Аннотация|Описание инструмента для создания линейных объектов в QGIS.}}

[http://plugins.qgis.org/plugins/reconstruct_line/ ReconstructLine] - это инструмент для интерактивного создания линейных объектов по точечным.

Вы наверняка сталкивались с инструментом объединяющим точки в линии. Все такие инструменты работают либо последовательно, т.е. точки объединяются в линии так, как они идут в таблице, либо про атрибутам. Теперь представьте, что вам не важен порядок записей в таблице и атрибутивная информация отсутствует или бесполезна, что вам все равно нужно объединить точки в линию.

Расширение ReconstructLine умеет восстанавливать линии по точкам используя '''только''' их пространственное расположение, "восстанавливая" линию. Поскольку восстановление это сложный алгоритм, ReconstructLine работает только интерактивно. Процесс восстановления может занять значительное время, если точек много.

ReconstructLine плохо подходит для облаков точек.

{{NextGIS}}

=== Замечания по установке ===

Расширение доступно из [http://plugins.qgis.org/plugins/reconstruct_line/ официального репозитория].

ReconstructLine находится в разработке и протестирован с QGIS 2.6 и выше. Расширение работает в Windows и Linux (Ubuntu).

Исходный код модуля доступен в ([https://github.com/nextgis/ReconstructLine репозитории] на Github).

=== Алгоритм ===
При разработке модуля принималось во внимание то, что точки можно соединить между собой "логичным" образом, если они образуют "видимую глазами" кривую линию. В этом случае задачу можно сформулировать следующим образом:

* Дан набор точек <math>T_1, T_2, \dots T_n</math>.
* Дана метрика <math>d(T_i, T_j)</math> -- функция, которая измеряет расстояния между произвольной парой точек. Тогда потенциальной восстановленной кривой (т.е. последовательности точек <math>(T_{i_1}, T_{i_2}, ..., T_{i_n})</math>) можно поставить в соответствие её длину, равную сумме растояний между парами точек, составляющих восстановленную кривую: <math>L = d(T_{i_1}, T_{i_2}) + d(T_{i_2}, T_{i_3}) + \dots + d(T_{i_{n-1}}, T_{i_n})</math>.
* Требуется найти среди всех комбинаций <math>(T_{i_1}, T_{i_2}, ..., T_{i_n})</math> такую комбинацию, для которой ее длина L будет минимальной.

Нужно заметить, что требование того, что восстановленная кривая должна иметь минимальную длину из всех возможных комбинаций точек -- чисто эвристическое допущение, которое, тем не менее, хорошо согласуется с реальным положением дел. (Чтобы убедиться в этом достаточно нарисовать кривую, измерить ее длину, затем "перепутать" в ней пару или несколько пар точек и измерить длину новой кривой).

Приведенная выше формулировка задачи представляет собой хорошо известную задачи поиска Гамильтонова пути. Также хорошо известно, что эта задача уже при небольшом числе точек не может быть решена "в лоб" простым перебором вариантов поскольку их число взрыовобразно растет. Так, например, для пяти точек будет всего 60 (т.е. 5!/2) возможных комбинаций, для десяти точек -- уже почти два миллиона, а, например, для тридцати -- количество комбинаций описывется числом, состоящим из 34-х цифр.

Поэтому алгоритмы построения Гамильтонова пути, используемые на практике, представляют собой субоптимальные алгоритмы, которые позволяют найти хорошее решение за приемлемое время, но не гарантируют того, что оно будет лучшим из всех возможных. В данном модуле в качестве основного алгорима использовались [https://ru.wikipedia.org/wiki/%D0%A1%D0%B0%D0%BC%D0%BE%D0%BE%D1%80%D0%B3%D0%B0%D0%BD%D0%B8%D0%B7%D1%83%D1%8E%D1%89%D0%B0%D1%8F%D1%81%D1%8F_%D0%BA%D0%B0%D1%80%D1%82%D0%B0_%D0%9A%D0%BE%D1%85%D0%BE%D0%BD%D0%B5%D0%BD%D0%B0 самоорганизующиеся карты Кохонена]. Поскольку перед нами стоит задача восстановления линии, то и архитектура сети была выбрана линейной. Обученная сеть упорядочивает точки, и в целом обеспечивает неплохой результат работы. Но в некоторых случаях "неудачного" расположения входных точек с одним узлом сети оказываются связаны несколько точек, их упорядоченность может оказаться нарушенной. Для того, чтобы отследить подобные случаи, в модуле используется постобработка: в упорядоченном картой Кохонена наборе точек производятся попарные перестановки соседних точек и измеряется совокупная длина линии. В итоге линия наименьшей длины возвращается в качестве результата алгоритма.

=== Работа с расширением ===

После установки расширения появится новая панель инструментов с двумя кнопками: "копировать точки" и "вставить линию".

[[Файл:Reconstructline-01.png|center]]

Предположим, что исходный набор точек выглядит следующим образом (обратите внимание на нумерацию, она отражает последовательность точек в таблице):

[[Файл:Reconstructline-02.png|center|thumb|600px|Исходные точки]]

Что будет, если просто соединить их в линию (например с помощью расширения Points2One):

[[Файл:Reconstructline-03.png|center|thumb|600px|Последовательное объединение точек в линию]]

Для объединения с помощью ReconstructLine:

1. Инструментом выделения выделите нужные точки, нажмите на кнопку "копировать точки" в панели инструментов ReconstructLine

2. Вставьте линию в существующий или новый линейный слой, нажмите на кнопку "вставить линию" в панели инструментов ReconstructLine

Результат должен выглядеть более логично:

[[Файл:Reconstructline-04.png|center|thumb|600px|Объединение точек в линию с помощью ReconstructLine]]

=== Контакты ===

Если вы нашли ошибку или у вас есть предложения по улучшению расширения — воспользуйтесь [https://github.com/nextgis/shortcut_manager/issues багтрекером]. Кроме того, вопросы по использованию расширения можно задать авторам [http://nextgis.ru/contact/ напрямую].

=== Ссылки по теме ===

* [http://gis-lab.info/qa/qgis-install-plugin.html Установка модулей расширения в QGIS]
* [http://gis-lab.info/docs/qgis/ Документация по QGIS]

ReconstructLine - восстановление линий по точкам в QGIS

2015-04-28T07:14:57Z

KolesovDmitry: /* Алгоритм */

{{Статья|Черновик|reconstructline}}
{{Аннотация|Описание инструмента для создания линейных объектов в QGIS.}}

[http://plugins.qgis.org/plugins/reconstruct_line/ ReconstructLine] - это инструмент для интерактивного создания линейных объектов по точечным.

Вы наверняка сталкивались с инструментом объединяющим точки в линии. Все такие инструменты работают либо последовательно, т.е. точки объединяются в линии так, как они идут в таблице, либо про атрибутам. Теперь представьте, что вам не важен порядок записей в таблице и атрибутивная информация отсутствует или бесполезна, что вам все равно нужно объединить точки в линию.

Расширение ReconstructLine умеет восстанавливать линии по точкам используя '''только''' их пространственное расположение, "восстанавливая" линию. Поскольку восстановление это сложный алгоритм, ReconstructLine работает только интерактивно. Процесс восстановления может занять значительное время, если точек много.

ReconstructLine плохо подходит для облаков точек.

{{NextGIS}}

=== Замечания по установке ===

Расширение доступно из [http://plugins.qgis.org/plugins/reconstruct_line/ официального репозитория].

ReconstructLine находится в разработке и протестирован с QGIS 2.6 и выше. Расширение работает в Windows и Linux (Ubuntu).

Исходный код модуля доступен в ([https://github.com/nextgis/ReconstructLine репозитории] на Github).

=== Алгоритм ===
При разработке модуля принималось во внимание то, что точки можно соединить между собой "логичным" образом, если они образуют "видимую глазами" кривую линию. В этом случае задачу можно сформулировать следующим образом:

* Дан набор точек <math>T_1, T_2, \dots T_n</math>.
* Дана метрика <math>d(T_i, T_j)</math> -- функция, которая измеряет расстояния между произвольной парой точек. Тогда потенциальной восстановленной кривой (т.е. последовательности точек <math>(T_{i_1}, T_{i_2}, ..., T_{i_n})</math>) можно поставить в соответствие её длину, равную сумме растояний между парами точек, составляющих восстановленную кривую: <math>L = d(T_{i_1}, T_{i_2}) + d(T_{i_2}, T_{i_3}) + \dots + d(T_{i_{n-1}}, T_{i_n})</math>.
* Требуется найти среди всех комбинаций <math>(T_{i_1}, T_{i_2}, ..., T_{i_n})</math> такую комбинацию, для которой ее длина L будет минимальной.

Нужно заметить, что требование того, что восстановленная кривая должна иметь минимальную длину из всех возможных комбинаций точек -- чисто эвристическое допущение, которое, тем не менее, хорошо согласуется с реальным положением дел. (Чтобы убедиться в этом достаточно нарисовать кривую, измерить ее длину, затем "перепутать" в ней пару или несколько пар точек и измерить длину новой кривой).

Приведенная выше формулировка задачи представляет собой по сути хорошо известную задачи поиска Гамильтонова пути. Также хорошо известно, что эта задача уже при небольшом числе точек не может быть решена "в лоб" простым перебором вариантов поскольку их число взрыовобразно растет. Так, например, для пяти точке будет всего 60 (5!/2) возможных комбинаций, для десяти точек -- уже почти два миллиона, а для тридцати - количество комбинаций описывется числом, состоящим из 34-х цифр.

Поэтому алгоритмы построения Гамильтонова пути, используемые на практике, представляют собой субоптимальные алгоритмы, которые позволяют найти хорошее решение за приемлемое время, но не гарантируют того, что оно будет лучшим из всех возможных. В данном плагине в качестве основного алгорима использовались [https://ru.wikipedia.org/wiki/%D0%A1%D0%B0%D0%BC%D0%BE%D0%BE%D1%80%D0%B3%D0%B0%D0%BD%D0%B8%D0%B7%D1%83%D1%8E%D1%89%D0%B0%D1%8F%D1%81%D1%8F_%D0%BA%D0%B0%D1%80%D1%82%D0%B0_%D0%9A%D0%BE%D1%85%D0%BE%D0%BD%D0%B5%D0%BD%D0%B0 самоорганизующиеся карты Кохонена]. Поскольку перед нами стоит задача восстановления линии, то и архитектура сети была выбрана линейной. Обученная сеть упорядочивает точки, и в целом обеспечивает неплохой результат работы. Но в некоторых случаях "неудачного" расположения входных точек с одним узлом сети оказываются связаны несколько точек, их упорядоченность может оказаться нарушенной. Для того, чтобы отследить подобные случаи в модуле используется постобработка: в упорядоченном картой Кохонена наборе точек производятся попарные перестановки соседних точек и измеряется совокупная длина линии. В итоге линия наименьшей длины возвращается в качестве результата алгоритма.

=== Работа с расширением ===

После установки расширения появится новая панель инструментов с двумя кнопками: "копировать точки" и "вставить линию".

[[Файл:Reconstructline-01.png|center]]

Предположим, что исходный набор точек выглядит следующим образом (обратите внимание на нумерацию, она отражает последовательность точек в таблице):

[[Файл:Reconstructline-02.png|center|thumb|600px|Исходные точки]]

Что будет, если просто соединить их в линию (например с помощью расширения Points2One):

[[Файл:Reconstructline-03.png|center|thumb|600px|Последовательное объединение точек в линию]]

Для объединения с помощью ReconstructLine:

1. Инструментом выделения выделите нужные точки, нажмите на кнопку "копировать точки" в панели инструментов ReconstructLine

2. Вставьте линию в существующий или новый линейный слой, нажмите на кнопку "вставить линию" в панели инструментов ReconstructLine

Результат должен выглядеть более логично:

[[Файл:Reconstructline-04.png|center|thumb|600px|Объединение точек в линию с помощью ReconstructLine]]

=== Контакты ===

Если вы нашли ошибку или у вас есть предложения по улучшению расширения — воспользуйтесь [https://github.com/nextgis/shortcut_manager/issues багтрекером]. Кроме того, вопросы по использованию расширения можно задать авторам [http://nextgis.ru/contact/ напрямую].

=== Ссылки по теме ===

* [http://gis-lab.info/qa/qgis-install-plugin.html Установка модулей расширения в QGIS]
* [http://gis-lab.info/docs/qgis/ Документация по QGIS]

ReconstructLine - восстановление линий по точкам в QGIS

2015-04-28T07:04:34Z

KolesovDmitry: /* Алгоритм */

{{Статья|Черновик|reconstructline}}
{{Аннотация|Описание инструмента для создания линейных объектов в QGIS.}}

[http://plugins.qgis.org/plugins/reconstruct_line/ ReconstructLine] - это инструмент для интерактивного создания линейных объектов по точечным.

Вы наверняка сталкивались с инструментом объединяющим точки в линии. Все такие инструменты работают либо последовательно, т.е. точки объединяются в линии так, как они идут в таблице, либо про атрибутам. Теперь представьте, что вам не важен порядок записей в таблице и атрибутивная информация отсутствует или бесполезна, что вам все равно нужно объединить точки в линию.

Расширение ReconstructLine умеет восстанавливать линии по точкам используя '''только''' их пространственное расположение, "восстанавливая" линию. Поскольку восстановление это сложный алгоритм, ReconstructLine работает только интерактивно. Процесс восстановления может занять значительное время, если точек много.

ReconstructLine плохо подходит для облаков точек.

{{NextGIS}}

=== Замечания по установке ===

Расширение доступно из [http://plugins.qgis.org/plugins/reconstruct_line/ официального репозитория].

ReconstructLine находится в разработке и протестирован с QGIS 2.6 и выше. Расширение работает в Windows и Linux (Ubuntu).

Исходный код модуля доступен в ([https://github.com/nextgis/ReconstructLine репозитории] на Github).

=== Алгоритм ===
При разработке модуля принималось во внимание то, что точки можно соединить между собой "логичным" образом, если они образуют "видимую глазами" кривую линию. В этом случае задачу можно сформулировать следующим образом:

* Дан набор точек <math>T_1, T_2, \dots T_n</math>.
* Дана метрика <math>d(T_i, T_j)</math> -- функция, которая измеряет расстояния между произвольной парой точек. Тогда потенциальной восстановленной кривой (т.е. последовательности точек <math>(T_{i_1}, T_{i_2}, ..., T_{i_n})</math>) можно поставить в соответствие её длину, равную сумме растояний между парами точек, составляющих восстановленную кривую: <math>L = d(T_{i_1}, T_{i_2}) + d(T_{i_2}, T_{i_3}) + \dots + d(T_{i_{n-1}}, T_{i_n})</math>.
* Требуется найти среди всех комбинаций <math>(T_{i_1}, T_{i_2}, ..., T_{i_n})</math> такую комбинацию, для которой ее длина L будет минимальной.

Требование того, что восстановленная кривая должна иметь минимальную длину из всех возможных комбинаций -- чисто эвристическое допущение, которое, тем не менее, хорошо согласуется с реальным положением дел. (Чтобы убедиться в этом достаточно нарисовать кривую, измерить ее длину, затем "перепутать" в ней пару или несколько пар точек и измерить длину новой кривой).

Приведенная выше формулировка задачи представляет собой по сути хорошо известную задачи поиска Гамильтонова пути. Также хорошо известно, что эта задача уже при небольшом числе точек не может быть решена "в лоб" простым перебором вариантов поскольку их число взрыовобразно растет. Так, например, для пяти точке будет всего 60 (5!/2) возможных комбинаций, для десяти точек -- уже почти два миллиона, а для тридцати - количество комбинаций описывется числом, состоящим из 34-х цифр.

Поэтому алгоритмы построения Гамильтонова пути, используемые на практике, все представляют собой субоптимальные алгоритмы, которые позволяют найти хорошее решение за приемлемое время, но не гарантируют того, что оно будет лучшим из всех возможных. В данном плагине в качестве основного алгорима использовались [https://ru.wikipedia.org/wiki/%D0%A1%D0%B0%D0%BC%D0%BE%D0%BE%D1%80%D0%B3%D0%B0%D0%BD%D0%B8%D0%B7%D1%83%D1%8E%D1%89%D0%B0%D1%8F%D1%81%D1%8F_%D0%BA%D0%B0%D1%80%D1%82%D0%B0_%D0%9A%D0%BE%D1%85%D0%BE%D0%BD%D0%B5%D0%BD%D0%B0 самоорганизующиеся карты Кохонена].

=== Работа с расширением ===

После установки расширения появится новая панель инструментов с двумя кнопками: "копировать точки" и "вставить линию".

[[Файл:Reconstructline-01.png|center]]

Предположим, что исходный набор точек выглядит следующим образом (обратите внимание на нумерацию, она отражает последовательность точек в таблице):

[[Файл:Reconstructline-02.png|center|thumb|600px|Исходные точки]]

Что будет, если просто соединить их в линию (например с помощью расширения Points2One):

[[Файл:Reconstructline-03.png|center|thumb|600px|Последовательное объединение точек в линию]]

Для объединения с помощью ReconstructLine:

1. Инструментом выделения выделите нужные точки, нажмите на кнопку "копировать точки" в панели инструментов ReconstructLine

2. Вставьте линию в существующий или новый линейный слой, нажмите на кнопку "вставить линию" в панели инструментов ReconstructLine

Результат должен выглядеть более логично:

[[Файл:Reconstructline-04.png|center|thumb|600px|Объединение точек в линию с помощью ReconstructLine]]

=== Контакты ===

Если вы нашли ошибку или у вас есть предложения по улучшению расширения — воспользуйтесь [https://github.com/nextgis/shortcut_manager/issues багтрекером]. Кроме того, вопросы по использованию расширения можно задать авторам [http://nextgis.ru/contact/ напрямую].

=== Ссылки по теме ===

* [http://gis-lab.info/qa/qgis-install-plugin.html Установка модулей расширения в QGIS]
* [http://gis-lab.info/docs/qgis/ Документация по QGIS]

ReconstructLine - восстановление линий по точкам в QGIS

2015-04-28T07:00:12Z

KolesovDmitry: /* Алгоритм */

{{Статья|Черновик|reconstructline}}
{{Аннотация|Описание инструмента для создания линейных объектов в QGIS.}}

[http://plugins.qgis.org/plugins/reconstruct_line/ ReconstructLine] - это инструмент для интерактивного создания линейных объектов по точечным.

Вы наверняка сталкивались с инструментом объединяющим точки в линии. Все такие инструменты работают либо последовательно, т.е. точки объединяются в линии так, как они идут в таблице, либо про атрибутам. Теперь представьте, что вам не важен порядок записей в таблице и атрибутивная информация отсутствует или бесполезна, что вам все равно нужно объединить точки в линию.

Расширение ReconstructLine умеет восстанавливать линии по точкам используя '''только''' их пространственное расположение, "восстанавливая" линию. Поскольку восстановление это сложный алгоритм, ReconstructLine работает только интерактивно. Процесс восстановления может занять значительное время, если точек много.

ReconstructLine плохо подходит для облаков точек.

{{NextGIS}}

=== Замечания по установке ===

Расширение доступно из [http://plugins.qgis.org/plugins/reconstruct_line/ официального репозитория].

ReconstructLine находится в разработке и протестирован с QGIS 2.6 и выше. Расширение работает в Windows и Linux (Ubuntu).

Исходный код модуля доступен в ([https://github.com/nextgis/ReconstructLine репозитории] на Github).

=== Алгоритм ===
При разработке модуля принималось во внимание то, что точки можно соединить между собой "логичным" образом, если они образуют "видимую глазами" кривую линию. В этом случае задачу можно сформулировать следующим образом:

* Дан набор точек T1, T2, ... Tn.
* Дана метрика d(Ti, Tj) -- функция, которая измеряет расстояния между произвольной парой точек. Тогда потенциальной восстановленной кривой (т.е. последовательности точек (Ti1, Ti2, ..., Tin)) можно поставить в соответствие её длину, равную сумме растояний между парами точек, составляющих восстановленную кривую: L = d(Ti1, Ti2) + d(Ti2, Ti3) + .... + d(Tin-1, Tin).
* Требуется найти среди всех комбинаций (Ti1, Ti2, ..., Tin) такую комбинацию, для которой ее длина L будет минимальной.

Требование того, что восстановленная кривая должна иметь минимальную длину из всех возможных комбинаций -- чисто эвристическое допущение, которое, тем не менее, хорошо согласуется с реальным положением дел. (Чтобы убедиться в этом достаточно нарисовать кривую, измерить ее длину, затем "перепутать" в ней пару или несколько пар точек и измерить длину новой кривой).

Приведенная выше формулировка задачи представляет собой по сути хорошо известную задачи поиска Гамильтонова пути. Также хорошо известно, что эта задача уже при небольшом числе точек не может быть решена "в лоб" простым перебором вариантов поскольку их число взрыовобразно растет. Так, например, для пяти точке будет всего 60 (5!/2) возможных комбинаций, для десяти точек -- уже почти два миллиона, а для тридцати - количество комбинаций описывется числом, состоящим из 34-х цифр.

Поэтому алгоритмы построения Гамильтонова пути, используемые на практике, все представляют собой субоптимальные алгоритмы, которые позволяют найти хорошее решение за приемлемое время, но не гарантируют того, что оно будет лучшим из всех возможных. В данном плагине в качестве основного алгорима использовались [https://ru.wikipedia.org/wiki/%D0%A1%D0%B0%D0%BC%D0%BE%D0%BE%D1%80%D0%B3%D0%B0%D0%BD%D0%B8%D0%B7%D1%83%D1%8E%D1%89%D0%B0%D1%8F%D1%81%D1%8F_%D0%BA%D0%B0%D1%80%D1%82%D0%B0_%D0%9A%D0%BE%D1%85%D0%BE%D0%BD%D0%B5%D0%BD%D0%B0 самоорганизующиеся карты Кохонена]. Использованию карт Кохонена для решения данной задачи посвещается достаточно обширная литература

=== Работа с расширением ===

После установки расширения появится новая панель инструментов с двумя кнопками: "копировать точки" и "вставить линию".

[[Файл:Reconstructline-01.png|center]]

Предположим, что исходный набор точек выглядит следующим образом (обратите внимание на нумерацию, она отражает последовательность точек в таблице):

[[Файл:Reconstructline-02.png|center|thumb|600px|Исходные точки]]

Что будет, если просто соединить их в линию (например с помощью расширения Points2One):

[[Файл:Reconstructline-03.png|center|thumb|600px|Последовательное объединение точек в линию]]

Для объединения с помощью ReconstructLine:

1. Инструментом выделения выделите нужные точки, нажмите на кнопку "копировать точки" в панели инструментов ReconstructLine

2. Вставьте линию в существующий или новый линейный слой, нажмите на кнопку "вставить линию" в панели инструментов ReconstructLine

Результат должен выглядеть более логично:

[[Файл:Reconstructline-04.png|center|thumb|600px|Объединение точек в линию с помощью ReconstructLine]]

=== Контакты ===

Если вы нашли ошибку или у вас есть предложения по улучшению расширения — воспользуйтесь [https://github.com/nextgis/shortcut_manager/issues багтрекером]. Кроме того, вопросы по использованию расширения можно задать авторам [http://nextgis.ru/contact/ напрямую].

=== Ссылки по теме ===

* [http://gis-lab.info/qa/qgis-install-plugin.html Установка модулей расширения в QGIS]
* [http://gis-lab.info/docs/qgis/ Документация по QGIS]

ReconstructLine - восстановление линий по точкам в QGIS

2015-04-28T05:08:15Z

KolesovDmitry: /* Алгоритм */

{{Статья|Черновик|reconstructline}}
{{Аннотация|Описание инструмента для создания линейных объектов в QGIS.}}

[http://plugins.qgis.org/plugins/reconstruct_line/ ReconstructLine] - это инструмент для интерактивного создания линейных объектов по точечным.

Вы наверняка сталкивались с инструментом объединяющим точки в линии. Все такие инструменты работают либо последовательно, т.е. точки объединяются в линии так, как они идут в таблице, либо про атрибутам. Теперь представьте, что вам не важен порядок записей в таблице и атрибутивная информация отсутствует или бесполезна, что вам все равно нужно объединить точки в линию.

Расширение ReconstructLine умеет восстанавливать линии по точкам используя '''только''' их пространственное расположение, "восстанавливая" линию. Поскольку восстановление это сложный алгоритм, ReconstructLine работает только интерактивно. Процесс восстановления может занять значительное время, если точек много.

ReconstructLine плохо подходит для облаков точек.

{{NextGIS}}

=== Замечания по установке ===

Расширение доступно из [http://plugins.qgis.org/plugins/reconstruct_line/ официального репозитория].

ReconstructLine находится в разработке и протестирован с QGIS 2.6 и выше. Расширение работает в Windows и Linux (Ubuntu).

Исходный код модуля доступен в ([https://github.com/nextgis/ReconstructLine репозитории] на Github).

=== Алгоритм ===
При разработке модуля принималось во внимание то, что точки можно соединить между собой "логичным" образом, если они образуют "видимую глазами" кривую линию. В этом случае задачу можно сформулировать следующим образом:

* Дан набор точек T1, T2, ... Tn.
* Дана метрика d(Ti, Tj) -- функция, которая измеряет расстояния между произвольной парой точек. Тогда потенциальной восстановленной кривой (т.е. последовательности точек (Ti1, Ti2, ..., Tin)) можно поставить в соответствие её длину, равную сумме растояний между парами точек, составляющих восстановленную кривую: L = d(Ti1, Ti2) + d(Ti2, Ti3) + .... + d(Tin-1, Tin).
* Требуется найти среди всех комбинаций (Ti1, Ti2, ..., Tin) такую комбинацию, для которой ее длина L будет минимальной.

Требование того, что восстановленная кривая должна иметь минимальную длину из всех возможных комбинаций -- чисто эвристическое допущение, которое, тем не менее, хорошо согласуется с реальным положением дел. (Чтобы убедиться в этом достаточно нарисовать кривую, измерить ее длину, затем "перепутать" в ней пару или несколько пар точек и измерить длину новой кривой).

Приведенная выше формулировка задачи представляет собой по сути хорошо известную задачи поиска Гамильтонова пути. Также хорошо известно, что эта задача уже при небольшом числе точек не может быть решена "в лоб" простым перебором вариантов поскольку их число взрыовобразно растет. Так, например, для пяти точке будет всего 60 (5!/2) возможных комбинаций, для десяти уже почти два миллиона, а для двадцати точек количество комбинаций описывется числом с 19-ю нулями.

=== Работа с расширением ===

После установки расширения появится новая панель инструментов с двумя кнопками: "копировать точки" и "вставить линию".

[[Файл:Reconstructline-01.png|center]]

Предположим, что исходный набор точек выглядит следующим образом (обратите внимание на нумерацию, она отражает последовательность точек в таблице):

[[Файл:Reconstructline-02.png|center|thumb|600px|Исходные точки]]

Что будет, если просто соединить их в линию (например с помощью расширения Points2One):

[[Файл:Reconstructline-03.png|center|thumb|600px|Последовательное объединение точек в линию]]

Для объединения с помощью ReconstructLine:

1. Инструментом выделения выделите нужные точки, нажмите на кнопку "копировать точки" в панели инструментов ReconstructLine

2. Вставьте линию в существующий или новый линейный слой, нажмите на кнопку "вставить линию" в панели инструментов ReconstructLine

Результат должен выглядеть более логично:

[[Файл:Reconstructline-04.png|center|thumb|600px|Объединение точек в линию с помощью ReconstructLine]]

=== Контакты ===

Если вы нашли ошибку или у вас есть предложения по улучшению расширения — воспользуйтесь [https://github.com/nextgis/shortcut_manager/issues багтрекером]. Кроме того, вопросы по использованию расширения можно задать авторам [http://nextgis.ru/contact/ напрямую].

=== Ссылки по теме ===

* [http://gis-lab.info/qa/qgis-install-plugin.html Установка модулей расширения в QGIS]
* [http://gis-lab.info/docs/qgis/ Документация по QGIS]

ReconstructLine - восстановление линий по точкам в QGIS

2015-04-28T04:58:56Z

KolesovDmitry: /* Алгоритм */

MOLUSCE - анализ изменений ландшафтного покрова

2014-11-26T06:15:00Z

KolesovDmitry: /* Замечания по установке */

{{Статья|Черновик|molusce-intro-ru}}
{{NextGIS}}
Разработано NextGIS по заказу и в сотрудничестве с [http://www.asiaairsurvey.com/ Asia Air Survey], Япония.

= Модуль анализа изменения ландшафтного покрова (MOLUSCE) =
MOLUSCE, акроним от Modules for Land Use Change Simulations, представляет собой расширение (plug-in) для геоинформационной системы QGIS, предназначенное для анализа динамики состояния территорий.

== Замечания по установке ==

Расширение доступно из [http://plugins.qgis.org/plugins/plugins.xml официального репозитория].

MOLUSCE разработан для QGIS версии 2.0.0 и старше. Для работы требует установленного пакета scipy. В случае, если пакет scipy отсутствует в системе, работа с модулем возможна, но построение моделей на базе логистической регрессии будет недоступно.

Расширение доступно для установки из менеджера плагинов QGIS или со [http://plugins.qgis.org/plugins/molusce/ страницы расширения на plugins.qgis.org].

Исходный код модуля можно получить через [https://github.com/nextgis/molusce репозиторий на GitHub] или выполнив команду

<pre>git clone git@github.com:nextgis/molusce.git</pre>

== Задача ==
Предположим, что имеется серия карт/дешифрированных снимков/... за различные периоды времени, на которых отображено текущее состояние территории. Исследователь, анализирующий динамику состояния территории, сталкивается со следующими вопросами:
* ''Какие'' изменения произошли и ''где'' они произошли?
* ''Какие'' факторы связаны с изменениями и ''как сильно'' они связаны?
* ''Какие'' изменения ожидаются в будущем и ''где'' именно?
Если ответ на первый вопрос можно получить путем визуальной оценки карт, но для ответа на последующие вопросы исследователь должен выдвигать те или иные гипотезы, проверять их адекватность, выводить следствия из гипотез и смотреть, насколько они согласуются с действительностью.

MOLUSCE представляет собой собой расширение, предназначенное для частичной автоматизации данного процесса.

== Упрощенная схема работы расширения ==

На рисунке представлена упрощенная схема работы расширения.

[[Файл:ModelWorkflows.png|700px|Упрощенная схема работы расширения]]

В качестве входных данных расширению требутся:
* Карты начальных и конечных состояний территории. Это растровые изображения, в пикселях которых закодированы номера состояний территории (например, 1=лес, 2=поле, 3=городская застройка и т.п.). Расширению требуется как минимум две такие карты -- одна для исходного состояния (Начальная_дата), вторая для конечного состояния (Начальная_дата+N). Однако, для оценки качества построенной модели прогноза рекомендуется использование еще третьей карты (Начальная_дата + 2N), с которой будет сравниваться прогнозное значение. Здесь число N -- глубина прогноза, которая измеряется в зависимости от задачи в днях, неделях, месяцах, годах и т.д.
* Карты факторов, влияющих на изменение территории. Исследователь строит гипотезы о том, какие факторы могли повлиять на наблюдаемые изменения, и предоставляет расширению карты интенсивностей данных факторов. Например, если исследователь работает над проблемой изчезновения лесов, такими факторами могут быть: карта почв (каждый тип почвы закодирован своим числом), карта расстояний от дорог (пиксели карты содержат число -- кратчайшее расстояние от точки, связанной с данным пикселем, до дороги), карта плотности населения и т.п.

Процесс анализа происходит в несколько этапов:

# Поиск изменений.
# Построение модели для оценки вклада отдельных факторов на вероятность появления изменений.
# Построение карты значимости вклада фактора.
# Построение интегральной карты вклада всех факторов.
# Прогноз.
# Оценка качества модели/прогноза.

Данная схема является обобщенной. Например, некоторые методы моделирования (нейронные сети, логистическая регрессия) объединяют пункты 2-4 в один этап, другие же методы (метод многокритериальной оценки, метод значимости признака), наоборот, требуют выделения их в отдельные этапы.

Ниже приводится описание каждого из этапов.

=== Поиск изменений ===
На данном этапе используются карты начальных и конечных состояний, на основе которых производится поиск мест, в которых произошли изменения и количественная оценка размера территорий, подвегнувшихся изменениям.

Выходными значениями данного этапа будут:
* Карта изменений.
* Матрица переходов: матрица вероятностей того, что взятый наугдад пиксель будет подвергнут тому или иному изменению (отдельно по каждому типу изменений, например, лес->поле, поле->городская застройка, поле->лес и т.п.).

=== Построение модели для оценки вклада отдельных факторов на вероятность появления изменений ===
На данном этапе пользователь указывает какую модель он хочет использовать для оценки значимости факторов. Входными данными для этого шага являются карта изменений и список факторов, предположительно влияющих на вероятность возникновения изменений. Выходными значениями являются веса факторов определенные моделью.

В расширении заложена возможность использования следующих моделей:
* Нейронные сети ([http://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D0%B1%D1%80%D0%B0%D1%82%D0%BD%D0%BE%D0%B3%D0%BE_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%BE%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B8 многослойный перцептрон, обучающийся методом обратного распространения ошибки]).
* [http://ru.wikipedia.org/wiki/%D0%9B%D0%BE%D0%B3%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F Логистическая регрессия].
* Метод весомости признака ([http://www.ige.unicamp.br/wofe/documentation/wofeintr.htm Weights of Evidence]).
* Метод многокритериальной оценки, основанный на методе [http://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0_%D0%B8%D0%B5%D1%80%D0%B0%D1%80%D1%85%D0%B8%D0%B9 анализа иерархий Саати].
Все методы широко известны и активно используются в ГИС, поэтому ссылки даются в основном на энциклопедические источники.

В результате настройки модели каждый фактор получает тот или иной вес в зависимости от его вклада вероятность появления изменений. Вес может быть как положительным (тесная связь между фактором и возможностью появления изменений), так и отрицательным (обратная связь -- если фактор присутствует, то изменения маловероятны).

=== Построение карты влияния фактора ===
Входными данными для этого шага являются веса и карты интенсивности факторов. Выходным значением будет карта влияния факторов.

Суть данного этапа заключается в том, что исходная карта интенсивности фактора умножается на его вес, в итоге получается карта вклада фактора. Например, если на некотором участке интенсивность фактора близка к нулю, то и влияние фактора будет невелико независимо от его веса. И наоборот, если интенсивность фактора была высокая, то в его влияние будет значительным (положительным или отрицательным в зависимости от знака веса фактора).

=== Построение интегральной карты вкладов ===
Взвешенные карты вкладов, построенные на предыдущем этапе, суммируются между собой, в итоге получается интегральная карта, учитывающая все факторы. Чем больше интегральная величина на каком-либо участке карты, тем более вероятно, что на этом участке произойдут изменения.

=== Прогноз ===
Входными данными являются интегральная карта и вероятности переходов, а выходным параметром является карта-прогноз изменений.

На данном этапе анализируется карта вкладов, полученная на предыдущем шаге: на карте ищутся места наиболее вероятных изменений и с учетом вероятности перехода одного класса в другой производится трансформация типа пикселя.

=== Оценка качества модели/прогноза ===
Последний этап состоит в сравнении карты-прогноза с известной картой состояния территории. Пользователь может рассчитать различные каппа-статистики, расчитать карту ошибок а также визуализировать график, основанный на методе [http://www.econgeography.org/~rpontius/pontius_suedmeyer_2004_rsgisaa.pdf Error Budget].

== Интерфейс пользователя ==
Интерфейс расширения представляет собой окно с несколькими вкладками. Пользователь последовательно заполняет необходимые поля и перемещается от вкладки к вкладке. При необходимости изменить что-либо пользователь может вернуться на предыдущие вкладки и ввести новые данные.

=== Ввод начальных данных ===
[[Файл:molusce-Inputs.png|700px|center|Окно ввода начальных данных]]
При загрузке расширения открывается окно, в котором пользователь должен ввести информацию о том, какой растровый слой в каком качестве должен использоватся. Пользователь указывает карты начальных и конечных состояний, карты факторов.

При работе расширения предполагается, что анализируемые растры сохранены в одной системе координат и их охваты совпадают. Для проверки этого условия пользователь может нажать кнопку проверки геометрических характеристик, в результате чего на экран будет выведено сообщение о том, совпадают ли границы растров и их система координат.

=== Оценка корреляционной зависимости ===
[[Файл:molusce-Correlation.png|700px|center|Окно проверки корреляционных зависимостей входных данных]]
Некоторые методы (например, логистическая регрессия и метод значимости признака) очень чувствительны к взаимной зависимости входных данных. Для того, чтобы оценить зависимость входных переменных пользователю предоставляется возможность рассчитать силу связей между ними. Для непрерывных величин пользователь может рассчитать коэффициент корреляции, а для номинальных -- коэффициент Крамера или коэффициент JIU (joint information uncertainty).

=== Построение карты изменений ===
[[Файл:molusce-Changes.png|700px|center|Окно построения карты изменений]]
Для построения карты изменений отведена отдельная вкладка. При нажатии на кнопку создания карты изменений, она будет рассчитана и загружена в текущий проект. Каждый тип изменения на карте будет помечен определенным цветом.

На данной вкладке пользователь также может расчитать статистику по количеству изменений -- определить какое количество пикселей того или иного класса было транформировано в пиксели других классов. Если исходные данные спроецированны в метрическую систему координат, то пользователь может отобразить статистику в квадратных метрах, гектарах или квадратных километрах.

=== Настройка модели ===
[[Файл:molusce-ANN.png|700px|center|Окно моделирования (обучение нейронной сети)]]

На данной влкладке пользователь может выбрать тип модели для настройки. Некоторые модели (нейронные сети, логистическая регрессия) для ускорения работы используют не все данные, а случайную выборку из них. В случае, если пользователь работает с данными моделями ему предоставляется возможность указать стратегию формирования выборки данных.

=== Прогнозирование ===
[[Файл:molusce-Simulation.png|700px|center|Окно построения карты прогноза]]

После обучения модели пользователь может применить для построения прогноза. Для этого полученная модель применяется к карте конечных состояний, в результате получается прогноз на один период вперед. При желании пользователь может указать количество периодов прогноза в строке ввода количества итераций, в этом случае будет произведено последовательное прогнозирование.

Основным выходным значением является карта-результат прогноза, но помимо нее на этапе прогнозирования расширение формирует несколько вспомогательных карт, которые также могут быть сохранены на диске:

* Карты потенциалов. Для каждого возможного типа трансформации (например лес->застройка) строится карта потенциалов: чем больше потенциал для данного участка, тем более значимо воздействуют факторы на возможность появления данного типа транформации.
* Карта уверенности в прогнозе, которая измеряется в процентах: 100 = полная уверенность, другие альтернативы прогноза незначимы, 0 = полная неуверенность, есть по крайней мере еще одна альтернатива с такой же вероятностью реализации.
* Суммарная карта потенциальных переходов. Строится на основе карт потенциалов следующим образом: просматривается каждый пиксель и маркируется тем состоянием, переход в которое наиболее вероятен. Отличается от карты-прогноза тем, что для карты-прогноза производится трансформация не всех, а только определенного числа пикселей, определяемого статистики изменений (см. вкладку построения карты изменений).

=== Валидация ===
[[Файл:molusce-Validation.png|700px|center|Оценка качества прогноза]]

После получения прогноза пользователь получает возможность оценить его качество на основе различных оценок сходства между прогнозом и истинным состоянием территории.

== Ссылки ==
* [http://plugins.qgis.org/plugins/molusce/ Страница расширения на plugins.qgis.org]
* [http://wiki.gis-lab.info/w/Molusce Описание расширения, содержащее информацию об устройстве расширения (англ.)]

Создание WMS сервера на базе GRASS GIS и Pyramid

2014-05-05T05:23:39Z

KolesovDmitry: /* Ограничения данной реализации */

В данной статье описывается простой пример создания [http://gis-lab.info/qa/ows.html WMS сервера] на базе геоинформационной системы GRASS. Доступ к данным организован при помощи [http://ru.wikipedia.org/wiki/Pyramid_%28%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D1%8B%D0%B9_%D0%BA%D0%B0%D1%80%D0%BA%D0%B0%D1%81%29 фреймворка Pyramid].

Данная статья является расширенным переводом статьи [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid].

== Общие сведения ==
Статья расчитана на читателя, который на базовом уровне знаком с геоинформационной системой GRASS и основами веб-разработки на языке программирования Python. В частности, читатель должен представлять, [http://gis-lab.info/qa/grass-external-scripting.html как происходит вызов команд GRASS на языке Python] и быть знакомым [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html с принципами использования фреймворка Pyramid].

В статье используется GRASS версии 6.4. Приведенный код применим и к более новым версиям GRASS, но, возможно, потребуется его незначительная правка.

Исходный код модуля описанный в статье доступен по ссылке: [[Файл: Grass_wms.zip‎]].

=== Архитектура системы ===
В разрабатываемой системе вся обработка геоданных будет возложена на GRASS, а обработка веб-запросов --- на Pyramid.
Основная часть WMS сервера, отвечающая за отрисовку геоданных --- модуль [http://grass.osgeo.org/grass64/manuals/d.mon.html d.mon], который будет использоваться совместно с [http://grass.osgeo.org/grass64/manuals/cairodriver.html графическим драйвером Cairo], позволяющим генерировать изображения в форматах PNG, BMP, PPM, PS, PDF и SVG.

Для реализации сервера потребуется создать функции, служащие для:

# Настройки путей к GRASS.
# Получения и анализа параметров запроса WMS.
# Отрисовки слоев по запросу клиента и сохранения результата в графический файл.
# Возвращения результата обработки запроса клиенту.

Собственно к GRASS относятся первый и третий пункты, остальные --- обычные действия по обработке веб-запросов, которые реализуются при помощи Pyramid. Поэтому для простоты изложения и реализации объединим первый и третий пункты в виде одной функции, а второй и четвертый --- в виде другой.

=== Зависимости и их установка ===
Для того, чтобы WMS сервер мог функционировать, требуется, чтобы на компьютере была установлена геоинформационная система [http://grass.osgeo.org/download/ GRASS] и [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/install.html Pyramid] (Pyramid рекомендуется устанавливать в [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/install.html#installing-the-virtualenv-package виртуальное окружение], чтобы не "мусорить" в основной системе).

Установка этих систем обеспечит установку и настройку требуемых зависимостей.

== Реализация ==
=== Настройка путей GRASS и обработка запроса клиента ===
Ниже приводится код функции, которая инициализирует GRASS, отрисовывает запрошенные пользователем слои и сохраняет полученное изображение во временном файле.

На вход функция принимает
* список слоев (layers), которые требуется отрисовать;
* охват интересующего пользователя региона (bbox);
* ширину/высоту (width/height) изображения.

На выходе функция возвращает имя файла, в котором будет сохранено запрошенное изображение.

def _grass_wms(layers=[], bbox=[], width=256, height=256):
# Прописываем пути к GRASS. Исправить под свои нужды.
gisdbase = "/home/useranme/GRASSDATA"
location = "MSK_28407"
mapset = "PERMANENT"
gisbase = os.environ["GISBASE"] = "/usr/lib/grass64"

# Добавляем путь модулям GRASS в системные пути
sys.path.append("%s/etc/python" % gisbase)

# Импортируем библиотеки GRASS
from grass.script import core as grass
from grass.script import setup as gsetup

# Инициализируем GRASS
gsetup.init(gisbase, gisdbase,
location, mapset)

# Получаем список известных растровых и векторных слоев
vector_layers = grass.list_strings(type = "vect")
raster_layers = grass.list_strings(type = "rast")

grass.run_command("g.region", w=bbox[0], s=bbox[1], e=bbox[2], n=bbox[3])

# Создание временного файла
tempfile = grass.tempfile()
filename = "%s.png" % tempfile

# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height

# Отрисовка
grass.run_command("d.mon", start="cairo")

for layer in layers:
if layer in raster_layers:
grass.run_command("d.rast", map=layer, quiet=1)
elif layer in vector_layers:
grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)

grass.run_command("d.mon", stop="cairo")

return filename

Как видим, большая часть кода связана с первоначальной настройкой GRASS. Основной код по отрисовке запрошенных слоев использует команды GRASS и занимает всего пять строк:
for layer in layers:
...
При этом все векторные слои будут отрисованы синим цветом, (см. параметры, передаваемые в <code>grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)</code>). Внешний вид слоя может быть изменен настройкой параметров команды [http://grass.osgeo.org/grass64/manuals/d.vect.html d.vect]. Например, данной командой можно назначить стиль отображения объекта в зависимости от его атрибутов или геометрических характеристик.

Аналогично, растровые слои отображаются в цветовой схеме по умолчанию (или заранее назначенной пользователем вручную). При необходимости изменить стиль слоя при отрисовке следует воспользоваться командами, обрабатывающими цветовые схемы растровых карт, например [http://grass.osgeo.org/grass64/manuals/r.colors.html r.colors] или аналогичными модулями.

Временный файл, в который сохраняется отрисованное изображение, в GRASS 6.4 задается следующими строками:
# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height
Для GRASS седьмой версии можно немного упростить этот код, передавая параметры напрямую модулю <code>d.mon</code>. Пример можно посмотреть в [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html исходной статье].

=== Анализ запроса пользователя и возвращение результата ===
Анализ запроса пользователя производится в следующей функции:
@view_config(route_name="wms")
def wms_view(request):

layers = request.params.get("LAYERS", "").split(",")
bbox = request.params.get("BBOX", "").split(",")
width = request.params.get("WIDTH")
height = request.params.get("HEIGHT")

try:
filename = _grass_wms(layers=layers,
bbox=bbox,
width=width,
height=height)
f = open(filename, "r+")
return Response(body=f.read(), content_type="image/png")
except:
pass

Данная функция принимает запрос (request), в котором могут определяться:
* список слоев в запрашиваемом изображении (параметр LAYERS);
* охват области запрашиваемого изображения (параметр BBOX);
* высота и ширина запрашиваемого изображения (параметры HEIGHT и WIDTH).

Полученные параметры анализируются и передаются в определенную выше функцию _grass_wms. Результат работы функции --- имя файла изображения --- считывается с диска и возвращается в качестве ответа на запрос.

=== Создание веб-приложения ===
Еще одно действие --- создание простейшего веб-приложения, которое использует построенный WMS сервер. Воспользуемся библиотекой [http://gis-lab.info/qa/openlayers-begin.html OpenLayers] для отображения карты, возвращаемой сервером.

Данный шаг является необязательным, но его удобно реализовать в целях отладки.

Следующая функция создает веб-страницу с картой на базе слоев векторных слоев mo и io_15 из набора PERMANENT:
@view_config(route_name="index")
def index_view(request):
body = """
<html xml:lang="en"
xmlns:tal="http://xml.zope.org/namespaces/tal"
xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>GRASS GIS Web Map Service</title>
<script src="http://openlayers.org/api/OpenLayers.js" type="text/javascript"></script>
<script type="text/javascript">
var map, wms_layer;
function init(){
var map = new OpenLayers.Map("map-div",{
projection: "EPSG:28407",
maxExtent: new OpenLayers.Bounds(7361000, 6115000, 7435000, 6212000),
numZoomLevels: 6,
});
var wms_layer = new OpenLayers.Layer.WMS("GRASS WMS", '/wms', {
layers: "mo@PERMANENT,io_15@PERMANENT"
},{
singleTile: true,
});
map.addLayer(wms_layer);
map.zoomToMaxExtent();
}
</script>
</head>
<body onload="init()">
< div id="map-div" style="height: 600px; width: 800px;"></div>
</body>
</html>"""
return Response(body=body, content_type="text/html", status=200)
Понятно, что список доступных слоев (<code>layers: "mo@PERMANENT,io_15@PERMANENT"</code>) и параметры области (<code>{projection: "EPSG:28407", maxExtent: new OpenLayers.Bounds(7361000, 6115000, 7435000, 6212000), numZoomLevels: 6}</code>) следует отредактировать под конкретный проект.

=== Конфигурирование Pyramid ===
Для того, чтобы описанные выше функции можно было использовать, необходимо сконфигурировать Pyramid. Пример такой функции приведен ниже:
def main():
config = Configurator()
config.add_static_view('static', 'static', cache_max_age=3600)
config.add_route("index", '/')
config.add_route("wms", '/wms')
config.scan()
app = config.make_wsgi_app()
server = make_server('0.0.0.0', 8080, app)
server.serve_forever()

Эта функция создает сервер, который будет функционировать по адресу 0.0.0.0:8080

=== Использование ===
После того, как WMS сервер будет настроен, можно его запустить командой:
python grass_wms.py
(Здесь предполагается, что программный код хранится в файле grass_wms.py).

Для проверки того, все ли было настроено верно, можно открыть браузер и в адресную строку внести параметры WMS-запроса, например,
http://0.0.0.0:8080/wms?BBOX=7361000,6115000,7435000,6212000&LAYERS=mo@PERMANENT&WIDTH=300&HEIGHT=700
В результате в окне браузера будет показана запрошенная карта, построенная на базе слоя mo@PERMANENT.
Также можно загрузить сразу веб-странцу по адресу
http://0.0.0.0:8080/
на которой при помощи OpenLayers будет отображена веб-карта, поддерживающая возможности прокрутки и масштабирования.

== Ограничения данной реализации ==
Рассмотренный пример демонстрирует принцип создания сервера WMS, потому в нем опущен ряд деталей, которые должны быть реализованы в реальной системе. Например, в рассмотренном варианте в целях упрощения изложения были введены следующие ограничения:
* Нет перепроецирования "на лету". Т.е. построенный сервер WMS может возвращать слои только в той проекции, в которой хранятся данные GRASS.
* Реализация не является потокобезопасной. Например, при одновременном запросе данных из разных областей GRASS могут проявляться неожиданные побочные эффекты (в коде производятся манипуляции с <code>g.region</code>).
* Не полная поддержка [http://www.opengeospatial.org/standards/wms стандарта WMS]. Например, описанная реализация не поддерживает запрос GetCapabilities, поэтому подключить ту или иную ГИС в качестве клиента к созданному серверу не удастся. Это ограничение легко обходится --- достаточно в функцию <code>wms_view</code> вставить обработку параметра REQUEST (и, в случае REQUEST=GetCapabilities, вернуть список доступных слоев).
* В функции _grass_wms жестко прописаны пути к GRASS и базе геоданных. В реальной системе нужно использовать [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/environment.html .ini файл], в котором прописать необходимую информацию.

== Ссылки по теме ==
* [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid]
* [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html Документация фреймворка Pyramid]
* [http://grass.osgeo.org/ GRASS GIS: The world's leading Free GIS software]

Создание WMS сервера на базе GRASS GIS и Pyramid

2014-05-05T05:05:31Z

KolesovDmitry: /* Ограничения данной реализации */

В данной статье описывается простой пример создания [http://gis-lab.info/qa/ows.html WMS сервера] на базе геоинформационной системы GRASS. Доступ к данным организован при помощи [http://ru.wikipedia.org/wiki/Pyramid_%28%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D1%8B%D0%B9_%D0%BA%D0%B0%D1%80%D0%BA%D0%B0%D1%81%29 фреймворка Pyramid].

Данная статья является расширенным переводом статьи [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid].

== Общие сведения ==
Статья расчитана на читателя, который на базовом уровне знаком с геоинформационной системой GRASS и основами веб-разработки на языке программирования Python. В частности, читатель должен представлять, [http://gis-lab.info/qa/grass-external-scripting.html как происходит вызов команд GRASS на языке Python] и быть знакомым [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html с принципами использования фреймворка Pyramid].

В статье используется GRASS версии 6.4. Приведенный код применим и к более новым версиям GRASS, но, возможно, потребуется его незначительная правка.

Исходный код модуля описанный в статье доступен по ссылке: [[Файл: Grass_wms.zip‎]].

=== Архитектура системы ===
В разрабатываемой системе вся обработка геоданных будет возложена на GRASS, а обработка веб-запросов --- на Pyramid.
Основная часть WMS сервера, отвечающая за отрисовку геоданных --- модуль [http://grass.osgeo.org/grass64/manuals/d.mon.html d.mon], который будет использоваться совместно с [http://grass.osgeo.org/grass64/manuals/cairodriver.html графическим драйвером Cairo], позволяющим генерировать изображения в форматах PNG, BMP, PPM, PS, PDF и SVG.

Для реализации сервера потребуется создать функции, служащие для:

# Настройки путей к GRASS.
# Получения и анализа параметров запроса WMS.
# Отрисовки слоев по запросу клиента и сохранения результата в графический файл.
# Возвращения результата обработки запроса клиенту.

Собственно к GRASS относятся первый и третий пункты, остальные --- обычные действия по обработке веб-запросов, которые реализуются при помощи Pyramid. Поэтому для простоты изложения и реализации объединим первый и третий пункты в виде одной функции, а второй и четвертый --- в виде другой.

=== Зависимости и их установка ===
Для того, чтобы WMS сервер мог функционировать, требуется, чтобы на компьютере была установлена геоинформационная система [http://grass.osgeo.org/download/ GRASS] и [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/install.html Pyramid] (Pyramid рекомендуется устанавливать в [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/install.html#installing-the-virtualenv-package виртуальное окружение], чтобы не "мусорить" в основной системе).

Установка этих систем обеспечит установку и настройку требуемых зависимостей.

== Реализация ==
=== Настройка путей GRASS и обработка запроса клиента ===
Ниже приводится код функции, которая инициализирует GRASS, отрисовывает запрошенные пользователем слои и сохраняет полученное изображение во временном файле.

На вход функция принимает
* список слоев (layers), которые требуется отрисовать;
* охват интересующего пользователя региона (bbox);
* ширину/высоту (width/height) изображения.

На выходе функция возвращает имя файла, в котором будет сохранено запрошенное изображение.

def _grass_wms(layers=[], bbox=[], width=256, height=256):
# Прописываем пути к GRASS. Исправить под свои нужды.
gisdbase = "/home/useranme/GRASSDATA"
location = "MSK_28407"
mapset = "PERMANENT"
gisbase = os.environ["GISBASE"] = "/usr/lib/grass64"

# Добавляем путь модулям GRASS в системные пути
sys.path.append("%s/etc/python" % gisbase)

# Импортируем библиотеки GRASS
from grass.script import core as grass
from grass.script import setup as gsetup

# Инициализируем GRASS
gsetup.init(gisbase, gisdbase,
location, mapset)

# Получаем список известных растровых и векторных слоев
vector_layers = grass.list_strings(type = "vect")
raster_layers = grass.list_strings(type = "rast")

grass.run_command("g.region", w=bbox[0], s=bbox[1], e=bbox[2], n=bbox[3])

# Создание временного файла
tempfile = grass.tempfile()
filename = "%s.png" % tempfile

# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height

# Отрисовка
grass.run_command("d.mon", start="cairo")

for layer in layers:
if layer in raster_layers:
grass.run_command("d.rast", map=layer, quiet=1)
elif layer in vector_layers:
grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)

grass.run_command("d.mon", stop="cairo")

return filename

Как видим, большая часть кода связана с первоначальной настройкой GRASS. Основной код по отрисовке запрошенных слоев использует команды GRASS и занимает всего пять строк:
for layer in layers:
...
При этом все векторные слои будут отрисованы синим цветом, (см. параметры, передаваемые в <code>grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)</code>). Внешний вид слоя может быть изменен настройкой параметров команды [http://grass.osgeo.org/grass64/manuals/d.vect.html d.vect]. Например, данной командой можно назначить стиль отображения объекта в зависимости от его атрибутов или геометрических характеристик.

Аналогично, растровые слои отображаются в цветовой схеме по умолчанию (или заранее назначенной пользователем вручную). При необходимости изменить стиль слоя при отрисовке следует воспользоваться командами, обрабатывающими цветовые схемы растровых карт, например [http://grass.osgeo.org/grass64/manuals/r.colors.html r.colors] или аналогичными модулями.

Временный файл, в который сохраняется отрисованное изображение, в GRASS 6.4 задается следующими строками:
# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height
Для GRASS седьмой версии можно немного упростить этот код, передавая параметры напрямую модулю <code>d.mon</code>. Пример можно посмотреть в [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html исходной статье].

=== Анализ запроса пользователя и возвращение результата ===
Анализ запроса пользователя производится в следующей функции:
@view_config(route_name="wms")
def wms_view(request):

layers = request.params.get("LAYERS", "").split(",")
bbox = request.params.get("BBOX", "").split(",")
width = request.params.get("WIDTH")
height = request.params.get("HEIGHT")

try:
filename = _grass_wms(layers=layers,
bbox=bbox,
width=width,
height=height)
f = open(filename, "r+")
return Response(body=f.read(), content_type="image/png")
except:
pass

Данная функция принимает запрос (request), в котором могут определяться:
* список слоев в запрашиваемом изображении (параметр LAYERS);
* охват области запрашиваемого изображения (параметр BBOX);
* высота и ширина запрашиваемого изображения (параметры HEIGHT и WIDTH).

Полученные параметры анализируются и передаются в определенную выше функцию _grass_wms. Результат работы функции --- имя файла изображения --- считывается с диска и возвращается в качестве ответа на запрос.

=== Создание веб-приложения ===
Еще одно действие --- создание простейшего веб-приложения, которое использует построенный WMS сервер. Воспользуемся библиотекой [http://gis-lab.info/qa/openlayers-begin.html OpenLayers] для отображения карты, возвращаемой сервером.

Данный шаг является необязательным, но его удобно реализовать в целях отладки.

Следующая функция создает веб-страницу с картой на базе слоев векторных слоев mo и io_15 из набора PERMANENT:
@view_config(route_name="index")
def index_view(request):
body = """
<html xml:lang="en"
xmlns:tal="http://xml.zope.org/namespaces/tal"
xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>GRASS GIS Web Map Service</title>
<script src="http://openlayers.org/api/OpenLayers.js" type="text/javascript"></script>
<script type="text/javascript">
var map, wms_layer;
function init(){
var map = new OpenLayers.Map("map-div",{
projection: "EPSG:28407",
maxExtent: new OpenLayers.Bounds(7361000, 6115000, 7435000, 6212000),
numZoomLevels: 6,
});
var wms_layer = new OpenLayers.Layer.WMS("GRASS WMS", '/wms', {
layers: "mo@PERMANENT,io_15@PERMANENT"
},{
singleTile: true,
});
map.addLayer(wms_layer);
map.zoomToMaxExtent();
}
</script>
</head>
<body onload="init()">
< div id="map-div" style="height: 600px; width: 800px;"></div>
</body>
</html>"""
return Response(body=body, content_type="text/html", status=200)
Понятно, что список доступных слоев (<code>layers: "mo@PERMANENT,io_15@PERMANENT"</code>) и параметры области (<code>{projection: "EPSG:28407", maxExtent: new OpenLayers.Bounds(7361000, 6115000, 7435000, 6212000), numZoomLevels: 6}</code>) следует отредактировать под конкретный проект.

=== Конфигурирование Pyramid ===
Для того, чтобы описанные выше функции можно было использовать, необходимо сконфигурировать Pyramid. Пример такой функции приведен ниже:
def main():
config = Configurator()
config.add_static_view('static', 'static', cache_max_age=3600)
config.add_route("index", '/')
config.add_route("wms", '/wms')
config.scan()
app = config.make_wsgi_app()
server = make_server('0.0.0.0', 8080, app)
server.serve_forever()

Эта функция создает сервер, который будет функционировать по адресу 0.0.0.0:8080

=== Использование ===
После того, как WMS сервер будет настроен, можно его запустить командой:
python grass_wms.py
(Здесь предполагается, что программный код хранится в файле grass_wms.py).

Для проверки того, все ли было настроено верно, можно открыть браузер и в адресную строку внести параметры WMS-запроса, например,
http://0.0.0.0:8080/wms?BBOX=7361000,6115000,7435000,6212000&LAYERS=mo@PERMANENT&WIDTH=300&HEIGHT=700
В результате в окне браузера будет показана запрошенная карта, построенная на базе слоя mo@PERMANENT.
Также можно загрузить сразу веб-странцу по адресу
http://0.0.0.0:8080/
на которой при помощи OpenLayers будет отображена веб-карта, поддерживающая возможности прокрутки и масштабирования.

== Ограничения данной реализации ==
Рассмотренный пример демонстрирует принцип создания сервера WMS, потому в нем опущен ряд деталей, которые должны быть реализованы в реальной системе. Например, в рассмотренном варианте в целях упрощения изложения были введены следующие ограничения:
* Нет перепроецирования "на лету". Т.е. построенный сервер WMS может возвращать слои только в той проекции, в которой хранятся данные GRASS.
* Реализация не является потокобезопасной. Например, при одновременном запросе данных из разных областей GRASS могут проявляться неожиданные побочные эффекты (в коде производятся манипуляции с <code>g.region</code>).
* Не полная поддержка [http://www.opengeospatial.org/standards/wms стандарта WMS]. Например, описанная реализация не поддерживает запрос GetCapabilities, поэтому подключить ту или иную ГИС в качестве клиента к созданному серверу не удастся. Это ограничение легко обходится --- достаточно в функцию <code>wms_view</code> вставить обработку параметра REQUEST (и, в случае REQUEST=GetCapabilities, вернуть список доступных слоев).

== Ссылки по теме ==
* [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid]
* [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html Документация фреймворка Pyramid]
* [http://grass.osgeo.org/ GRASS GIS: The world's leading Free GIS software]

Создание WMS сервера на базе GRASS GIS и Pyramid

2014-05-05T05:04:51Z

KolesovDmitry: /* Ограничения данной реализации */

В данной статье описывается простой пример создания [http://gis-lab.info/qa/ows.html WMS сервера] на базе геоинформационной системы GRASS. Доступ к данным организован при помощи [http://ru.wikipedia.org/wiki/Pyramid_%28%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D1%8B%D0%B9_%D0%BA%D0%B0%D1%80%D0%BA%D0%B0%D1%81%29 фреймворка Pyramid].

Данная статья является расширенным переводом статьи [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid].

== Общие сведения ==
Статья расчитана на читателя, который на базовом уровне знаком с геоинформационной системой GRASS и основами веб-разработки на языке программирования Python. В частности, читатель должен представлять, [http://gis-lab.info/qa/grass-external-scripting.html как происходит вызов команд GRASS на языке Python] и быть знакомым [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html с принципами использования фреймворка Pyramid].

В статье используется GRASS версии 6.4. Приведенный код применим и к более новым версиям GRASS, но, возможно, потребуется его незначительная правка.

Исходный код модуля описанный в статье доступен по ссылке: [[Файл: Grass_wms.zip‎]].

=== Архитектура системы ===
В разрабатываемой системе вся обработка геоданных будет возложена на GRASS, а обработка веб-запросов --- на Pyramid.
Основная часть WMS сервера, отвечающая за отрисовку геоданных --- модуль [http://grass.osgeo.org/grass64/manuals/d.mon.html d.mon], который будет использоваться совместно с [http://grass.osgeo.org/grass64/manuals/cairodriver.html графическим драйвером Cairo], позволяющим генерировать изображения в форматах PNG, BMP, PPM, PS, PDF и SVG.

Для реализации сервера потребуется создать функции, служащие для:

# Настройки путей к GRASS.
# Получения и анализа параметров запроса WMS.
# Отрисовки слоев по запросу клиента и сохранения результата в графический файл.
# Возвращения результата обработки запроса клиенту.

Собственно к GRASS относятся первый и третий пункты, остальные --- обычные действия по обработке веб-запросов, которые реализуются при помощи Pyramid. Поэтому для простоты изложения и реализации объединим первый и третий пункты в виде одной функции, а второй и четвертый --- в виде другой.

=== Зависимости и их установка ===
Для того, чтобы WMS сервер мог функционировать, требуется, чтобы на компьютере была установлена геоинформационная система [http://grass.osgeo.org/download/ GRASS] и [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/install.html Pyramid] (Pyramid рекомендуется устанавливать в [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/install.html#installing-the-virtualenv-package виртуальное окружение], чтобы не "мусорить" в основной системе).

Установка этих систем обеспечит установку и настройку требуемых зависимостей.

== Реализация ==
=== Настройка путей GRASS и обработка запроса клиента ===
Ниже приводится код функции, которая инициализирует GRASS, отрисовывает запрошенные пользователем слои и сохраняет полученное изображение во временном файле.

На вход функция принимает
* список слоев (layers), которые требуется отрисовать;
* охват интересующего пользователя региона (bbox);
* ширину/высоту (width/height) изображения.

На выходе функция возвращает имя файла, в котором будет сохранено запрошенное изображение.

def _grass_wms(layers=[], bbox=[], width=256, height=256):
# Прописываем пути к GRASS. Исправить под свои нужды.
gisdbase = "/home/useranme/GRASSDATA"
location = "MSK_28407"
mapset = "PERMANENT"
gisbase = os.environ["GISBASE"] = "/usr/lib/grass64"

# Добавляем путь модулям GRASS в системные пути
sys.path.append("%s/etc/python" % gisbase)

# Импортируем библиотеки GRASS
from grass.script import core as grass
from grass.script import setup as gsetup

# Инициализируем GRASS
gsetup.init(gisbase, gisdbase,
location, mapset)

# Получаем список известных растровых и векторных слоев
vector_layers = grass.list_strings(type = "vect")
raster_layers = grass.list_strings(type = "rast")

grass.run_command("g.region", w=bbox[0], s=bbox[1], e=bbox[2], n=bbox[3])

# Создание временного файла
tempfile = grass.tempfile()
filename = "%s.png" % tempfile

# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height

# Отрисовка
grass.run_command("d.mon", start="cairo")

for layer in layers:
if layer in raster_layers:
grass.run_command("d.rast", map=layer, quiet=1)
elif layer in vector_layers:
grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)

grass.run_command("d.mon", stop="cairo")

return filename

Как видим, большая часть кода связана с первоначальной настройкой GRASS. Основной код по отрисовке запрошенных слоев использует команды GRASS и занимает всего пять строк:
for layer in layers:
...
При этом все векторные слои будут отрисованы синим цветом, (см. параметры, передаваемые в <code>grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)</code>). Внешний вид слоя может быть изменен настройкой параметров команды [http://grass.osgeo.org/grass64/manuals/d.vect.html d.vect]. Например, данной командой можно назначить стиль отображения объекта в зависимости от его атрибутов или геометрических характеристик.

Аналогично, растровые слои отображаются в цветовой схеме по умолчанию (или заранее назначенной пользователем вручную). При необходимости изменить стиль слоя при отрисовке следует воспользоваться командами, обрабатывающими цветовые схемы растровых карт, например [http://grass.osgeo.org/grass64/manuals/r.colors.html r.colors] или аналогичными модулями.

Временный файл, в который сохраняется отрисованное изображение, в GRASS 6.4 задается следующими строками:
# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height
Для GRASS седьмой версии можно немного упростить этот код, передавая параметры напрямую модулю <code>d.mon</code>. Пример можно посмотреть в [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html исходной статье].

=== Анализ запроса пользователя и возвращение результата ===
Анализ запроса пользователя производится в следующей функции:
@view_config(route_name="wms")
def wms_view(request):

layers = request.params.get("LAYERS", "").split(",")
bbox = request.params.get("BBOX", "").split(",")
width = request.params.get("WIDTH")
height = request.params.get("HEIGHT")

try:
filename = _grass_wms(layers=layers,
bbox=bbox,
width=width,
height=height)
f = open(filename, "r+")
return Response(body=f.read(), content_type="image/png")
except:
pass

Данная функция принимает запрос (request), в котором могут определяться:
* список слоев в запрашиваемом изображении (параметр LAYERS);
* охват области запрашиваемого изображения (параметр BBOX);
* высота и ширина запрашиваемого изображения (параметры HEIGHT и WIDTH).

Полученные параметры анализируются и передаются в определенную выше функцию _grass_wms. Результат работы функции --- имя файла изображения --- считывается с диска и возвращается в качестве ответа на запрос.

=== Создание веб-приложения ===
Еще одно действие --- создание простейшего веб-приложения, которое использует построенный WMS сервер. Воспользуемся библиотекой [http://gis-lab.info/qa/openlayers-begin.html OpenLayers] для отображения карты, возвращаемой сервером.

Данный шаг является необязательным, но его удобно реализовать в целях отладки.

Следующая функция создает веб-страницу с картой на базе слоев векторных слоев mo и io_15 из набора PERMANENT:
@view_config(route_name="index")
def index_view(request):
body = """
<html xml:lang="en"
xmlns:tal="http://xml.zope.org/namespaces/tal"
xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>GRASS GIS Web Map Service</title>
<script src="http://openlayers.org/api/OpenLayers.js" type="text/javascript"></script>
<script type="text/javascript">
var map, wms_layer;
function init(){
var map = new OpenLayers.Map("map-div",{
projection: "EPSG:28407",
maxExtent: new OpenLayers.Bounds(7361000, 6115000, 7435000, 6212000),
numZoomLevels: 6,
});
var wms_layer = new OpenLayers.Layer.WMS("GRASS WMS", '/wms', {
layers: "mo@PERMANENT,io_15@PERMANENT"
},{
singleTile: true,
});
map.addLayer(wms_layer);
map.zoomToMaxExtent();
}
</script>
</head>
<body onload="init()">
< div id="map-div" style="height: 600px; width: 800px;"></div>
</body>
</html>"""
return Response(body=body, content_type="text/html", status=200)
Понятно, что список доступных слоев (<code>layers: "mo@PERMANENT,io_15@PERMANENT"</code>) и параметры области (<code>{projection: "EPSG:28407", maxExtent: new OpenLayers.Bounds(7361000, 6115000, 7435000, 6212000), numZoomLevels: 6}</code>) следует отредактировать под конкретный проект.

=== Конфигурирование Pyramid ===
Для того, чтобы описанные выше функции можно было использовать, необходимо сконфигурировать Pyramid. Пример такой функции приведен ниже:
def main():
config = Configurator()
config.add_static_view('static', 'static', cache_max_age=3600)
config.add_route("index", '/')
config.add_route("wms", '/wms')
config.scan()
app = config.make_wsgi_app()
server = make_server('0.0.0.0', 8080, app)
server.serve_forever()

Эта функция создает сервер, который будет функционировать по адресу 0.0.0.0:8080

=== Использование ===
После того, как WMS сервер будет настроен, можно его запустить командой:
python grass_wms.py
(Здесь предполагается, что программный код хранится в файле grass_wms.py).

Для проверки того, все ли было настроено верно, можно открыть браузер и в адресную строку внести параметры WMS-запроса, например,
http://0.0.0.0:8080/wms?BBOX=7361000,6115000,7435000,6212000&LAYERS=mo@PERMANENT&WIDTH=300&HEIGHT=700
В результате в окне браузера будет показана запрошенная карта, построенная на базе слоя mo@PERMANENT.
Также можно загрузить сразу веб-странцу по адресу
http://0.0.0.0:8080/
на которой при помощи OpenLayers будет отображена веб-карта, поддерживающая возможности прокрутки и масштабирования.

== Ограничения данной реализации ==
Рассмотренный пример демонстрирует принцип создания сервера WMS, потому в нем опущен ряд деталей, которые должны быть реализованы в реальной системе. Например, в рассмотренном варианте в целях упрощения изложения были введены следующие ограничения:
* Нет перепроецирования "на лету". Т.е. построенный сервер WMS может возвращать слои только в той проекции, в которой хранятся данные GRASS.
* Реализация не является потокобезопасной. Например, при одновременном запросе данных из разных областей GRASS могут проявляться неожиданные побочные эффекты (в коде производятся манипуляции с <code>g.region</code>).
* Не полная поддержка [http://www.opengeospatial.org/standards/wms стандарта WMS]. Например, описанная реализация не поддерживает запрос GetCapabilities, поэтому подключить ту или иную ГИС в качестве клиента к серверу не удастся. Это ограничение легко обходится --- достаточно в функцию <code>wms_view</code> вставить обработку параметра REQUEST (в случае REQUEST=GetCapabilities вернуть список доступных слоев).

== Ссылки по теме ==
* [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid]
* [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html Документация фреймворка Pyramid]
* [http://grass.osgeo.org/ GRASS GIS: The world's leading Free GIS software]

Создание WMS сервера на базе GRASS GIS и Pyramid

2014-05-05T04:55:27Z

KolesovDmitry: /* Конфигурирование Pyramid */

В данной статье описывается простой пример создания [http://gis-lab.info/qa/ows.html WMS сервера] на базе геоинформационной системы GRASS. Доступ к данным организован при помощи [http://ru.wikipedia.org/wiki/Pyramid_%28%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D1%8B%D0%B9_%D0%BA%D0%B0%D1%80%D0%BA%D0%B0%D1%81%29 фреймворка Pyramid].

Данная статья является расширенным переводом статьи [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid].

== Общие сведения ==
Статья расчитана на читателя, который на базовом уровне знаком с геоинформационной системой GRASS и основами веб-разработки на языке программирования Python. В частности, читатель должен представлять, [http://gis-lab.info/qa/grass-external-scripting.html как происходит вызов команд GRASS на языке Python] и быть знакомым [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html с принципами использования фреймворка Pyramid].

В статье используется GRASS версии 6.4. Приведенный код применим и к более новым версиям GRASS, но, возможно, потребуется его незначительная правка.

Исходный код модуля описанный в статье доступен по ссылке: [[Файл: Grass_wms.zip‎]].

=== Архитектура системы ===
В разрабатываемой системе вся обработка геоданных будет возложена на GRASS, а обработка веб-запросов --- на Pyramid.
Основная часть WMS сервера, отвечающая за отрисовку геоданных --- модуль [http://grass.osgeo.org/grass64/manuals/d.mon.html d.mon], который будет использоваться совместно с [http://grass.osgeo.org/grass64/manuals/cairodriver.html графическим драйвером Cairo], позволяющим генерировать изображения в форматах PNG, BMP, PPM, PS, PDF и SVG.

Для реализации сервера потребуется создать функции, служащие для:

# Настройки путей к GRASS.
# Получения и анализа параметров запроса WMS.
# Отрисовки слоев по запросу клиента и сохранения результата в графический файл.
# Возвращения результата обработки запроса клиенту.

Собственно к GRASS относятся первый и третий пункты, остальные --- обычные действия по обработке веб-запросов, которые реализуются при помощи Pyramid. Поэтому для простоты изложения и реализации объединим первый и третий пункты в виде одной функции, а второй и четвертый --- в виде другой.

=== Зависимости и их установка ===
Для того, чтобы WMS сервер мог функционировать, требуется, чтобы на компьютере была установлена геоинформационная система [http://grass.osgeo.org/download/ GRASS] и [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/install.html Pyramid] (Pyramid рекомендуется устанавливать в [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/install.html#installing-the-virtualenv-package виртуальное окружение], чтобы не "мусорить" в основной системе).

Установка этих систем обеспечит установку и настройку требуемых зависимостей.

== Реализация ==
=== Настройка путей GRASS и обработка запроса клиента ===
Ниже приводится код функции, которая инициализирует GRASS, отрисовывает запрошенные пользователем слои и сохраняет полученное изображение во временном файле.

На вход функция принимает
* список слоев (layers), которые требуется отрисовать;
* охват интересующего пользователя региона (bbox);
* ширину/высоту (width/height) изображения.

На выходе функция возвращает имя файла, в котором будет сохранено запрошенное изображение.

def _grass_wms(layers=[], bbox=[], width=256, height=256):
# Прописываем пути к GRASS. Исправить под свои нужды.
gisdbase = "/home/useranme/GRASSDATA"
location = "MSK_28407"
mapset = "PERMANENT"
gisbase = os.environ["GISBASE"] = "/usr/lib/grass64"

# Добавляем путь модулям GRASS в системные пути
sys.path.append("%s/etc/python" % gisbase)

# Импортируем библиотеки GRASS
from grass.script import core as grass
from grass.script import setup as gsetup

# Инициализируем GRASS
gsetup.init(gisbase, gisdbase,
location, mapset)

# Получаем список известных растровых и векторных слоев
vector_layers = grass.list_strings(type = "vect")
raster_layers = grass.list_strings(type = "rast")

grass.run_command("g.region", w=bbox[0], s=bbox[1], e=bbox[2], n=bbox[3])

# Создание временного файла
tempfile = grass.tempfile()
filename = "%s.png" % tempfile

# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height

# Отрисовка
grass.run_command("d.mon", start="cairo")

for layer in layers:
if layer in raster_layers:
grass.run_command("d.rast", map=layer, quiet=1)
elif layer in vector_layers:
grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)

grass.run_command("d.mon", stop="cairo")

return filename

Как видим, большая часть кода связана с первоначальной настройкой GRASS. Основной код по отрисовке запрошенных слоев использует команды GRASS и занимает всего пять строк:
for layer in layers:
...
При этом все векторные слои будут отрисованы синим цветом, (см. параметры, передаваемые в <code>grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)</code>). Внешний вид слоя может быть изменен настройкой параметров команды [http://grass.osgeo.org/grass64/manuals/d.vect.html d.vect]. Например, данной командой можно назначить стиль отображения объекта в зависимости от его атрибутов или геометрических характеристик.

Аналогично, растровые слои отображаются в цветовой схеме по умолчанию (или заранее назначенной пользователем вручную). При необходимости изменить стиль слоя при отрисовке следует воспользоваться командами, обрабатывающими цветовые схемы растровых карт, например [http://grass.osgeo.org/grass64/manuals/r.colors.html r.colors] или аналогичными модулями.

Временный файл, в который сохраняется отрисованное изображение, в GRASS 6.4 задается следующими строками:
# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height
Для GRASS седьмой версии можно немного упростить этот код, передавая параметры напрямую модулю <code>d.mon</code>. Пример можно посмотреть в [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html исходной статье].

=== Анализ запроса пользователя и возвращение результата ===
Анализ запроса пользователя производится в следующей функции:
@view_config(route_name="wms")
def wms_view(request):

layers = request.params.get("LAYERS", "").split(",")
bbox = request.params.get("BBOX", "").split(",")
width = request.params.get("WIDTH")
height = request.params.get("HEIGHT")

try:
filename = _grass_wms(layers=layers,
bbox=bbox,
width=width,
height=height)
f = open(filename, "r+")
return Response(body=f.read(), content_type="image/png")
except:
pass

Данная функция принимает запрос (request), в котором могут определяться:
* список слоев в запрашиваемом изображении (параметр LAYERS);
* охват области запрашиваемого изображения (параметр BBOX);
* высота и ширина запрашиваемого изображения (параметры HEIGHT и WIDTH).

Полученные параметры анализируются и передаются в определенную выше функцию _grass_wms. Результат работы функции --- имя файла изображения --- считывается с диска и возвращается в качестве ответа на запрос.

=== Создание веб-приложения ===
Еще одно действие --- создание простейшего веб-приложения, которое использует построенный WMS сервер. Воспользуемся библиотекой [http://gis-lab.info/qa/openlayers-begin.html OpenLayers] для отображения карты, возвращаемой сервером.

Данный шаг является необязательным, но его удобно реализовать в целях отладки.

Следующая функция создает веб-страницу с картой на базе слоев векторных слоев mo и io_15 из набора PERMANENT:
@view_config(route_name="index")
def index_view(request):
body = """
<html xml:lang="en"
xmlns:tal="http://xml.zope.org/namespaces/tal"
xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>GRASS GIS Web Map Service</title>
<script src="http://openlayers.org/api/OpenLayers.js" type="text/javascript"></script>
<script type="text/javascript">
var map, wms_layer;
function init(){
var map = new OpenLayers.Map("map-div",{
projection: "EPSG:28407",
maxExtent: new OpenLayers.Bounds(7361000, 6115000, 7435000, 6212000),
numZoomLevels: 6,
});
var wms_layer = new OpenLayers.Layer.WMS("GRASS WMS", '/wms', {
layers: "mo@PERMANENT,io_15@PERMANENT"
},{
singleTile: true,
});
map.addLayer(wms_layer);
map.zoomToMaxExtent();
}
</script>
</head>
<body onload="init()">
< div id="map-div" style="height: 600px; width: 800px;"></div>
</body>
</html>"""
return Response(body=body, content_type="text/html", status=200)
Понятно, что список доступных слоев (<code>layers: "mo@PERMANENT,io_15@PERMANENT"</code>) и параметры области (<code>{projection: "EPSG:28407", maxExtent: new OpenLayers.Bounds(7361000, 6115000, 7435000, 6212000), numZoomLevels: 6}</code>) следует отредактировать под конкретный проект.

=== Конфигурирование Pyramid ===
Для того, чтобы описанные выше функции можно было использовать, необходимо сконфигурировать Pyramid. Пример такой функции приведен ниже:
def main():
config = Configurator()
config.add_static_view('static', 'static', cache_max_age=3600)
config.add_route("index", '/')
config.add_route("wms", '/wms')
config.scan()
app = config.make_wsgi_app()
server = make_server('0.0.0.0', 8080, app)
server.serve_forever()

Эта функция создает сервер, который будет функционировать по адресу 0.0.0.0:8080

=== Использование ===
После того, как WMS сервер будет настроен, можно его запустить командой:
python grass_wms.py
(Здесь предполагается, что программный код хранится в файле grass_wms.py).

Для проверки того, все ли было настроено верно, можно открыть браузер и в адресную строку внести параметры WMS-запроса, например,
http://0.0.0.0:8080/wms?BBOX=7361000,6115000,7435000,6212000&LAYERS=mo@PERMANENT&WIDTH=300&HEIGHT=700
В результате в окне браузера будет показана запрошенная карта, построенная на базе слоя mo@PERMANENT.
Также можно загрузить сразу веб-странцу по адресу
http://0.0.0.0:8080/
на которой при помощи OpenLayers будет отображена веб-карта, поддерживающая возможности прокрутки и масштабирования.

== Ограничения данной реализации ==
Рассмотренный пример демонстрирует принцип создания сервера WMS, потому в нем опущен ряд деталей, которые должны быть реализованы в реальной системе. Например, в рассмотренном варианте присутствуют следующие ограничения:
* Нет перепроецирования "на лету". Т.е. построенный сервер WMS может возвращать слои только в той проекции, в которой хранятся данные GRASS.
* Реализация не является потокобезопасной. Например, при одновременном запросе данных из разных областей GRASS могут проявляться неожиданные побочные эффекты.

== Ссылки по теме ==
* [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid]
* [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html Документация фреймворка Pyramid]
* [http://grass.osgeo.org/ GRASS GIS: The world's leading Free GIS software]

Создание WMS сервера на базе GRASS GIS и Pyramid

2014-05-05T04:25:24Z

KolesovDmitry: /* Создание веб-приложения */

В данной статье описывается простой пример создания [http://gis-lab.info/qa/ows.html WMS сервера] на базе геоинформационной системы GRASS. Доступ к данным организован при помощи [http://ru.wikipedia.org/wiki/Pyramid_%28%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D1%8B%D0%B9_%D0%BA%D0%B0%D1%80%D0%BA%D0%B0%D1%81%29 фреймворка Pyramid].

Данная статья является расширенным переводом статьи [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid].

== Общие сведения ==
Статья расчитана на читателя, который на базовом уровне знаком с геоинформационной системой GRASS и основами веб-разработки на языке программирования Python. В частности, читатель должен представлять, [http://gis-lab.info/qa/grass-external-scripting.html как происходит вызов команд GRASS на языке Python] и быть знакомым [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html с принципами использования фреймворка Pyramid].

В статье используется GRASS версии 6.4. Приведенный код применим и к более новым версиям GRASS, но, возможно, потребуется его незначительная правка.

Исходный код модуля описанный в статье доступен по ссылке: [[Файл: Grass_wms.zip‎]].

=== Архитектура системы ===
В разрабатываемой системе вся обработка геоданных будет возложена на GRASS, а обработка веб-запросов --- на Pyramid.
Основная часть WMS сервера, отвечающая за отрисовку геоданных --- модуль [http://grass.osgeo.org/grass64/manuals/d.mon.html d.mon], который будет использоваться совместно с [http://grass.osgeo.org/grass64/manuals/cairodriver.html графическим драйвером Cairo], позволяющим генерировать изображения в форматах PNG, BMP, PPM, PS, PDF и SVG.

Для реализации сервера потребуется создать функции, служащие для:

# Настройки путей к GRASS.
# Получения и анализа параметров запроса WMS.
# Отрисовки слоев по запросу клиента и сохранения результата в графический файл.
# Возвращения результата обработки запроса клиенту.

Собственно к GRASS относятся первый и третий пункты, остальные --- обычные действия по обработке веб-запросов, которые реализуются при помощи Pyramid. Поэтому для простоты изложения и реализации объединим первый и третий пункты в виде одной функции, а второй и четвертый --- в виде другой.

=== Зависимости и их установка ===
Для того, чтобы WMS сервер мог функционировать, требуется, чтобы на компьютере была установлена геоинформационная система [http://grass.osgeo.org/download/ GRASS] и [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/install.html Pyramid] (Pyramid рекомендуется устанавливать в [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/install.html#installing-the-virtualenv-package виртуальное окружение], чтобы не "мусорить" в основной системе).

Установка этих систем обеспечит установку и настройку требуемых зависимостей.

== Реализация ==
=== Настройка путей GRASS и обработка запроса клиента ===
Ниже приводится код функции, которая инициализирует GRASS, отрисовывает запрошенные пользователем слои и сохраняет полученное изображение во временном файле.

На вход функция принимает
* список слоев (layers), которые требуется отрисовать;
* охват интересующего пользователя региона (bbox);
* ширину/высоту (width/height) изображения.

На выходе функция возвращает имя файла, в котором будет сохранено запрошенное изображение.

def _grass_wms(layers=[], bbox=[], width=256, height=256):
# Прописываем пути к GRASS. Исправить под свои нужды.
gisdbase = "/home/useranme/GRASSDATA"
location = "MSK_28407"
mapset = "PERMANENT"
gisbase = os.environ["GISBASE"] = "/usr/lib/grass64"

# Добавляем путь модулям GRASS в системные пути
sys.path.append("%s/etc/python" % gisbase)

# Импортируем библиотеки GRASS
from grass.script import core as grass
from grass.script import setup as gsetup

# Инициализируем GRASS
gsetup.init(gisbase, gisdbase,
location, mapset)

# Получаем список известных растровых и векторных слоев
vector_layers = grass.list_strings(type = "vect")
raster_layers = grass.list_strings(type = "rast")

grass.run_command("g.region", w=bbox[0], s=bbox[1], e=bbox[2], n=bbox[3])

# Создание временного файла
tempfile = grass.tempfile()
filename = "%s.png" % tempfile

# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height

# Отрисовка
grass.run_command("d.mon", start="cairo")

for layer in layers:
if layer in raster_layers:
grass.run_command("d.rast", map=layer, quiet=1)
elif layer in vector_layers:
grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)

grass.run_command("d.mon", stop="cairo")

return filename

Как видим, большая часть кода связана с первоначальной настройкой GRASS. Основной код по отрисовке запрошенных слоев использует команды GRASS и занимает всего пять строк:
for layer in layers:
...
При этом все векторные слои будут отрисованы синим цветом, (см. параметры, передаваемые в <code>grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)</code>). Внешний вид слоя может быть изменен настройкой параметров команды [http://grass.osgeo.org/grass64/manuals/d.vect.html d.vect]. Например, данной командой можно назначить стиль отображения объекта в зависимости от его атрибутов или геометрических характеристик.

Аналогично, растровые слои отображаются в цветовой схеме по умолчанию (или заранее назначенной пользователем вручную). При необходимости изменить стиль слоя при отрисовке следует воспользоваться командами, обрабатывающими цветовые схемы растровых карт, например [http://grass.osgeo.org/grass64/manuals/r.colors.html r.colors] или аналогичными модулями.

Временный файл, в который сохраняется отрисованное изображение, в GRASS 6.4 задается следующими строками:
# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height
Для GRASS седьмой версии можно немного упростить этот код, передавая параметры напрямую модулю <code>d.mon</code>. Пример можно посмотреть в [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html исходной статье].

=== Анализ запроса пользователя и возвращение результата ===
Анализ запроса пользователя производится в следующей функции:
@view_config(route_name="wms")
def wms_view(request):

layers = request.params.get("LAYERS", "").split(",")
bbox = request.params.get("BBOX", "").split(",")
width = request.params.get("WIDTH")
height = request.params.get("HEIGHT")

try:
filename = _grass_wms(layers=layers,
bbox=bbox,
width=width,
height=height)
f = open(filename, "r+")
return Response(body=f.read(), content_type="image/png")
except:
pass

Данная функция принимает запрос (request), в котором могут определяться:
* список слоев в запрашиваемом изображении (параметр LAYERS);
* охват области запрашиваемого изображения (параметр BBOX);
* высота и ширина запрашиваемого изображения (параметры HEIGHT и WIDTH).

Полученные параметры анализируются и передаются в определенную выше функцию _grass_wms. Результат работы функции --- имя файла изображения --- считывается с диска и возвращается в качестве ответа на запрос.

=== Создание веб-приложения ===
Еще одно действие --- создание простейшего веб-приложения, которое использует построенный WMS сервер. Воспользуемся библиотекой [http://gis-lab.info/qa/openlayers-begin.html OpenLayers] для отображения карты, возвращаемой сервером.

Данный шаг является необязательным, но его удобно реализовать в целях отладки.

Следующая функция создает веб-страницу с картой на базе слоев векторных слоев mo и io_15 из набора PERMANENT:
@view_config(route_name="index")
def index_view(request):
body = """
<html xml:lang="en"
xmlns:tal="http://xml.zope.org/namespaces/tal"
xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>GRASS GIS Web Map Service</title>
<script src="http://openlayers.org/api/OpenLayers.js" type="text/javascript"></script>
<script type="text/javascript">
var map, wms_layer;
function init(){
var map = new OpenLayers.Map("map-div",{
projection: "EPSG:28407",
maxExtent: new OpenLayers.Bounds(7361000, 6115000, 7435000, 6212000),
numZoomLevels: 6,
});
var wms_layer = new OpenLayers.Layer.WMS("GRASS WMS", '/wms', {
layers: "mo@PERMANENT,io_15@PERMANENT"
},{
singleTile: true,
});
map.addLayer(wms_layer);
map.zoomToMaxExtent();
}
</script>
</head>
<body onload="init()">
< div id="map-div" style="height: 600px; width: 800px;"></div>
</body>
</html>"""
return Response(body=body, content_type="text/html", status=200)
Понятно, что список доступных слоев (<code>layers: "mo@PERMANENT,io_15@PERMANENT"</code>) и параметры области (<code>{projection: "EPSG:28407", maxExtent: new OpenLayers.Bounds(7361000, 6115000, 7435000, 6212000), numZoomLevels: 6}</code>) следует отредактировать под конкретный проект.

=== Конфигурирование Pyramid ===
Для того, чтобы описанные выше функции можно было использовать, необходимо сконфигурировать Pyramid. Пример такой функции приведен ниже:
def main():
config = Configurator()
config.add_static_view('static', 'static', cache_max_age=3600)
config.add_route("index", '/')
config.add_route("wms", '/wms')
config.scan()
app = config.make_wsgi_app()
server = make_server('0.0.0.0', 8080, app)
server.serve_forever()

== Ограничения данной реализации ==
Рассмотренный пример демонстрирует принцип создания сервера WMS, потому в нем опущен ряд деталей, которые должны быть реализованы в реальной системе. Например, в рассмотренном варианте присутствуют следующие ограничения:
* Нет перепроецирования "на лету". Т.е. построенный сервер WMS может возвращать слои только в той проекции, в которой хранятся данные GRASS.
* Реализация не является потокобезопасной. Например, при одновременном запросе данных из разных областей GRASS могут проявляться неожиданные побочные эффекты.

== Ссылки по теме ==
* [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid]
* [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html Документация фреймворка Pyramid]
* [http://grass.osgeo.org/ GRASS GIS: The world's leading Free GIS software]

Создание WMS сервера на базе GRASS GIS и Pyramid

2014-05-05T04:17:13Z

KolesovDmitry: /* Зависимости и их установка */

В данной статье описывается простой пример создания [http://gis-lab.info/qa/ows.html WMS сервера] на базе геоинформационной системы GRASS. Доступ к данным организован при помощи [http://ru.wikipedia.org/wiki/Pyramid_%28%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D1%8B%D0%B9_%D0%BA%D0%B0%D1%80%D0%BA%D0%B0%D1%81%29 фреймворка Pyramid].

Данная статья является расширенным переводом статьи [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid].

== Общие сведения ==
Статья расчитана на читателя, который на базовом уровне знаком с геоинформационной системой GRASS и основами веб-разработки на языке программирования Python. В частности, читатель должен представлять, [http://gis-lab.info/qa/grass-external-scripting.html как происходит вызов команд GRASS на языке Python] и быть знакомым [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html с принципами использования фреймворка Pyramid].

В статье используется GRASS версии 6.4. Приведенный код применим и к более новым версиям GRASS, но, возможно, потребуется его незначительная правка.

Исходный код модуля описанный в статье доступен по ссылке: [[Файл: Grass_wms.zip‎]].

=== Архитектура системы ===
В разрабатываемой системе вся обработка геоданных будет возложена на GRASS, а обработка веб-запросов --- на Pyramid.
Основная часть WMS сервера, отвечающая за отрисовку геоданных --- модуль [http://grass.osgeo.org/grass64/manuals/d.mon.html d.mon], который будет использоваться совместно с [http://grass.osgeo.org/grass64/manuals/cairodriver.html графическим драйвером Cairo], позволяющим генерировать изображения в форматах PNG, BMP, PPM, PS, PDF и SVG.

Для реализации сервера потребуется создать функции, служащие для:

# Настройки путей к GRASS.
# Получения и анализа параметров запроса WMS.
# Отрисовки слоев по запросу клиента и сохранения результата в графический файл.
# Возвращения результата обработки запроса клиенту.

Собственно к GRASS относятся первый и третий пункты, остальные --- обычные действия по обработке веб-запросов, которые реализуются при помощи Pyramid. Поэтому для простоты изложения и реализации объединим первый и третий пункты в виде одной функции, а второй и четвертый --- в виде другой.

=== Зависимости и их установка ===
Для того, чтобы WMS сервер мог функционировать, требуется, чтобы на компьютере была установлена геоинформационная система [http://grass.osgeo.org/download/ GRASS] и [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/install.html Pyramid] (Pyramid рекомендуется устанавливать в [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/install.html#installing-the-virtualenv-package виртуальное окружение], чтобы не "мусорить" в основной системе).

Установка этих систем обеспечит установку и настройку требуемых зависимостей.

== Реализация ==
=== Настройка путей GRASS и обработка запроса клиента ===
Ниже приводится код функции, которая инициализирует GRASS, отрисовывает запрошенные пользователем слои и сохраняет полученное изображение во временном файле.

На вход функция принимает
* список слоев (layers), которые требуется отрисовать;
* охват интересующего пользователя региона (bbox);
* ширину/высоту (width/height) изображения.

На выходе функция возвращает имя файла, в котором будет сохранено запрошенное изображение.

def _grass_wms(layers=[], bbox=[], width=256, height=256):
# Прописываем пути к GRASS. Исправить под свои нужды.
gisdbase = "/home/useranme/GRASSDATA"
location = "MSK_28407"
mapset = "PERMANENT"
gisbase = os.environ["GISBASE"] = "/usr/lib/grass64"

# Добавляем путь модулям GRASS в системные пути
sys.path.append("%s/etc/python" % gisbase)

# Импортируем библиотеки GRASS
from grass.script import core as grass
from grass.script import setup as gsetup

# Инициализируем GRASS
gsetup.init(gisbase, gisdbase,
location, mapset)

# Получаем список известных растровых и векторных слоев
vector_layers = grass.list_strings(type = "vect")
raster_layers = grass.list_strings(type = "rast")

grass.run_command("g.region", w=bbox[0], s=bbox[1], e=bbox[2], n=bbox[3])

# Создание временного файла
tempfile = grass.tempfile()
filename = "%s.png" % tempfile

# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height

# Отрисовка
grass.run_command("d.mon", start="cairo")

for layer in layers:
if layer in raster_layers:
grass.run_command("d.rast", map=layer, quiet=1)
elif layer in vector_layers:
grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)

grass.run_command("d.mon", stop="cairo")

return filename

Как видим, большая часть кода связана с первоначальной настройкой GRASS. Основной код по отрисовке запрошенных слоев использует команды GRASS и занимает всего пять строк:
for layer in layers:
...
При этом все векторные слои будут отрисованы синим цветом, (см. параметры, передаваемые в <code>grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)</code>). Внешний вид слоя может быть изменен настройкой параметров команды [http://grass.osgeo.org/grass64/manuals/d.vect.html d.vect]. Например, данной командой можно назначить стиль отображения объекта в зависимости от его атрибутов или геометрических характеристик.

Аналогично, растровые слои отображаются в цветовой схеме по умолчанию (или заранее назначенной пользователем вручную). При необходимости изменить стиль слоя при отрисовке следует воспользоваться командами, обрабатывающими цветовые схемы растровых карт, например [http://grass.osgeo.org/grass64/manuals/r.colors.html r.colors] или аналогичными модулями.

Временный файл, в который сохраняется отрисованное изображение, в GRASS 6.4 задается следующими строками:
# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height
Для GRASS седьмой версии можно немного упростить этот код, передавая параметры напрямую модулю <code>d.mon</code>. Пример можно посмотреть в [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html исходной статье].

=== Анализ запроса пользователя и возвращение результата ===
Анализ запроса пользователя производится в следующей функции:
@view_config(route_name="wms")
def wms_view(request):

layers = request.params.get("LAYERS", "").split(",")
bbox = request.params.get("BBOX", "").split(",")
width = request.params.get("WIDTH")
height = request.params.get("HEIGHT")

try:
filename = _grass_wms(layers=layers,
bbox=bbox,
width=width,
height=height)
f = open(filename, "r+")
return Response(body=f.read(), content_type="image/png")
except:
pass

Данная функция принимает запрос (request), в котором могут определяться:
* список слоев в запрашиваемом изображении (параметр LAYERS);
* охват области запрашиваемого изображения (параметр BBOX);
* высота и ширина запрашиваемого изображения (параметры HEIGHT и WIDTH).

Полученные параметры анализируются и передаются в определенную выше функцию _grass_wms. Результат работы функции --- имя файла изображения --- считывается с диска и возвращается в качестве ответа на запрос.

=== Создание веб-приложения ===
Еще одно действие --- создание простейшего веб-приложения, которое использует построенный WMS сервер. Воспользуемся библиотекой [http://gis-lab.info/qa/openlayers-begin.html OpenLayers] для отображения карты, возвращаемой сервером.

Данный шаг является необязательным, но его удобно реализовать в целях отладки.

Следующая функция создает веб-страницу с картой на базе слоев векторных слоев mo и io_15:
@view_config(route_name="index")
def index_view(request):
body = """
<html xml:lang="en"
xmlns:tal="http://xml.zope.org/namespaces/tal"
xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>GRASS GIS Web Map Service</title>
<script src="http://openlayers.org/api/OpenLayers.js" type="text/javascript"></script>
<script type="text/javascript">
var map, wms_layer;
function init(){
var map = new OpenLayers.Map("map-div",{
projection: "EPSG:28407",
maxExtent: new OpenLayers.Bounds(7361000, 6115000, 7435000, 6212000),
numZoomLevels: 6,
});
var wms_layer = new OpenLayers.Layer.WMS("GRASS WMS", '/wms', {
layers: "mo,io_15"
},{
singleTile: true,
});
map.addLayer(wms_layer);
map.zoomToMaxExtent();
}
</script>
</head>
<body onload="init()">
< div id="map-div" style="height: 600px; width: 800px;"></div>
</body>
</html>"""
return Response(body=body, content_type="text/html", status=200)

=== Конфигурирование Pyramid ===
Для того, чтобы описанные выше функции можно было использовать, необходимо сконфигурировать Pyramid. Пример такой функции приведен ниже:
def main():
config = Configurator()
config.add_static_view('static', 'static', cache_max_age=3600)
config.add_route("index", '/')
config.add_route("wms", '/wms')
config.scan()
app = config.make_wsgi_app()
server = make_server('0.0.0.0', 8080, app)
server.serve_forever()

== Ограничения данной реализации ==
Рассмотренный пример демонстрирует принцип создания сервера WMS, потому в нем опущен ряд деталей, которые должны быть реализованы в реальной системе. Например, в рассмотренном варианте присутствуют следующие ограничения:
* Нет перепроецирования "на лету". Т.е. построенный сервер WMS может возвращать слои только в той проекции, в которой хранятся данные GRASS.
* Реализация не является потокобезопасной. Например, при одновременном запросе данных из разных областей GRASS могут проявляться неожиданные побочные эффекты.

== Ссылки по теме ==
* [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid]
* [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html Документация фреймворка Pyramid]
* [http://grass.osgeo.org/ GRASS GIS: The world's leading Free GIS software]

Создание WMS сервера на базе GRASS GIS и Pyramid

2014-05-05T04:15:33Z

KolesovDmitry: /* Архитектура системы */

В данной статье описывается простой пример создания [http://gis-lab.info/qa/ows.html WMS сервера] на базе геоинформационной системы GRASS. Доступ к данным организован при помощи [http://ru.wikipedia.org/wiki/Pyramid_%28%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D1%8B%D0%B9_%D0%BA%D0%B0%D1%80%D0%BA%D0%B0%D1%81%29 фреймворка Pyramid].

Данная статья является расширенным переводом статьи [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid].

== Общие сведения ==
Статья расчитана на читателя, который на базовом уровне знаком с геоинформационной системой GRASS и основами веб-разработки на языке программирования Python. В частности, читатель должен представлять, [http://gis-lab.info/qa/grass-external-scripting.html как происходит вызов команд GRASS на языке Python] и быть знакомым [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html с принципами использования фреймворка Pyramid].

В статье используется GRASS версии 6.4. Приведенный код применим и к более новым версиям GRASS, но, возможно, потребуется его незначительная правка.

Исходный код модуля описанный в статье доступен по ссылке: [[Файл: Grass_wms.zip‎]].

=== Архитектура системы ===
В разрабатываемой системе вся обработка геоданных будет возложена на GRASS, а обработка веб-запросов --- на Pyramid.
Основная часть WMS сервера, отвечающая за отрисовку геоданных --- модуль [http://grass.osgeo.org/grass64/manuals/d.mon.html d.mon], который будет использоваться совместно с [http://grass.osgeo.org/grass64/manuals/cairodriver.html графическим драйвером Cairo], позволяющим генерировать изображения в форматах PNG, BMP, PPM, PS, PDF и SVG.

Для реализации сервера потребуется создать функции, служащие для:

# Настройки путей к GRASS.
# Получения и анализа параметров запроса WMS.
# Отрисовки слоев по запросу клиента и сохранения результата в графический файл.
# Возвращения результата обработки запроса клиенту.

Собственно к GRASS относятся первый и третий пункты, остальные --- обычные действия по обработке веб-запросов, которые реализуются при помощи Pyramid. Поэтому для простоты изложения и реализации объединим первый и третий пункты в виде одной функции, а второй и четвертый --- в виде другой.

=== Зависимости и их установка ===
Для того, чтобы WMS сервер мог функционировать, требуется, на компьютере была установлена геоинформационная система [http://grass.osgeo.org/download/ GRASS] и [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/install.html Pyramid] (Pyramid рекомендуется устанавливать в [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/install.html#installing-the-virtualenv-package виртуальное окружение], чтобы не "мусорить" в основной системе).

Установка этих систем обеспечит установку и настройку требуемых зависимостей, поэтому никаких дополнительных .

== Реализация ==
=== Настройка путей GRASS и обработка запроса клиента ===
Ниже приводится код функции, которая инициализирует GRASS, отрисовывает запрошенные пользователем слои и сохраняет полученное изображение во временном файле.

На вход функция принимает
* список слоев (layers), которые требуется отрисовать;
* охват интересующего пользователя региона (bbox);
* ширину/высоту (width/height) изображения.

На выходе функция возвращает имя файла, в котором будет сохранено запрошенное изображение.

def _grass_wms(layers=[], bbox=[], width=256, height=256):
# Прописываем пути к GRASS. Исправить под свои нужды.
gisdbase = "/home/useranme/GRASSDATA"
location = "MSK_28407"
mapset = "PERMANENT"
gisbase = os.environ["GISBASE"] = "/usr/lib/grass64"

# Добавляем путь модулям GRASS в системные пути
sys.path.append("%s/etc/python" % gisbase)

# Импортируем библиотеки GRASS
from grass.script import core as grass
from grass.script import setup as gsetup

# Инициализируем GRASS
gsetup.init(gisbase, gisdbase,
location, mapset)

# Получаем список известных растровых и векторных слоев
vector_layers = grass.list_strings(type = "vect")
raster_layers = grass.list_strings(type = "rast")

grass.run_command("g.region", w=bbox[0], s=bbox[1], e=bbox[2], n=bbox[3])

# Создание временного файла
tempfile = grass.tempfile()
filename = "%s.png" % tempfile

# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height

# Отрисовка
grass.run_command("d.mon", start="cairo")

for layer in layers:
if layer in raster_layers:
grass.run_command("d.rast", map=layer, quiet=1)
elif layer in vector_layers:
grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)

grass.run_command("d.mon", stop="cairo")

return filename

Как видим, большая часть кода связана с первоначальной настройкой GRASS. Основной код по отрисовке запрошенных слоев использует команды GRASS и занимает всего пять строк:
for layer in layers:
...
При этом все векторные слои будут отрисованы синим цветом, (см. параметры, передаваемые в <code>grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)</code>). Внешний вид слоя может быть изменен настройкой параметров команды [http://grass.osgeo.org/grass64/manuals/d.vect.html d.vect]. Например, данной командой можно назначить стиль отображения объекта в зависимости от его атрибутов или геометрических характеристик.

Аналогично, растровые слои отображаются в цветовой схеме по умолчанию (или заранее назначенной пользователем вручную). При необходимости изменить стиль слоя при отрисовке следует воспользоваться командами, обрабатывающими цветовые схемы растровых карт, например [http://grass.osgeo.org/grass64/manuals/r.colors.html r.colors] или аналогичными модулями.

Временный файл, в который сохраняется отрисованное изображение, в GRASS 6.4 задается следующими строками:
# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height
Для GRASS седьмой версии можно немного упростить этот код, передавая параметры напрямую модулю <code>d.mon</code>. Пример можно посмотреть в [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html исходной статье].

=== Анализ запроса пользователя и возвращение результата ===
Анализ запроса пользователя производится в следующей функции:
@view_config(route_name="wms")
def wms_view(request):

layers = request.params.get("LAYERS", "").split(",")
bbox = request.params.get("BBOX", "").split(",")
width = request.params.get("WIDTH")
height = request.params.get("HEIGHT")

try:
filename = _grass_wms(layers=layers,
bbox=bbox,
width=width,
height=height)
f = open(filename, "r+")
return Response(body=f.read(), content_type="image/png")
except:
pass

Данная функция принимает запрос (request), в котором могут определяться:
* список слоев в запрашиваемом изображении (параметр LAYERS);
* охват области запрашиваемого изображения (параметр BBOX);
* высота и ширина запрашиваемого изображения (параметры HEIGHT и WIDTH).

Полученные параметры анализируются и передаются в определенную выше функцию _grass_wms. Результат работы функции --- имя файла изображения --- считывается с диска и возвращается в качестве ответа на запрос.

=== Создание веб-приложения ===
Еще одно действие --- создание простейшего веб-приложения, которое использует построенный WMS сервер. Воспользуемся библиотекой [http://gis-lab.info/qa/openlayers-begin.html OpenLayers] для отображения карты, возвращаемой сервером.

Данный шаг является необязательным, но его удобно реализовать в целях отладки.

Следующая функция создает веб-страницу с картой на базе слоев векторных слоев mo и io_15:
@view_config(route_name="index")
def index_view(request):
body = """
<html xml:lang="en"
xmlns:tal="http://xml.zope.org/namespaces/tal"
xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>GRASS GIS Web Map Service</title>
<script src="http://openlayers.org/api/OpenLayers.js" type="text/javascript"></script>
<script type="text/javascript">
var map, wms_layer;
function init(){
var map = new OpenLayers.Map("map-div",{
projection: "EPSG:28407",
maxExtent: new OpenLayers.Bounds(7361000, 6115000, 7435000, 6212000),
numZoomLevels: 6,
});
var wms_layer = new OpenLayers.Layer.WMS("GRASS WMS", '/wms', {
layers: "mo,io_15"
},{
singleTile: true,
});
map.addLayer(wms_layer);
map.zoomToMaxExtent();
}
</script>
</head>
<body onload="init()">
< div id="map-div" style="height: 600px; width: 800px;"></div>
</body>
</html>"""
return Response(body=body, content_type="text/html", status=200)

=== Конфигурирование Pyramid ===
Для того, чтобы описанные выше функции можно было использовать, необходимо сконфигурировать Pyramid. Пример такой функции приведен ниже:
def main():
config = Configurator()
config.add_static_view('static', 'static', cache_max_age=3600)
config.add_route("index", '/')
config.add_route("wms", '/wms')
config.scan()
app = config.make_wsgi_app()
server = make_server('0.0.0.0', 8080, app)
server.serve_forever()

== Ограничения данной реализации ==
Рассмотренный пример демонстрирует принцип создания сервера WMS, потому в нем опущен ряд деталей, которые должны быть реализованы в реальной системе. Например, в рассмотренном варианте присутствуют следующие ограничения:
* Нет перепроецирования "на лету". Т.е. построенный сервер WMS может возвращать слои только в той проекции, в которой хранятся данные GRASS.
* Реализация не является потокобезопасной. Например, при одновременном запросе данных из разных областей GRASS могут проявляться неожиданные побочные эффекты.

== Ссылки по теме ==
* [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid]
* [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html Документация фреймворка Pyramid]
* [http://grass.osgeo.org/ GRASS GIS: The world's leading Free GIS software]

Создание WMS сервера на базе GRASS GIS и Pyramid

2014-05-04T17:38:31Z

KolesovDmitry: /* Архитектура системы */

В данной статье описывается простой пример создания [http://gis-lab.info/qa/ows.html WMS сервера] на базе геоинформационной системы GRASS. Доступ к данным организован при помощи [http://ru.wikipedia.org/wiki/Pyramid_%28%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D1%8B%D0%B9_%D0%BA%D0%B0%D1%80%D0%BA%D0%B0%D1%81%29 фреймворка Pyramid].

Данная статья является расширенным переводом статьи [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid].

== Общие сведения ==
Статья расчитана на читателя, который на базовом уровне знаком с геоинформационной системой GRASS и основами веб-разработки на языке программирования Python. В частности, читатель должен представлять, [http://gis-lab.info/qa/grass-external-scripting.html как происходит вызов команд GRASS на языке Python] и быть знакомым [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html с принципами использования фреймворка Pyramid].

В статье используется GRASS версии 6.4. Приведенный код применим и к более новым версиям GRASS, но, возможно, потребуется его незначительная правка.

Исходный код модуля описанный в статье доступен по ссылке: [[Файл: Grass_wms.zip‎]].

=== Архитектура системы ===
В разрабатываемой системе вся обработка геоданных будет возложена на GRASS, а обработка веб-запросов --- на Pyramid.
Основная часть WMS сервера, отвечающая за отрисовку геоданных --- модуль [http://grass.osgeo.org/grass64/manuals/d.mon.html d.mon], который будет использоваться совместно с [http://grass.osgeo.org/grass64/manuals/cairodriver.html графическим драйвером Cairo], позволяющим генерировать изображения в форматах PNG, BMP, PPM, PS, PDF и SVG.

Для реализации сервера потребуется создать функции, служащие для:

# Настройки путей к GRASS.
# Получения и анализа параметров запроса WMS.
# Отрисовки слоев по запросу клиента и сохранения результата в графический файл.
# Возвращения результата обработки запроса клиенту.

Собственно к GRASS относятся первый и третий пункты, остальные --- обычные действия по обработке веб-запросов, которые реализуются при помощи Pyramid. Поэтому для простоты изложения и реализации объединим первый и третий пункты в виде одной функции, а второй и четвертый --- в виде другой.

== Реализация ==
=== Настройка путей GRASS и обработка запроса клиента ===
Ниже приводится код функции, которая инициализирует GRASS, отрисовывает запрошенные пользователем слои и сохраняет полученное изображение во временном файле.

На вход функция принимает
* список слоев (layers), которые требуется отрисовать;
* охват интересующего пользователя региона (bbox);
* ширину/высоту (width/height) изображения.

На выходе функция возвращает имя файла, в котором будет сохранено запрошенное изображение.

def _grass_wms(layers=[], bbox=[], width=256, height=256):
# Прописываем пути к GRASS. Исправить под свои нужды.
gisdbase = "/home/useranme/GRASSDATA"
location = "MSK_28407"
mapset = "PERMANENT"
gisbase = os.environ["GISBASE"] = "/usr/lib/grass64"

# Добавляем путь модулям GRASS в системные пути
sys.path.append("%s/etc/python" % gisbase)

# Импортируем библиотеки GRASS
from grass.script import core as grass
from grass.script import setup as gsetup

# Инициализируем GRASS
gsetup.init(gisbase, gisdbase,
location, mapset)

# Получаем список известных растровых и векторных слоев
vector_layers = grass.list_strings(type = "vect")
raster_layers = grass.list_strings(type = "rast")

grass.run_command("g.region", w=bbox[0], s=bbox[1], e=bbox[2], n=bbox[3])

# Создание временного файла
tempfile = grass.tempfile()
filename = "%s.png" % tempfile

# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height

# Отрисовка
grass.run_command("d.mon", start="cairo")

for layer in layers:
if layer in raster_layers:
grass.run_command("d.rast", map=layer, quiet=1)
elif layer in vector_layers:
grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)

grass.run_command("d.mon", stop="cairo")

return filename

Как видим, большая часть кода связана с первоначальной настройкой GRASS. Основной код по отрисовке запрошенных слоев использует команды GRASS и занимает всего пять строк:
for layer in layers:
...
При этом все векторные слои будут отрисованы синим цветом, (см. параметры, передаваемые в <code>grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)</code>). Внешний вид слоя может быть изменен настройкой параметров команды [http://grass.osgeo.org/grass64/manuals/d.vect.html d.vect]. Например, данной командой можно назначить стиль отображения объекта в зависимости от его атрибутов или геометрических характеристик.

Аналогично, растровые слои отображаются в цветовой схеме по умолчанию (или заранее назначенной пользователем вручную). При необходимости изменить стиль слоя при отрисовке следует воспользоваться командами, обрабатывающими цветовые схемы растровых карт, например [http://grass.osgeo.org/grass64/manuals/r.colors.html r.colors] или аналогичными модулями.

Временный файл, в который сохраняется отрисованное изображение, в GRASS 6.4 задается следующими строками:
# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height
Для GRASS седьмой версии можно немного упростить этот код, передавая параметры напрямую модулю <code>d.mon</code>. Пример можно посмотреть в [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html исходной статье].

=== Анализ запроса пользователя и возвращение результата ===
Анализ запроса пользователя производится в следующей функции:
@view_config(route_name="wms")
def wms_view(request):

layers = request.params.get("LAYERS", "").split(",")
bbox = request.params.get("BBOX", "").split(",")
width = request.params.get("WIDTH")
height = request.params.get("HEIGHT")

try:
filename = _grass_wms(layers=layers,
bbox=bbox,
width=width,
height=height)
f = open(filename, "r+")
return Response(body=f.read(), content_type="image/png")
except:
pass

Данная функция принимает запрос (request), в котором могут определяться:
* список слоев в запрашиваемом изображении (параметр LAYERS);
* охват области запрашиваемого изображения (параметр BBOX);
* высота и ширина запрашиваемого изображения (параметры HEIGHT и WIDTH).

Полученные параметры анализируются и передаются в определенную выше функцию _grass_wms. Результат работы функции --- имя файла изображения --- считывается с диска и возвращается в качестве ответа на запрос.

=== Создание веб-приложения ===
Еще одно действие --- создание простейшего веб-приложения, которое использует построенный WMS сервер. Воспользуемся библиотекой [http://gis-lab.info/qa/openlayers-begin.html OpenLayers] для отображения карты, возвращаемой сервером.

Данный шаг является необязательным, но его удобно реализовать в целях отладки.

Следующая функция создает веб-страницу с картой на базе слоев векторных слоев mo и io_15:
@view_config(route_name="index")
def index_view(request):
body = """
<html xml:lang="en"
xmlns:tal="http://xml.zope.org/namespaces/tal"
xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>GRASS GIS Web Map Service</title>
<script src="http://openlayers.org/api/OpenLayers.js" type="text/javascript"></script>
<script type="text/javascript">
var map, wms_layer;
function init(){
var map = new OpenLayers.Map("map-div",{
projection: "EPSG:28407",
maxExtent: new OpenLayers.Bounds(7361000, 6115000, 7435000, 6212000),
numZoomLevels: 6,
});
var wms_layer = new OpenLayers.Layer.WMS("GRASS WMS", '/wms', {
layers: "mo,io_15"
},{
singleTile: true,
});
map.addLayer(wms_layer);
map.zoomToMaxExtent();
}
</script>
</head>
<body onload="init()">
< div id="map-div" style="height: 600px; width: 800px;"></div>
</body>
</html>"""
return Response(body=body, content_type="text/html", status=200)

=== Конфигурирование Pyramid ===
Для того, чтобы описанные выше функции можно было использовать, необходимо сконфигурировать Pyramid. Пример такой функции приведен ниже:
def main():
config = Configurator()
config.add_static_view('static', 'static', cache_max_age=3600)
config.add_route("index", '/')
config.add_route("wms", '/wms')
config.scan()
app = config.make_wsgi_app()
server = make_server('0.0.0.0', 8080, app)
server.serve_forever()

== Ограничения данной реализации ==
Рассмотренный пример демонстрирует принцип создания WMS сервера, потому в нем опущен ряд деталей, которые должны быть реализованы в реальной системе. Например, в рассмотренном варианте присутствуют следующие ограничения:
* Нет перпроецирования "на лету". Т.е. построенный WMS сервер может возвращать слои только в той проекции, в которой хранятся данные GRASS.
* Реализация не является потокобезопасной. Например, при одновременном запросе данных из разных областей GRASS могут проявляться неожиданные побочные эффекты.

== Ссылки по теме ==
* [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid]
* [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html Документация фреймворка Pyramid]
* [http://grass.osgeo.org/ GRASS GIS: The world's leading Free GIS software]

Создание WMS сервера на базе GRASS GIS и Pyramid

2014-05-04T17:38:17Z

KolesovDmitry: /* Общие сведения */

В данной статье описывается простой пример создания [http://gis-lab.info/qa/ows.html WMS сервера] на базе геоинформационной системы GRASS. Доступ к данным организован при помощи [http://ru.wikipedia.org/wiki/Pyramid_%28%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D1%8B%D0%B9_%D0%BA%D0%B0%D1%80%D0%BA%D0%B0%D1%81%29 фреймворка Pyramid].

Данная статья является расширенным переводом статьи [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid].

== Общие сведения ==
Статья расчитана на читателя, который на базовом уровне знаком с геоинформационной системой GRASS и основами веб-разработки на языке программирования Python. В частности, читатель должен представлять, [http://gis-lab.info/qa/grass-external-scripting.html как происходит вызов команд GRASS на языке Python] и быть знакомым [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html с принципами использования фреймворка Pyramid].

В статье используется GRASS версии 6.4. Приведенный код применим и к более новым версиям GRASS, но, возможно, потребуется его незначительная правка.

Исходный код модуля описанный в статье доступен по ссылке: [[Файл: Grass_wms.zip‎]].

=== Архитектура системы ===
В разрабатываемой системе вся обработка геоданных будет возложена на GRASS, а обработка веб-запросов --- на Pyramid.
Основная часть WMS сервера, отвечающая за отрисовку геоданных --- модуль [http://grass.osgeo.org/grass64/manuals/d.mon.html d.mon], который будет использоваться совместно с [http://grass.osgeo.org/grass64/manuals/cairodriver.html графическим драйвером Cairo], позволяющим генерировать изображения в форматах PNG, BMP, PPM, PS, PDF и SVG.

Для реализации сервера потребуется создать функции, служащие для:

# Настройки путей к GRASS.
# Получения и анализа параметров запроса WMS.
# Отрисовки слоев по запросу клиента и сохранения результата в графический файл.
# Возвращения результата обработки запроса клиенту.

Собственно к GRASS относятся первый и третий пункты, остальные --- обычные действия по обработке веб-запросов, которые реализуются при помощи Pyramid. Поэтому для простоты изложения и реализации объединим первый и третий пункты в виде одной функции, а второй и четверый --- в виде другой.

== Реализация ==
=== Настройка путей GRASS и обработка запроса клиента ===
Ниже приводится код функции, которая инициализирует GRASS, отрисовывает запрошенные пользователем слои и сохраняет полученное изображение во временном файле.

На вход функция принимает
* список слоев (layers), которые требуется отрисовать;
* охват интересующего пользователя региона (bbox);
* ширину/высоту (width/height) изображения.

На выходе функция возвращает имя файла, в котором будет сохранено запрошенное изображение.

def _grass_wms(layers=[], bbox=[], width=256, height=256):
# Прописываем пути к GRASS. Исправить под свои нужды.
gisdbase = "/home/useranme/GRASSDATA"
location = "MSK_28407"
mapset = "PERMANENT"
gisbase = os.environ["GISBASE"] = "/usr/lib/grass64"

# Добавляем путь модулям GRASS в системные пути
sys.path.append("%s/etc/python" % gisbase)

# Импортируем библиотеки GRASS
from grass.script import core as grass
from grass.script import setup as gsetup

# Инициализируем GRASS
gsetup.init(gisbase, gisdbase,
location, mapset)

# Получаем список известных растровых и векторных слоев
vector_layers = grass.list_strings(type = "vect")
raster_layers = grass.list_strings(type = "rast")

grass.run_command("g.region", w=bbox[0], s=bbox[1], e=bbox[2], n=bbox[3])

# Создание временного файла
tempfile = grass.tempfile()
filename = "%s.png" % tempfile

# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height

# Отрисовка
grass.run_command("d.mon", start="cairo")

for layer in layers:
if layer in raster_layers:
grass.run_command("d.rast", map=layer, quiet=1)
elif layer in vector_layers:
grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)

grass.run_command("d.mon", stop="cairo")

return filename

Как видим, большая часть кода связана с первоначальной настройкой GRASS. Основной код по отрисовке запрошенных слоев использует команды GRASS и занимает всего пять строк:
for layer in layers:
...
При этом все векторные слои будут отрисованы синим цветом, (см. параметры, передаваемые в <code>grass.run_command("d.vect", map=layer, quiet=1, fcolor="0:0:255", color=None)</code>). Внешний вид слоя может быть изменен настройкой параметров команды [http://grass.osgeo.org/grass64/manuals/d.vect.html d.vect]. Например, данной командой можно назначить стиль отображения объекта в зависимости от его атрибутов или геометрических характеристик.

Аналогично, растровые слои отображаются в цветовой схеме по умолчанию (или заранее назначенной пользователем вручную). При необходимости изменить стиль слоя при отрисовке следует воспользоваться командами, обрабатывающими цветовые схемы растровых карт, например [http://grass.osgeo.org/grass64/manuals/r.colors.html r.colors] или аналогичными модулями.

Временный файл, в который сохраняется отрисованное изображение, в GRASS 6.4 задается следующими строками:
# Настраиваем параметры вывода
os.environ["GRASS_CAIROFILE"] = filename
os.environ["GRASS_WIDTH"] = width
os.environ["GRASS_HEIGHT"] = height
Для GRASS седьмой версии можно немного упростить этот код, передавая параметры напрямую модулю <code>d.mon</code>. Пример можно посмотреть в [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html исходной статье].

=== Анализ запроса пользователя и возвращение результата ===
Анализ запроса пользователя производится в следующей функции:
@view_config(route_name="wms")
def wms_view(request):

layers = request.params.get("LAYERS", "").split(",")
bbox = request.params.get("BBOX", "").split(",")
width = request.params.get("WIDTH")
height = request.params.get("HEIGHT")

try:
filename = _grass_wms(layers=layers,
bbox=bbox,
width=width,
height=height)
f = open(filename, "r+")
return Response(body=f.read(), content_type="image/png")
except:
pass

Данная функция принимает запрос (request), в котором могут определяться:
* список слоев в запрашиваемом изображении (параметр LAYERS);
* охват области запрашиваемого изображения (параметр BBOX);
* высота и ширина запрашиваемого изображения (параметры HEIGHT и WIDTH).

Полученные параметры анализируются и передаются в определенную выше функцию _grass_wms. Результат работы функции --- имя файла изображения --- считывается с диска и возвращается в качестве ответа на запрос.

=== Создание веб-приложения ===
Еще одно действие --- создание простейшего веб-приложения, которое использует построенный WMS сервер. Воспользуемся библиотекой [http://gis-lab.info/qa/openlayers-begin.html OpenLayers] для отображения карты, возвращаемой сервером.

Данный шаг является необязательным, но его удобно реализовать в целях отладки.

Следующая функция создает веб-страницу с картой на базе слоев векторных слоев mo и io_15:
@view_config(route_name="index")
def index_view(request):
body = """
<html xml:lang="en"
xmlns:tal="http://xml.zope.org/namespaces/tal"
xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>GRASS GIS Web Map Service</title>
<script src="http://openlayers.org/api/OpenLayers.js" type="text/javascript"></script>
<script type="text/javascript">
var map, wms_layer;
function init(){
var map = new OpenLayers.Map("map-div",{
projection: "EPSG:28407",
maxExtent: new OpenLayers.Bounds(7361000, 6115000, 7435000, 6212000),
numZoomLevels: 6,
});
var wms_layer = new OpenLayers.Layer.WMS("GRASS WMS", '/wms', {
layers: "mo,io_15"
},{
singleTile: true,
});
map.addLayer(wms_layer);
map.zoomToMaxExtent();
}
</script>
</head>
<body onload="init()">
< div id="map-div" style="height: 600px; width: 800px;"></div>
</body>
</html>"""
return Response(body=body, content_type="text/html", status=200)

=== Конфигурирование Pyramid ===
Для того, чтобы описанные выше функции можно было использовать, необходимо сконфигурировать Pyramid. Пример такой функции приведен ниже:
def main():
config = Configurator()
config.add_static_view('static', 'static', cache_max_age=3600)
config.add_route("index", '/')
config.add_route("wms", '/wms')
config.scan()
app = config.make_wsgi_app()
server = make_server('0.0.0.0', 8080, app)
server.serve_forever()

== Ограничения данной реализации ==
Рассмотренный пример демонстрирует принцип создания WMS сервера, потому в нем опущен ряд деталей, которые должны быть реализованы в реальной системе. Например, в рассмотренном варианте присутствуют следующие ограничения:
* Нет перпроецирования "на лету". Т.е. построенный WMS сервер может возвращать слои только в той проекции, в которой хранятся данные GRASS.
* Реализация не является потокобезопасной. Например, при одновременном запросе данных из разных областей GRASS могут проявляться неожиданные побочные эффекты.

== Ссылки по теме ==
* [http://www.webrian.ch/2013/12/grass-gis-web-map-service-with-pyramid.html GRASS GIS Web Map Service with Pyramid]
* [http://docs.pylonsproject.org/projects/pyramid/en/latest/narr/introduction.html Документация фреймворка Pyramid]
* [http://grass.osgeo.org/ GRASS GIS: The world's leading Free GIS software]