GIS-Lab - Вклад [ru]

Практика использования raster tools

2018-06-01T12:22:25Z

Oldbay: /* Трансформация. */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<syntaxhighlight lang="bash">
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</syntaxhighlight>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<syntaxhighlight lang="bash">
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</syntaxhighlight>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<syntaxhighlight lang="bash">
git checkout origin/result
</syntaxhighlight>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif (img 1).

img 1 - data/multi.tif

[[Файл:Multi.png|500px]]

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif (img 2).

img 2 - result/calc.tif

[[Файл:Calc.png|500px]]

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|600px]]
[[Файл:Calc_iter_mprof.png|600px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area. ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif (img 3.1 ,img 3.2)

img 3.1 - отображение области на исходном растре

[[Файл:Cut_coords_screenshot.png|500px]]

img 3.2 - result/cut_coords.tif

[[Файл:Cut_coords.png|200px]]

=== Метод cut_shp_file. ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif (img 4.1, img 4.2).

img 4.1 - геометрия из shp файла на фоне исходного растра

[[Файл:Cut_shp_screenshot.png|300px]]

img 4.2 - result/cut_shp.tif

[[Файл:Cut_shp.png|200px]]

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry. ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif (img 5.1, img 5.2).

img 5.1 - отображение геометрии из postgis на фоне исходного растра

[[Файл:Cut_wkt_screenshot.png|400px]]

img 5.2 - result/cut_wkt.tif

[[Файл:Cut_wkt.png|200px]]

==Трансформация.==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность всего массива, или только его части.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210)-img 6.1, (125,105)-img 6.2, (300,300)-img 6.3. Последний массив сохранится в растр result/resize.tif (img 6.3).

img 6.1 - разрешение (253x210)

[[Файл:Resize_253_210.png|500px]]

img 6.1 - разрешение (125x105)

[[Файл:Resize_125_105.png|500px]]

img 6.1 - разрешение (300x300)

[[Файл:Resize_300_300.png|500px]]

==Мультирастры.==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif (img 7).

img 7 - result/multi_rebands.tif

[[Файл:Multi_rebands.png|500px]]

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif (img 8).

img 8 - result/multi_opencv.tif

[[Файл:Multi_opencv.png|500px]]

==Работа с точками.==

Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|600px]]
[[Файл:Point_data_dont_load_array_mprof.png|600px]]

=="Ремонт" георастров.==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие.==

Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Практика использования raster tools

2018-06-01T12:20:17Z

Oldbay: /* Растровый калькулятор. */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<syntaxhighlight lang="bash">
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</syntaxhighlight>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<syntaxhighlight lang="bash">
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</syntaxhighlight>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<syntaxhighlight lang="bash">
git checkout origin/result
</syntaxhighlight>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif (img 1).

img 1 - data/multi.tif

[[Файл:Multi.png|500px]]

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif (img 2).

img 2 - result/calc.tif

[[Файл:Calc.png|500px]]

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|600px]]
[[Файл:Calc_iter_mprof.png|600px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area. ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif (img 3.1 ,img 3.2)

img 3.1 - отображение области на исходном растре

[[Файл:Cut_coords_screenshot.png|500px]]

img 3.2 - result/cut_coords.tif

[[Файл:Cut_coords.png|200px]]

=== Метод cut_shp_file. ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif (img 4.1, img 4.2).

img 4.1 - геометрия из shp файла на фоне исходного растра

[[Файл:Cut_shp_screenshot.png|300px]]

img 4.2 - result/cut_shp.tif

[[Файл:Cut_shp.png|200px]]

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry. ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif (img 5.1, img 5.2).

img 5.1 - отображение геометрии из postgis на фоне исходного растра

[[Файл:Cut_wkt_screenshot.png|400px]]

img 5.2 - result/cut_wkt.tif

[[Файл:Cut_wkt.png|200px]]

==Трансформация.==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210)-img 6.1, (125,105)-img 6.2, (300,300)-img 6.3. Последний массив сохранится в растр result/resize.tif (img 6.3).

img 6.1 - разрешение (253x210)

[[Файл:Resize_253_210.png|500px]]

img 6.1 - разрешение (125x105)

[[Файл:Resize_125_105.png|500px]]

img 6.1 - разрешение (300x300)

[[Файл:Resize_300_300.png|500px]]

==Мультирастры.==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif (img 7).

img 7 - result/multi_rebands.tif

[[Файл:Multi_rebands.png|500px]]

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif (img 8).

img 8 - result/multi_opencv.tif

[[Файл:Multi_opencv.png|500px]]

==Работа с точками.==

Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|600px]]
[[Файл:Point_data_dont_load_array_mprof.png|600px]]

=="Ремонт" георастров.==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие.==

Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Практика использования raster tools

2018-06-01T12:19:28Z

Oldbay:

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<syntaxhighlight lang="bash">
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</syntaxhighlight>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<syntaxhighlight lang="bash">
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</syntaxhighlight>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<syntaxhighlight lang="bash">
git checkout origin/result
</syntaxhighlight>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif (img 1).

img 1 - data/multi.tif

[[Файл:Multi.png|500px]]

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif (img 2).

img 2 - result/calc.tif

[[Файл:Calc.png|500px]]

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|600px]]
[[Файл:Calc_iter_mprof.png|600px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area. ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif (img 3.1 ,img 3.2)

img 3.1 - отображение области на исходном растре

[[Файл:Cut_coords_screenshot.png|500px]]

img 3.2 - result/cut_coords.tif

[[Файл:Cut_coords.png|200px]]

=== Метод cut_shp_file. ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif (img 4.1, img 4.2).

img 4.1 - геометрия из shp файла на фоне исходного растра

[[Файл:Cut_shp_screenshot.png|300px]]

img 4.2 - result/cut_shp.tif

[[Файл:Cut_shp.png|200px]]

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry. ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif (img 5.1, img 5.2).

img 5.1 - отображение геометрии из postgis на фоне исходного растра

[[Файл:Cut_wkt_screenshot.png|400px]]

img 5.2 - result/cut_wkt.tif

[[Файл:Cut_wkt.png|200px]]

==Трансформация.==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210)-img 6.1, (125,105)-img 6.2, (300,300)-img 6.3. Последний массив сохранится в растр result/resize.tif (img 6.3).

img 6.1 - разрешение (253x210)

[[Файл:Resize_253_210.png|500px]]

img 6.1 - разрешение (125x105)

[[Файл:Resize_125_105.png|500px]]

img 6.1 - разрешение (300x300)

[[Файл:Resize_300_300.png|500px]]

==Мультирастры.==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif (img 7).

img 7 - result/multi_rebands.tif

[[Файл:Multi_rebands.png|500px]]

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif (img 8).

img 8 - result/multi_opencv.tif

[[Файл:Multi_opencv.png|500px]]

==Работа с точками.==

Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|600px]]
[[Файл:Point_data_dont_load_array_mprof.png|600px]]

=="Ремонт" георастров.==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие.==

Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Практика использования raster tools

2018-06-01T12:17:45Z

Oldbay: /* Знакомство с raster_tools */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<syntaxhighlight lang="bash">
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</syntaxhighlight>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<syntaxhighlight lang="bash">
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</syntaxhighlight>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<syntaxhighlight lang="bash">
git checkout origin/result
</syntaxhighlight>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif (img 1).

img 1 - data/multi.tif

[[Файл:Multi.png|500px]]

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif (img 2).

img 2 - result/calc.tif

[[Файл:Calc.png|500px]]

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|600px]]
[[Файл:Calc_iter_mprof.png|600px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area. ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif (img 3.1 ,img 3.2)

img 3.1 - отображение области на исходном растре

[[Файл:Cut_coords_screenshot.png|500px]]

img 3.2 - result/cut_coords.tif

[[Файл:Cut_coords.png|200px]]

=== Метод cut_shp_file. ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif (img 4.1, img 4.2).

img 4.1 - геометрия из shp файла на фоне исходного растра

[[Файл:Cut_shp_screenshot.png|300px]]

img 4.2 - result/cut_shp.tif

[[Файл:Cut_shp.png|200px]]

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry. ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif (img 5.1, img 5.2).

img 5.1 - отображение геометрии из postgis на фоне исходного растра

[[Файл:Cut_wkt_screenshot.png|400px]]

img 5.2 - result/cut_wkt.tif

[[Файл:Cut_wkt.png|200px]]

==Трансформация.==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210)-img 6.1, (125,105)-img 6.2, (300,300)-img 6.3. Последний массив сохранится в растр result/resize.tif (img 6.3).

img 6.1 - разрешение (253x210)

[[Файл:Resize_253_210.png|500px]]

img 6.1 - разрешение (125x105)

[[Файл:Resize_125_105.png|500px]]

img 6.1 - разрешение (300x300)

[[Файл:Resize_300_300.png|500px]]

==Мультирастры.==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif (img 7).

img 7 - result/multi_rebands.tif

[[Файл:Multi_rebands.png|500px]]

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif (img 8).

img 8 - result/multi_opencv.tif

[[Файл:Multi_opencv.png|500px]]

==Работа с точками.==

Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|600px]]
[[Файл:Point_data_dont_load_array_mprof.png|600px]]

=="Ремонт" георастров.==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие.==

Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Практика использования raster tools

2018-06-01T12:17:26Z

Oldbay:

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<syntaxhighlight lang="bash">
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</syntaxhighlight>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<syntaxhighlight lang="bash">
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</syntaxhighlight>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<syntaxhighlight lang="bash">
git checkout origin/result
</syntaxhighlight>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif (img 1).

img 1 - data/multi.tif

[[Файл:Multi.png|500px]]

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif (img 2).

img 2 - result/calc.tif

[[Файл:Calc.png|500px]]

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|600px]]
[[Файл:Calc_iter_mprof.png|600px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area. ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif (img 3.1 ,img 3.2)

img 3.1 - отображение области на исходном растре

[[Файл:Cut_coords_screenshot.png|500px]]

img 3.2 - result/cut_coords.tif

[[Файл:Cut_coords.png|200px]]

=== Метод cut_shp_file. ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif (img 4.1, img 4.2).

img 4.1 - геометрия из shp файла на фоне исходного растра

[[Файл:Cut_shp_screenshot.png|300px]]

img 4.2 - result/cut_shp.tif

[[Файл:Cut_shp.png|200px]]

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry. ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif (img 5.1, img 5.2).

img 5.1 - отображение геометрии из postgis на фоне исходного растра

[[Файл:Cut_wkt_screenshot.png|400px]]

img 5.2 - result/cut_wkt.tif

[[Файл:Cut_wkt.png|200px]]

==Трансформация.==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210)-img 6.1, (125,105)-img 6.2, (300,300)-img 6.3. Последний массив сохранится в растр result/resize.tif (img 6.3).

img 6.1 - разрешение (253x210)

[[Файл:Resize_253_210.png|500px]]

img 6.1 - разрешение (125x105)

[[Файл:Resize_125_105.png|500px]]

img 6.1 - разрешение (300x300)

[[Файл:Resize_300_300.png|500px]]

==Мультирастры.==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif (img 7).

img 7 - result/multi_rebands.tif

[[Файл:Multi_rebands.png|500px]]

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif (img 8).

img 8 - result/multi_opencv.tif

[[Файл:Multi_opencv.png|500px]]

==Работа с точками.==

Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|600px]]
[[Файл:Point_data_dont_load_array_mprof.png|600px]]

=="Ремонт" георастров.==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие.==

Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Практика использования raster tools

2018-06-01T12:13:27Z

Oldbay: /* Обработка муьтирастров в opencv. */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<syntaxhighlight lang="bash">
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</syntaxhighlight>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<syntaxhighlight lang="bash">
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</syntaxhighlight>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<syntaxhighlight lang="bash">
git checkout origin/result
</syntaxhighlight>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif (img 1).

img 1 - data/multi.tif

[[Файл:Multi.png|500px]]

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif (img 2).

img 2 - result/calc.tif

[[Файл:Calc.png|500px]]

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|600px]]
[[Файл:Calc_iter_mprof.png|600px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif (img 3.1 ,img 3.2)

img 3.1 - отображение области на исходном растре

[[Файл:Cut_coords_screenshot.png|500px]]

img 3.2 - result/cut_coords.tif

[[Файл:Cut_coords.png|200px]]

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif (img 4.1, img 4.2).

img 4.1 - геометрия из shp файла на фоне исходного растра

[[Файл:Cut_shp_screenshot.png|300px]]

img 4.2 - result/cut_shp.tif

[[Файл:Cut_shp.png|200px]]

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif (img 5.1, img 5.2).

img 5.1 - отображение геометрии из postgis на фоне исходного растра

[[Файл:Cut_wkt_screenshot.png|400px]]

img 5.2 - result/cut_wkt.tif

[[Файл:Cut_wkt.png|200px]]

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210)-img 6.1, (125,105)-img 6.2, (300,300)-img 6.3. Последний массив сохранится в растр result/resize.tif (img 6.3).

img 6.1 - разрешение (253x210)

[[Файл:Resize_253_210.png|500px]]

img 6.1 - разрешение (125x105)

[[Файл:Resize_125_105.png|500px]]

img 6.1 - разрешение (300x300)

[[Файл:Resize_300_300.png|500px]]

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif (img 7).

img 7 - result/multi_rebands.tif

[[Файл:Multi_rebands.png|500px]]

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif (img 8).

img 8 - result/multi_opencv.tif

[[Файл:Multi_opencv.png|500px]]

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|600px]]
[[Файл:Point_data_dont_load_array_mprof.png|600px]]

=="Ремонт" георастров==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие==
Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Файл:Multi opencv.png

2018-06-01T12:12:54Z

Oldbay: img 8 - result/multi_opencv.tif

img 8 - result/multi_opencv.tif

Практика использования raster tools

2018-06-01T12:07:28Z

Oldbay: /* Изменение последовательности каналов. */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<syntaxhighlight lang="bash">
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</syntaxhighlight>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<syntaxhighlight lang="bash">
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</syntaxhighlight>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<syntaxhighlight lang="bash">
git checkout origin/result
</syntaxhighlight>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif (img 1).

img 1 - data/multi.tif

[[Файл:Multi.png|500px]]

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif (img 2).

img 2 - result/calc.tif

[[Файл:Calc.png|500px]]

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|600px]]
[[Файл:Calc_iter_mprof.png|600px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif (img 3.1 ,img 3.2)

img 3.1 - отображение области на исходном растре

[[Файл:Cut_coords_screenshot.png|500px]]

img 3.2 - result/cut_coords.tif

[[Файл:Cut_coords.png|200px]]

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif (img 4.1, img 4.2).

img 4.1 - геометрия из shp файла на фоне исходного растра

[[Файл:Cut_shp_screenshot.png|300px]]

img 4.2 - result/cut_shp.tif

[[Файл:Cut_shp.png|200px]]

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif (img 5.1, img 5.2).

img 5.1 - отображение геометрии из postgis на фоне исходного растра

[[Файл:Cut_wkt_screenshot.png|400px]]

img 5.2 - result/cut_wkt.tif

[[Файл:Cut_wkt.png|200px]]

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210)-img 6.1, (125,105)-img 6.2, (300,300)-img 6.3. Последний массив сохранится в растр result/resize.tif (img 6.3).

img 6.1 - разрешение (253x210)

[[Файл:Resize_253_210.png|500px]]

img 6.1 - разрешение (125x105)

[[Файл:Resize_125_105.png|500px]]

img 6.1 - разрешение (300x300)

[[Файл:Resize_300_300.png|500px]]

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif (img 7).

img 7 - result/multi_rebands.tif

[[Файл:Multi_rebands.png|500px]]

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif.

Img:

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|600px]]
[[Файл:Point_data_dont_load_array_mprof.png|600px]]

=="Ремонт" георастров==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие==
Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Файл:Multi rebands.png

2018-06-01T12:06:49Z

Oldbay: img 7 - result/multi_rebands.tif

img 7 - result/multi_rebands.tif

Практика использования raster tools

2018-06-01T11:55:59Z

Oldbay: /* Трансформация */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<syntaxhighlight lang="bash">
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</syntaxhighlight>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<syntaxhighlight lang="bash">
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</syntaxhighlight>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<syntaxhighlight lang="bash">
git checkout origin/result
</syntaxhighlight>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif (img 1).

img 1 - data/multi.tif

[[Файл:Multi.png|500px]]

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif (img 2).

img 2 - result/calc.tif

[[Файл:Calc.png|500px]]

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|600px]]
[[Файл:Calc_iter_mprof.png|600px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif (img 3.1 ,img 3.2)

img 3.1 - отображение области на исходном растре

[[Файл:Cut_coords_screenshot.png|500px]]

img 3.2 - result/cut_coords.tif

[[Файл:Cut_coords.png|200px]]

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif (img 4.1, img 4.2).

img 4.1 - геометрия из shp файла на фоне исходного растра

[[Файл:Cut_shp_screenshot.png|300px]]

img 4.2 - result/cut_shp.tif

[[Файл:Cut_shp.png|200px]]

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif (img 5.1, img 5.2).

img 5.1 - отображение геометрии из postgis на фоне исходного растра

[[Файл:Cut_wkt_screenshot.png|400px]]

img 5.2 - result/cut_wkt.tif

[[Файл:Cut_wkt.png|200px]]

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210)-img 6.1, (125,105)-img 6.2, (300,300)-img 6.3. Последний массив сохранится в растр result/resize.tif (img 6.3).

img 6.1 - разрешение (253x210)

[[Файл:Resize_253_210.png|500px]]

img 6.1 - разрешение (125x105)

[[Файл:Resize_125_105.png|500px]]

img 6.1 - разрешение (300x300)

[[Файл:Resize_300_300.png|500px]]

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif.

Img:

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif.

Img:

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|600px]]
[[Файл:Point_data_dont_load_array_mprof.png|600px]]

=="Ремонт" георастров==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие==
Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Файл:Resize 300 300.png

2018-06-01T11:52:42Z

Oldbay: img 6.1 - разрешение (300,300)

img 6.1 - разрешение (300,300)

Файл:Resize 125 105.png

2018-06-01T11:51:55Z

Oldbay: img 6.1 - разрешение (125,105)

img 6.1 - разрешение (125,105)

Файл:Resize 253 210.png

2018-06-01T11:51:24Z

Oldbay: img 6.1 - разрешение (253,210)

img 6.1 - разрешение (253,210)

Практика использования raster tools

2018-06-01T11:37:17Z

Oldbay: /* Метод cut_shp_file */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<syntaxhighlight lang="bash">
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</syntaxhighlight>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<syntaxhighlight lang="bash">
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</syntaxhighlight>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<syntaxhighlight lang="bash">
git checkout origin/result
</syntaxhighlight>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif (img 1).

img 1 - data/multi.tif

[[Файл:Multi.png|500px]]

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif (img 2).

img 2 - result/calc.tif

[[Файл:Calc.png|500px]]

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|600px]]
[[Файл:Calc_iter_mprof.png|600px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif (img 3.1 ,img 3.2)

img 3.1 - отображение области на исходном растре

[[Файл:Cut_coords_screenshot.png|500px]]

img 3.2 - result/cut_coords.tif

[[Файл:Cut_coords.png|200px]]

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif (img 4.1, img 4.2).

img 4.1 - геометрия из shp файла на фоне исходного растра

[[Файл:Cut_shp_screenshot.png|300px]]

img 4.2 - result/cut_shp.tif

[[Файл:Cut_shp.png|200px]]

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif (img 5.1, img 5.2).

img 5.1 - отображение геометрии из postgis на фоне исходного растра

[[Файл:Cut_wkt_screenshot.png|400px]]

img 5.2 - result/cut_wkt.tif

[[Файл:Cut_wkt.png|200px]]

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210), (125,105), (300,300). Последний массив сохранится в растр result/resize.tif.

Img:

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif.

Img:

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif.

Img:

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|600px]]
[[Файл:Point_data_dont_load_array_mprof.png|600px]]

=="Ремонт" георастров==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие==
Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Файл:Cut shp.png

2018-06-01T11:36:16Z

Oldbay: img 4.2 - result/cut_shp.tif

img 4.2 - result/cut_shp.tif

Файл:Cut shp screenshot.png

2018-06-01T11:35:22Z

Oldbay: img 4.1 - геометрия из shp файла на фоне исходного растра

img 4.1 - геометрия из shp файла на фоне исходного растра

Практика использования raster tools

2018-06-01T11:30:10Z

Oldbay: /* Метод cut_ogr_geometry */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<syntaxhighlight lang="bash">
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</syntaxhighlight>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<syntaxhighlight lang="bash">
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</syntaxhighlight>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<syntaxhighlight lang="bash">
git checkout origin/result
</syntaxhighlight>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif (img 1).

img 1 - data/multi.tif

[[Файл:Multi.png|500px]]

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif (img 2).

img 2 - result/calc.tif

[[Файл:Calc.png|500px]]

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|600px]]
[[Файл:Calc_iter_mprof.png|600px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif (img 3.1 ,img 3.2)

img 3.1 - отображение области на исходном растре

[[Файл:Cut_coords_screenshot.png|500px]]

img 3.2 - result/cut_coords.tif

[[Файл:Cut_coords.png|200px]]

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif.

img:

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif (img 5.1, img 5.2).

img 5.1 - отображение геометрии из postgis на фоне исходного растра

[[Файл:Cut_wkt_screenshot.png|400px]]

img 5.2 - result/cut_wkt.tif

[[Файл:Cut_wkt.png|200px]]

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210), (125,105), (300,300). Последний массив сохранится в растр result/resize.tif.

Img:

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif.

Img:

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif.

Img:

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|600px]]
[[Файл:Point_data_dont_load_array_mprof.png|600px]]

=="Ремонт" георастров==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие==
Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Файл:Cut wkt.png

2018-06-01T11:27:49Z

Oldbay: img 5.2 - result/cut_wkt.tif

img 5.2 - result/cut_wkt.tif

Файл:Cut wkt screenshot.png

2018-06-01T11:25:49Z

Oldbay: img 5.1 - отображение геометрии из postgis на фоне исходного растра

img 5.1 - отображение геометрии из postgis на фоне исходного растра

Практика использования raster tools

2018-06-01T10:25:01Z

Oldbay: /* Работа с точками. */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<syntaxhighlight lang="bash">
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</syntaxhighlight>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<syntaxhighlight lang="bash">
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</syntaxhighlight>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<syntaxhighlight lang="bash">
git checkout origin/result
</syntaxhighlight>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif (img 1).

img 1 - data/multi.tif

[[Файл:Multi.png|500px]]

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif (img 2).

img 2 - result/calc.tif

[[Файл:Calc.png|500px]]

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|600px]]
[[Файл:Calc_iter_mprof.png|600px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif (img 3.1 ,img 3.2)

img 3.1 - отображение области на исходном растре

[[Файл:Cut_coords_screenshot.png|500px]]

img 3.2 - result/cut_coords.tif

[[Файл:Cut_coords.png|200px]]

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif.

img:

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif.

img:

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210), (125,105), (300,300). Последний массив сохранится в растр result/resize.tif.

Img:

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif.

Img:

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif.

Img:

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|600px]]
[[Файл:Point_data_dont_load_array_mprof.png|600px]]

=="Ремонт" георастров==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие==
Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Практика использования raster tools

2018-06-01T10:24:27Z

Oldbay: /* Растровый калькулятор. */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<syntaxhighlight lang="bash">
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</syntaxhighlight>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<syntaxhighlight lang="bash">
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</syntaxhighlight>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<syntaxhighlight lang="bash">
git checkout origin/result
</syntaxhighlight>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif (img 1).

img 1 - data/multi.tif

[[Файл:Multi.png|500px]]

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif (img 2).

img 2 - result/calc.tif

[[Файл:Calc.png|500px]]

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|600px]]
[[Файл:Calc_iter_mprof.png|600px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif (img 3.1 ,img 3.2)

img 3.1 - отображение области на исходном растре

[[Файл:Cut_coords_screenshot.png|500px]]

img 3.2 - result/cut_coords.tif

[[Файл:Cut_coords.png|200px]]

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif.

img:

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif.

img:

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210), (125,105), (300,300). Последний массив сохранится в растр result/resize.tif.

Img:

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif.

Img:

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif.

Img:

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|800px]]
[[Файл:Point_data_dont_load_array_mprof.png|800px]]

=="Ремонт" георастров==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие==
Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Практика использования raster tools

2018-06-01T10:21:43Z

Oldbay: /* Метод cut_area */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<syntaxhighlight lang="bash">
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</syntaxhighlight>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<syntaxhighlight lang="bash">
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</syntaxhighlight>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<syntaxhighlight lang="bash">
git checkout origin/result
</syntaxhighlight>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif (img 1).

img 1 - data/multi.tif

[[Файл:Multi.png|500px]]

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif (img 2).

img 2 - result/calc.tif

[[Файл:Calc.png|500px]]

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|800px]]
[[Файл:Calc_iter_mprof.png|800px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif (img 3.1 ,img 3.2)

img 3.1 - отображение области на исходном растре

[[Файл:Cut_coords_screenshot.png|500px]]

img 3.2 - result/cut_coords.tif

[[Файл:Cut_coords.png|200px]]

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif.

img:

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif.

img:

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210), (125,105), (300,300). Последний массив сохранится в растр result/resize.tif.

Img:

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif.

Img:

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif.

Img:

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|800px]]
[[Файл:Point_data_dont_load_array_mprof.png|800px]]

=="Ремонт" георастров==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие==
Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Файл:Cut coords.png

2018-06-01T10:20:31Z

Oldbay: img 3.2 - result/cut_coords.tif

img 3.2 - result/cut_coords.tif

Файл:Cut coords screenshot.png

2018-06-01T10:18:00Z

Oldbay: img 3.1 - отображение области на исходном растре

img 3.1 - отображение области на исходном растре

Практика использования raster tools

2018-06-01T10:10:46Z

Oldbay: /* Растровый калькулятор. */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<syntaxhighlight lang="bash">
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</syntaxhighlight>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<syntaxhighlight lang="bash">
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</syntaxhighlight>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<syntaxhighlight lang="bash">
git checkout origin/result
</syntaxhighlight>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif (img 1).

img 1 - data/multi.tif

[[Файл:Multi.png|500px]]

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif (img 2).

img 2 - result/calc.tif

[[Файл:Calc.png|500px]]

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|800px]]
[[Файл:Calc_iter_mprof.png|800px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif

img:

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif.

img:

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif.

img:

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210), (125,105), (300,300). Последний массив сохранится в растр result/resize.tif.

Img:

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif.

Img:

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif.

Img:

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|800px]]
[[Файл:Point_data_dont_load_array_mprof.png|800px]]

=="Ремонт" георастров==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие==
Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Файл:Calc.png

2018-06-01T10:08:24Z

Oldbay: img 2 - calc.tif

img 2 - calc.tif

Файл:Calc.jpg

2018-06-01T09:55:07Z

Oldbay: img 2 - calc.tif

img 2 - calc.tif

Файл:Multi.png

2018-06-01T09:48:03Z

Oldbay: исходный мультирастр

исходный мультирастр

Файл:Multi.jpg

2018-06-01T09:37:08Z

Oldbay: исходный мультирастр

исходный мультирастр

Практика использования raster tools

2018-06-01T08:51:39Z

Oldbay: /* Знакомство с raster_tools */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<syntaxhighlight lang="bash">
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</syntaxhighlight>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<syntaxhighlight lang="bash">
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</syntaxhighlight>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<syntaxhighlight lang="bash">
git checkout origin/result
</syntaxhighlight>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif.

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif.

Img:

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|800px]]
[[Файл:Calc_iter_mprof.png|800px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif

img:

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif.

img:

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif.

img:

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210), (125,105), (300,300). Последний массив сохранится в растр result/resize.tif.

Img:

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif.

Img:

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif.

Img:

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|800px]]
[[Файл:Point_data_dont_load_array_mprof.png|800px]]

=="Ремонт" георастров==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие==
Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Практика использования raster tools

2018-06-01T08:37:12Z

Oldbay: /* Ремонт георастров */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<pre>
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</pre>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<pre>
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</pre>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<pre>
git checkout origin/result
</pre>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif.

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif.

Img:

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|800px]]
[[Файл:Calc_iter_mprof.png|800px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif

img:

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif.

img:

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif.

img:

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210), (125,105), (300,300). Последний массив сохранится в растр result/resize.tif.

Img:

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif.

Img:

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif.

Img:

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|800px]]
[[Файл:Point_data_dont_load_array_mprof.png|800px]]

=="Ремонт" георастров==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие==
Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Практика использования raster tools

2018-06-01T08:35:42Z

Oldbay: /* Ремонт георастров */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<pre>
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</pre>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<pre>
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</pre>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<pre>
git checkout origin/result
</pre>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif.

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif.

Img:

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|800px]]
[[Файл:Calc_iter_mprof.png|800px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif

img:

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif.

img:

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif.

img:

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210), (125,105), (300,300). Последний массив сохранится в растр result/resize.tif.

Img:

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif.

Img:

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif.

Img:

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|800px]]
[[Файл:Point_data_dont_load_array_mprof.png|800px]]

==Ремонт георастров==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие==
Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Практика использования raster tools

2018-06-01T08:27:01Z

Oldbay:

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<pre>
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</pre>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<pre>
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</pre>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<pre>
git checkout origin/result
</pre>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif.

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif.

Img:

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|800px]]
[[Файл:Calc_iter_mprof.png|800px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif

img:

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif.

img:

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif.

img:

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210), (125,105), (300,300). Последний массив сохранится в растр result/resize.tif.

Img:

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif.

Img:

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif.

Img:

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

[[Файл:Point_data_load_array_mprof.png|800px]]
[[Файл:Point_data_dont_load_array_mprof.png|800px]]

==Ремонт георастров==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y ([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]). Примером утилиты с такой странной процедурной генерации является gdal_grid.

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие==
Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Файл:Point data dont load array mprof.png

2018-06-01T08:25:55Z

Oldbay: график потребления памяти скриптом point_data_dont_load_array.py

график потребления памяти скриптом point_data_dont_load_array.py

Файл:Point data load array mprof.png

2018-06-01T08:22:28Z

Oldbay: график потребления памяти скриптом point_data_load_array.py

график потребления памяти скриптом point_data_load_array.py

Практика использования raster tools

2018-06-01T08:11:53Z

Oldbay: /* Растровый калькулятор. */

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<pre>
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</pre>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<pre>
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</pre>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<pre>
git checkout origin/result
</pre>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif.

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif.

Img:

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

[[Файл:Calc_mprof.png|800px]]
[[Файл:Calc_iter_mprof.png|800px]]

Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif

img:

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif.

img:

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif.

img:

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210), (125,105), (300,300). Последний массив сохранится в растр result/resize.tif.

Img:

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif.

Img:

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif.

Img:

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

point_data_load_array.py

img: logs/point_data_load_array_mprof.png

point_data_dont_load_array.py

img: logs/point_data_dont_load_array_mprof.png

==Ремонт георастров==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y ([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]). Примером утилиты с такой странной процедурной генерации является gdal_grid.

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие==
Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Файл:Calc iter mprof.png

2018-06-01T08:06:35Z

Oldbay: график потребления памяти скриптом calc_iter.py

график потребления памяти скриптом calc_iter.py

Файл:Calc mprof.png

2018-06-01T07:57:39Z

Oldbay: графики потребления памяти скрипта calc.py

графики потребления памяти скрипта calc.py

Практика использования raster tools

2018-05-31T15:17:55Z

Oldbay:

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<pre>
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</pre>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<pre>
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</pre>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<pre>
git checkout origin/result
</pre>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif.

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif.

Img:

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

calc.py

img: logs/calc_mprof.png

calc_iter.py

img:logs/calc_iter_mprof.png

Видно что итерационный метод в несколько раз выигрывает в потреблении памяти, но теряет в скорости расчётов. Потери скорости не очень существенны на текущем примере - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif

img:

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif.

img:

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif.

img:

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210), (125,105), (300,300). Последний массив сохранится в растр result/resize.tif.

Img:

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif.

Img:

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif.

Img:

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

point_data_load_array.py

img: logs/point_data_load_array_mprof.png

point_data_dont_load_array.py

img: logs/point_data_dont_load_array_mprof.png

==Ремонт георастров==

Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y ([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]). Примером утилиты с такой странной процедурной генерации является gdal_grid.

Чтобы не быть голословными, выполним весь цикл процедур: интерполяция данных из предыдущего примера result/tops.shp при помощи gdal_grid, проверка полученного процедурного растра на «зеркальность», исправление его при помощи raster_tools. В качестве исходных данных будут использованы: result/tops.shp (источник данных для интерполяции) и result/calc.tif (для сравнения). Обработку произведём скриптом repair.py (list 11). Для работы repair.py необходим модуль modules.grid_utils и сама утилита gdal_rid.

list 11 - repair.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import grid_utils

out_dir = "result"
shp_file = "result/tops.shp"
field_name = "POINT_DATA"
raster_file = "result/calc.tif"
grid_file = "result/{}.tif".format(field_name)
repair_file = "result/repair.tif"

# Интерполяция на основе shp файла
grid_utils(raster_file, shp_file, field_name, out_dir)

# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)

# проверка "валидности" массива в растре
print grid.is_valid()

# возврат "отремонтированного" растра в формате стандартного словаря
grid = grid.repair()

# запись исправленного растра
array2raster(None, grid, repair_file)
</syntaxhighlight>

В результате работы скрипта были созданы 2 растра: result/POINT_DATA.tif - результат работы gdal_grid и исправленный растр result/repair.tif. Сравним их gdalinfo лог:

<pre>
$ gdalinfo result/POINT_DATA.tif
...
Pixel Size = (0.640086707766337,0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Lower Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Upper Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Lower Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=592x1 Type=Float64, ColorInterp=Gray
</pre>

<pre>
$ gdalinfo result/repair.tif
...
Pixel Size = (0.640086707766337,-0.633172658674583)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296008.694, 7137767.175) ( 40d46'51.76"E, 64d18'17.78"N)
Lower Left ( 296008.694, 7137566.459) ( 40d46'52.75"E, 64d18'11.32"N)
Upper Right ( 296387.625, 7137767.175) ( 40d47'19.88"E, 64d18'18.60"N)
Lower Right ( 296387.625, 7137566.459) ( 40d47'20.87"E, 64d18'12.13"N)
Center ( 296198.159, 7137666.817) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

и в качестве контрольной пробы:

<pre>
$ gdalinfo result/calc.tif
...
Pixel Size = (0.064274599999999,-0.064274599999986)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=LZW
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ( 296007.704, 7137768.705) ( 40d46'51.68"E, 64d18'17.83"N)
Lower Left ( 296007.704, 7137564.891) ( 40d46'52.68"E, 64d18'11.27"N)
Upper Right ( 296388.595, 7137768.705) ( 40d47'19.94"E, 64d18'18.65"N)
Lower Right ( 296388.595, 7137564.891) ( 40d47'20.95"E, 64d18'12.08"N)
Center ( 296198.149, 7137666.798) ( 40d47' 6.31"E, 64d18'14.96"N)
Band 1 Block=256x256 Type=Float64, ColorInterp=Gray
</pre>

Обратите внимание на второе значение Pixel Size(ось y): у растра сгенерированного gdal_grid это значение положительное, в отличии от исходного и исправленного георастров. Что и позволяет отображать POINT_DATA.tif в гис программах нормально, несмотря на наличие зеркально отображённого через ось y массива. То же самое сообщает нам вывод метода raster2array.is_valid():

<syntaxhighlight lang="python">
# загрузка результатов интерполяции в raster2array
grid = raster2array(grid_file)
# проверка "валидности" массива в растре
print grid.is_valid()
</syntaxhighlight>

Вывод строки:

<syntaxhighlight lang="python">
[True, False]
</syntaxhighlight>

Здесь ориентация растра по оси x истинное и ложное по оси y.

==Послесловие==
Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
У raster_tools имеются следующие недостатки:
* проблемное перепроецирование векторных слоёв-шаблонов в проекцию растра, поэтому стараюсь использовать единую проекцию;
* обрезка по shp файлам «прибита гвоздями» к первому векторному слою;
* инструмент рассчитан на geotif - работа с другими растровыми форматами файлов в зачаточном состоянии;
* недостаточно оптимизирована работа с мультирастрами (не часто пока требуются).
В остальном инструмент меня устраивает, кого заинтересовал — отвечу на возникшие вопросы.

Практика использования raster tools

2018-05-31T15:06:52Z

Oldbay:

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<pre>
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</pre>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster(raster2array)''' - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform(raster2array)''' - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc(raster2array)''' - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray(raster2array)''' - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<pre>
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</pre>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<pre>
git checkout origin/result
</pre>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif.

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif.

Img:

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

calc.py

img: logs/calc_mprof.png

calc_iter.py

img:logs/calc_iter_mprof.png

Видно что итерационный метод в несколько раз выигрывает в потреблении памяти, но теряет в скорости расчётов. Потери скорости не очень существенны на текущем примере - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

== Вырезание области растра. ==

Иногда растровые вычисления необходимо производить только с некоторой выделенной областью георастра. Для «фигурного» вырезания областей, ограниченных координатами точек или bbox-ом полигонов, у raster2array есть ряд методов:
* cut_area(координаты точек) - метод вырезает область растра по координатам (не менее 2-х точек).
* cut_shp_file(имя shp файла) - метод вырезает растр по полигонам первого слоя shp файла.
* cut_ogr_geometry(wkt, geojson, gml, wkb) — метод вырезает растр по полигону загруженной геометрии.

Все перечисленные методы возвращают «стандартный словарь», так как они изменяют размерность массива растра, делая необходимым изменение «transorm» у сохраняемого георастра.

Стандартный словарь применим и в растровом калькуляторе, для подобных вычислений необходимо вернуть numpy массив по ключу «array» list 1.1

list 1.1
<syntaxhighlight lang="python">

# загрузка каналов в формате стандартного словаря
# выгрузка аналогична методам обрезки, но для
# всего исходного растра
red = raster2array(in_file, 1).get_std_dict()
green = raster2array(in_file, 2).get_std_dict()
blue = raster2array(in_file, 3).get_std_dict()

# сохранение numpy массивов каналов в переменные.
r = red()["array"]
g = green()["array"]
b = blue()["array"]

# вычисление TGI (как в list 1)

........

# сохранение вычисленного массива в стандартный словарь
out_std_dict = red
out_std_dict["array"] = calc

# сохранение стандартного словаря в растр.
array2raster(None, out_std_dict, out_file)
</syntaxhighlight>

Теперь рассмотрим работу каждого метода обрезки растра:

=== Метод cut_area ===

Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.

list 3 - cut_coords.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

in_file = "result/calc.tif"
out_file = "result/cut_coords.tif"

# вырезание области растра по координатам
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_area(
(296153.369,7137678.937),
(296203.959,7137570.986),
(296256.938,7137645.476)
)

# сохранение стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат выполнения метода сохраняется в out: result/cut_coords.tif

img:

=== Метод cut_shp_file ===

Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.

list 4 - cut_shp.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster

shp_file = "data/cut.shp"
in_file = "result/calc.tif"
out_file = "result/cut_shp.tif"

# вырезание области растра по полигону shp файла
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_shp_file(shp_file)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

Результат сохраняется в георастр result/cut_shp.tif.

img:

Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

=== Метод cut_ogr_geometry ===

Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.

Для выполнения примера следует провести подготовку(все примеры работы с БД приведены для linux):
* Установить postgresql и расширение postgis.
* В СУБД создать роль из под которой возможен логин в БД для загрузки дампа:
<pre>
# su - postgres
$ psql
create role gis with login password 'gis';
create database dok_example owner gis;
ctrl-d
</pre>
* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
* Создать расширение postgis в БД.
<pre>
$ psql -d doc_example
create extension postgis
ctrl-d
</pre>
* Развернуть дамп из data/crowns.sql
<pre>
psql -d doc_example < data/crowns.sql
</pre>
* Проверить наличие python модуля psycopg2 - драйвера postgresql.(необходим для интерфейса запросов modules.db_interface)

После успешного завершения подготовительного этапа можно выполнять тестовый пример cut_wkt.py (list 5)

list 5 - cut_wkt.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
from modules import psql

# загрузка растра в объект raster2array
in_file = "result/calc.tif"
out_file = "result/cut_wkt.tif"

# установка параметров подключения в БД
dbhost = "localhost"
dbname = "dok_example"
dbuser = "gis"
dbpass = "gis"

# параметры поиска полигона в БД
geom_table = "crowns"
geom_id = 55775

# запрос в БД возвращающий полигон в формате WKT
SQL = """
select ST_AsText(wkb_geometry)
from {0}
where ogc_fid = {1}
""".format(
geom_table,
geom_id
)
_psql = psql(
dbhost=dbhost,
dbname=dbname,
dbuser=dbuser,
dbpass=dbpass
)
_psql.sql(SQL)
wkt_geom = _psql.fetchone()[0]
_psql.close()

# вырезание области растра по полигону WKT
# и сохранение в формате стандартного словаря
std_dict = raster2array(in_file).cut_ogr_geometry(wkt_geom)

# сохранеие стандартного словаря в растр
array2raster(None, std_dict, out_file)
</syntaxhighlight>

В результате выполнения примера должен быть создан result/cut_wkt.tif.

img:

==Трансформация==

Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части массива, георастра, а так же сменить проекцию.
Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

list 6 - resize.py
<syntaxhighlight lang="python">
#! /usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, raster2transform
from matplotlib import pyplot as plt

in_raster = "result/cut_shp.tif"
out_raster = "result/resize.tif"

# вывод массива в matplotlib
def plt_show(obj):
plt.title("show")
plt.imshow(obj.array(), cmap='gray')
plt.show()

# загрузка растра в raster2array
raster = raster2array(in_raster)
print raster.rows, raster.cols

# кроме того возможна работа с:
#raster = in_raster #именем растрового файла
#raster = raster2array(in_raster).get_std_dict() #стандартным словарём

# изменение размерности массива (row, col) в цикле
for row, col in [(253, 210), (125, 105), (300, 300)]:
raster = raster2transform(raster, row, col)
print raster.rows, raster.cols
plt_show(raster)

# сохранение растра c последней размерностью массива
raster.save(out_raster)
</syntaxhighlight>

В результате работы скрипта 3 раза отобразится окно matplotlib.pyplot с изображением массива растра в следующих размерностях: (253,210), (125,105), (300,300). Последний массив сохранится в растр result/resize.tif.

Img:

==Мультирастры==

Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:

* raster2multiarray - Класс умеющий изменять очерёдность и количество каналов, при этом преобразующий многоканальный растр в стандартный словарь расширенного типа. От обычного он отличается тем что в поле «array» сохраняется не двухмерный (x, y), а трёхмерный numpy массив с индексом (bands, x, y). Для определения типа массива добавлено поле «multi_type» - принимающее значения: None - с массивом уже указанного индекса и «cv» - с индексом (x, y, bands). Массив типа multi_type = «cv» аналогичен возвращаемому функцией cv2.imread. Кроме того у raster2multiarray имеется набор методов обрезки растра аналогичных raster2array.

* multiarray2multiraster - Класс сохраняющий многоканальный стандартный словарь в мультиканальный растр.

Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:

===Изменение последовательности каналов.===

Для данного примера в rgb мультирастре переставим местами 1-й и 3-й каналы. Тестовый скрипт представлен в multi_rebands.py (list 7).

list 7 - multi_rebands.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2multiarray, multiarray2multiraster

img_in = 'data/multi.tif'
img_out = 'result/multi_rebands.tif'

# загрузка многоканального в объект raster2multiarray
# и изменение последовательности каналов 1-3, 2-2, 3-1
img = raster2multiarray(img_in, 3, 2, 1)

# выгрузка многоканального стандартого словаря
img = img.get_std_dict()

# cохранение многоканального стандартого словаря
# в мультирастр
multiarray2multiraster(img_out, img)
</syntaxhighlight>

Результатом выполнения будет создание result/multi_rebands.tif.

Img:

===Обработка муьтирастров в opencv.===

Теперь усложним задачу: удалим альфа канал мультирастра, передадим массив на обработку opencv и сохраним полученный результат. Для этого примера необходимо установить python opencv 2 или 3. Тестовый скрипт представлен в multi_opencv.py (list 8).

list 8 - multi_opencv.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

import numpy as np

from raster_tools import raster2multiarray, multiarray2multiraster
import cv2

img_in = 'data/multi.tif'
img_out = 'result/multi_opencv.tif'

# загрузка многоканального в объект raster2multiarray
# для обработки через cv2.bilateralFilter необходима загрузка только 1,2,3 канала
img = raster2multiarray(img_in, 1, 2, 3)

# установка типа возвращаемого многоканального массива
# в формат opencv
img.multi_type = "cv"

# установка типа данных возвращаемого массива как uint8
# необходимо для обработки данных в opencv
img.codage = np.uint8

# выгрузка многоканального стандартого словаря
std_dict = img.get_std_dict()

# работа в OpenCV c многоканальным массивом
std_dict["array"] = cv2.bilateralFilter(std_dict["array"],9,75,75)

# сохранение многоканального стандартного словаря
# в мультирастр
multiarray2multiraster(img_out, std_dict)
</syntaxhighlight>

Результат будет сохранён в result/multi_opencv.tif.

Img:

==Работа с точками.==
Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

list 9 - point_data_load_array.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array
import ogr
import shutil

raster = "result/calc.tif"

# копируем тестовый shp файл с точками в каталог result
_filename = "tops"
_indir = "data"
_outdir = "result"
for _ex in ["dbf", "prj", "qpj", "shp", "shx"]:
shutil.copyfile(
"{0}/{1}.{2}".format(_indir, _filename, _ex),
"{0}/{1}.{2}".format(_outdir, _filename, _ex),
)

shp_file = "{0}/{1}.shp".format(_outdir, _filename)

# загрузка растра в объект raster2array
raster = raster2array(raster)

# сохранение numpy массива в объекте raster2array
raster.np_array_load()

# загрузка shp файла
_shp = ogr.Open(shp_file, update=1)
layer = _shp.GetLayerByIndex(0)

# добавление в shp файл нового поля
# для записи выгруженных значений растра
new_field = "POINT_DATA"
if layer.FindFieldIndex(new_field, 1) < 1:
field = ogr.FieldDefn(new_field, ogr.OFTReal)
layer.CreateField(field)

# обход циклом точек shp файла
for geometry in layer:

# определение координат точки векторного файла
x, _, y, _ = geometry.GetGeometryRef().GetEnvelope()

# возврат значения данных точки растра
# по координатам точки векторного файла
raster_data = raster.get_pixel_value(float(x), float(y))

# сохранение выгруженных из растра данных
# в новое поле shp файла
geometry.SetField(new_field, raster_data)
layer.SetFeature(geometry)
</syntaxhighlight>

В ходе выполнения скрипта исходный векторный файл data/tops.shp копируется в result/tops.shp, в который добавляется поле «POINT_DATA». В добавленном поле сохраняются значения точек растра по координатам геометрий векторного слоя. При помощи полученного векторного файла можно будет производить интерполяцию значений поля «POINT_DATA»(пример дальше по тексту).

В list 9 есть одна «хитрость»:

<syntaxhighlight lang="python">
# сохранение numpy массива в объекте raster2array
raster.np_array_load()
</syntaxhighlight>

Такая конструкция загружает numpy массив растра непосредственно в экземпляр класса rater2array - что уменьшает время выполнения операций, увеличивая потребление памяти. Для сравнения: в репозитории есть аналогичный скрипт point_data_dont_load_array.py где данная строка отсутствует. Сравнение графиков выполнения обоих скриптов в memory_profiler выглядит следующим образом:

point_data_load_array.py

img: logs/point_data_load_array_mprof.png

point_data_dont_load_array.py

img: logs/point_data_dont_load_array_mprof.png

Практика использования raster tools

2018-05-31T15:01:25Z

Oldbay:

Практика использования raster tools

2018-05-31T14:48:45Z

Oldbay:

Практика использования raster tools

2018-05-31T14:21:11Z

Oldbay:

{{Статья|Черновик}}
{{Аннотация|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

== 1. Знакомство с raster_tools ==

В течении продолжительного времени развиваю инструментарий для препарирования георастров. Который является набором рецептов упрощающих взаимодействие с гибкой но сложной структурой python gdal. К сегодняшнему времени rater_tools напоминает некий «швейцарский нож» с разнообразным функционалом.
Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

<pre>
pip2.7 install --user git+https://github.com/oldbay/raster_tools
</pre>

'''raster_tools''' состоит из следующих классов:

'''raster2array''' - Базовый класс, отвечающий за весь функционал загрузки растра и сохранение numpy массива выбранного канала(band). Выгруженный из растра массив может быть преобразован методами данного класса.

'''array2raster'''(raster2array) - Субкласс, отвечающий за сохранение обработанного массива в файле георастра. Он так же может сформировать виртуальный растр в памяти с возможностью обработки методами базового класса.

'''raster2transform'''(raster2array) - Субкласс, отвечающий за трансформацию растра: изменение размерности массива и перепроецирование. Так же есть поддержка методов базового класса.

'''raster2calc'''(raster2array) - Класс итерационного калькулятора. Он не наследует базовый класс raster2array, но использует некоторые его методы опосредованно.

'''raster2multiarray'''(raster2array) - Класс обработки мультирастров. Позволяет миксовать каналы мультиканального растра и обрабатывать его некоторыми методами raster2array.

'''multiarray2multiraster''' - Класс сохранения массивов, обработанных методами raster2multiarray, в мультиканальный растр.

Основной смысл существования всего этого «зоопарка» классов - это загрузка, обработка и выгрузка двухмерного numpy массива георастров. Помимо объекта 2-х мерного numpy массива некоторые методы raster2array позволяют выгружать данные в формате самоназвоного «стандартного словаря», имеющего следующий вид:

<syntaxhighlight lang="python">
{
"array": объект numpy.ndarray,
"shape": кортеж (rows(Y), cols(X)) = numpy.ndarray.shape = (gdal.dataset.RasterYSize(), gdal.dataset.RasterXSize()),
"transform": кортеж gdal.dataset.GetGeoTransform(),
"projection": объект gdal.dataset.GetProjection()
}
</syntaxhighlight>

Эта конструкция несёт в себе всю необходимую информацию для создания нового георастра, отличного от исходного.

Углубляться в подробное описание стрктуры классов и методов raster_tools не вижу необходимости - достаточно полная базовая документация есть в README.rst на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] . В данной статье хотелось бы показать «боевое» применение raster_tools на практике, в том виде как сам его в проектах «готовлю».

Для этих экспериментов был создан gis репозиторий с тестовыми данными , загрузить которые можно командой:

<pre>
git clone https://gitlab.com/oldbay/raster_tools_examples.git
</pre>

В ветке по умолчанию (master) , расположены только тестовые скрипты и исходные данные. Чтобы заранее изучить результаты тестов, нужно перейти в ветку result:

<pre>
git checkout origin/result
</pre>

Тестовый репозирорий состоит из:
* Корень: содержит тестовые примеры - выполнение которых необходимо производить из текущего каталога;
* Каталог data: содержит исходные данные для экспериментов;
* Каталог logs: содержит результаты тестов расхода памяти и времени выполнения (branch result);
* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
* Каталог results: содержит результаты экспериментов (branch result).

== 2. Растровый калькулятор. ==

Первоначально raster_tools был частью растрового калькулятора, сейчас отдельный проект raster_calc, поэтому исторически начнём с вычислений.

Пример простого растрового калькулятора представлен в calc.py (list 1) . В данном скрипте мультирастр разбирается на спектральные каналы, после чего вычисляется вегетативный индекс на основе rgb - TGI([https://gist.github.com/merkato/0cd894f19518496171afd7425e09ed88 украдено отсюда]), Источником данных является data/multi.tif.

list 1 - calc.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# сохранение numpy массивов каналов в переменные.
r = red()
g = green()
b = blue()

# вычисление TGI
calc = np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# сохранение вычисленного массива в растр.
array2raster(red, calc, out_file)
</syntaxhighlight>

В результате выполнения calc.py создается растр result/calc.tif.

Img:

У метода есть существенный минус - высокое потребление памяти. Фактически в памяти , на пике потребления, присутствуют сразу 4 массива растров: каналов r, g, b и вычисляемого индекса. При работе с большими георастрами это часто неприемлемо. Поэтому был разработан итерационный метод работы растрового калькулятора. Данный метод работает с растром посекторно в цикле. При таких вычислениях сильно снижается потребление памяти, но падает производительность.

Итерационный калькулятор реализован в calc_iter.py (list 2). В отличии от простого калькулятора здесь формула вычислений(в формате lambda) и переменные для вычислений(в виде объектов raster2array) передаются классу raster2calc.

list 2 - calc_iter.py
<syntaxhighlight lang="python">
#!/usr/bin/python2
# -*- coding: utf-8 -*-

from raster_tools import raster2array, array2raster, raster2calc
import numpy as np

in_file = "data/multi.tif"
out_file = "result/calc_iter.tif"

# загрузка каналов
red = raster2array(in_file, 1)
green = raster2array(in_file, 2)
blue = raster2array(in_file, 3)

# описание формулы вычисления TGI
calc_func = lambda r,g,b: np.choose(
np.not_equal(g-r+b-255.0, 0.0),
(
-9999.0,
np.subtract(
g,
np.multiply(0.39, r),
np.multiply(0.61, b)
)
)
)

# вычисление TGI
# и сохраниение результата в формате
# стандартного словаря
calc = raster2calc()
out = calc(
calc_func,
r=red,
g=green,
b=blue
)

# сохраниение стандартного словаря в растр.
array2raster(None, out, out_file)
</syntaxhighlight>

raster2calc возвращает «стандартный словарь» преобразуемый классом array2raster в файл result/calc_iter.tif.

Если выполнить calc.py и calc_iter.py в обёртке memory_profiler - получаем графики потребления памяти:

calc.py

img: logs/calc_mprof.png

calc_iter.py

img:logs/calc_iter_mprof.png

Видно что итерационный метод в несколько раз выигрывает в потреблении памяти, но теряет в скорости расчётов. Потери скорости не очень существенны на текущем примере - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.

Практика использования raster tools

2018-05-31T13:32:11Z

Oldbay: Новая страница: «{{Статья|Черновик}} {{Аннотация|В статье рассматриваются примеры практического использов…»

Атмосферная коррекция по методу DOS

2015-08-19T20:13:21Z

Oldbay:

{{Статья|Черновик}}
=='''Анотация'''==

Недавно была защищена магистерская диссертация по ГИС тематике, решил выдержки из данной работы опубликовать в виде цикла статей. В первой статье рассмотрим атмосферную коррекцию по методу DOS (Dark Object Subtraction). В конце статьи представлен готовый программный инструментарий для выполения атмосферной коррекции.

=='''Подготовка геоданных'''==

Среди источников геоданных использовались данные USGS (Геологической Службы Соединённых Штатов) [1] доступных для свободного скачивания [2]. Данные с этих ресурсов представлены в формате GeoTIFF в виде непрерывных наборов сцен для различных районов мира. Представленные на ресурсах геоданные соответствуют уровню обработки LG1: «сырые геоданные» не конвертированные в значения излучения на сенсоре. Для самостоятельного проведения конвертации и атмосферной коррекции - доступны файлы настройки спутниковых сенсоров с набором ряда параметров: минимумы и максимумы пиксельной яркости на изображении; минимумы и максимумы излучения на датчиках; минимумы и максимумы отражения излучения от поверхности земли (Landsat 8) и многое другое. Кроме данных настройки спутниковых датчиков в архиве присутствуют несколько файлов в формате GeoTIFF, распределённых по номерам каналов, количество и состав которых для разных спутников (Landsat 5,7,8) различный (Таблица 1).

Таблица 1 — Спутники и используемые в работе каналы
{|class="wikitable"
|-
!Спутник и датчик !! Номер канала (band) !! Название спектра !! Длинны волн (нм)
|-
!rowspan="6"|Landsat 5 TM
|1 || Blue - Синий || 450–520
|-
|2 || Green - Зелёный || 520–600
|-
|3 || Red - Красный || 630–690
|-
|4 || NIR — Ближний ИК || 760–900
|-
|5 || SWIR1 — Средний ИК 1 || 1550–1750
|-
|7 || SWIR2 — Средний ИК 2 || 2080–2350
|-
!rowspan="6"|Landsat 7 ETM+
|1 || Blue - Синий || 450–520
|-
|2 || Green - Зелёный || 520–600
|-
|3 || Red - Красный || 630–690
|-
|4 || NIR — Ближний ИК || 770–900
|-
|5 || SWIR1 — Средний ИК 1 || 1550–1750
|-
|7 || SWIR2 — Средний ИК 2 || 2080–2350
|-
!rowspan="6"|Lansat 8 Oli
|2 || Blue - Синий || 450—515
|-
|3 || Green - Зелёный || 525—600
|-
|4 || Red - Красный || 630—680
|-
|5 || NIR — Ближний ИК || 845—885
|-
|6 || SWIR1 — Средний ИК 1 || 1560—1660
|-
|7 || SWIR2 — Средний ИК 2 || 2100—2300
|}

Как видно из таблицы, шесть наиболее используемых «спектров» находятся у разных спутников в сходном диапазоне частот. Поэтому, для удобства использования терминологии, вместо указания спутниковых каналов в дальнейшем будем использовать самоназвание спектров: BLUE - синий, GREEN - зелёный, RED - красный, NIR - ближний инфракрасный, SWIR1 - средний инфракрасный 1, SWIR2 - средний инфракрасный 2 - вне зависимости от спутника и применять к ним одинаковый набор вычислений.

Как уже упоминалось, геоданные по всем каналам предоставлены уровнем обработки LG1 - в сыром виде, это означает что предоставленные канальные GeoTIFF не более чем спозиционированные на местности яркостные «фотографии», которые, в таком виде, не могут быть использованы для ГИС исследований. Поэтому данные уровня обработки LG1 необходимо нормализовать - то есть провести конвертацию значений яркости в показатели излучения на сенсоре и атмосферную коррекцию.

=='''Конвертация значений яркости исходного GeoTIFF в показатели излучения на сенсоре'''==

Теоретические основы процесса конвертирования подробно описаны в статье [http://gis-lab.info/qa/dn2radiance.html 'Конвертация данных TM, ETM+ в показатели излучения на сенсоре'], потому коснёмся только практической реализации процесса.

Конвертирование является первым этапом нормализации сырых геоданных и представляет из себя математическую операцию перевода значения яркости пикселей геоснимка в значения радиации поступившей на датчики спутника. Для такого перевода в комплекте данных Landsat присутствует файл коррекции _MTL.txt, предельные значения из которого и используются на этом этапе обработки геоснимка.

Для проведения работы использовалась стандартная, описанная в документации NASA, формула (1) перевода яркости в значение top of atmosphere radiance (TOA radiance)

::[[Файл:F_01.png]] (1)

где:
::''Lλ'' - спектральная радиация, пришедшая на сенсор спутника;
::''DNcal'' - значения яркости пикселя сырого геоснимка;
::''Qcalmin'' - минимальное возможное значение пикселя геоснимка;
::''Qcalmax'' - максимальное возможное значение пикселя геоснимка;
::''LMINλ'' - минимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка;
::''LMAXλ'' - максимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка.

Кроме того для вычисления TOA radiance можно использовать упрощенную формулу (2) Thome et al., 1994 [3], Lu et al 2002 [4].

::''Lλ = DNcal × Gainλ + Baisλ'' (2)

где:
::''Lλ'' - спектральная радиация, пришедшая на сенсор спутника;
::''DNcal'' - значения яркости пикселя сырого геоснимка;
::''Gainλ'' - усиление значения радиации относительно яркости исходного геоснимка;
::''Baisλ'' - смещение значения радиации относительно яркости исходного геоснимка.

После обсчёта каждого пикселя геоснимка с использованием данной формулы, получаем матрицу значений c плавающей точкой - нормализованных геоданных.

=='''Атмосферная коррекция'''==

Следующим этапом нормализации геоданных является уменьшение влияния атмосферы на снимок и перевод значений радиации, дошедшей до сенсоров спутника (TOA radiance), в значения реально отражённого от земли спектрального излучения солнечного света.

Материалы данного и последующих разделов, в некоторой степени, перекликаются со статьёй [http://gis-lab.info/qa/atcor.html "Атмосферная коррекция данных Landsat/ETM+ (COST метод)"], но в отличии от неё ориентированы на пакетную обработку ДДЗ из нескольких источников.

Влияние атмосферы на геоснимок проявляется в целом ряде факторов: угол падения и отражения солнечных лучей, прозрачность атмосферы, газовый фактор и дымка (Рисунок 1).

[[Файл:Dos_img_1.jpg]]

Рисунок 1 — Факторы, влияющие на попадание отраженной солнечной радиации на сенсоры спутника

Для дальнейших исследований необходимо провести оптическую коррекцию (нормализацию) данных геоснимка методом Dark Object Subtraction (DOS), впервые представленным Chavez (1996) [5]. Суть метода состоит в нахождении яркости однопроцентно тёмного объекта геоснимка с последующей коррекцией минимума значений каждого пикселя изображения, относительно спектральной яркости найденного объекта.

Есть два основных способа поиска 1% темного объекта (Dark Object) для метода DOS:
# эмпирический метод - подразумевает поиск значений в ручном режиме, например, с использованием инструмента гистограмма в QGIS, где изменяя нижний порог яркости гистограммы постепенно находим примерное значение яркости искомого тёмного объекта;
#вычислительный метод подразумевает, что суммарная яркость (от 0 до n) однопроцентно тёмного объекта будет соответствовать 0.01% от суммарной яркости всех пикселей геоснимка Sobrino et al., 2004 [6].
В данной работе успешно применяли метод (2), хорошо показавший себя при обработке большого количества геоснимков исследуемого района.

После определения яркости Dark Object (в дальнейших вычислениях будем обозначать его как DNmin), производим атмосферную коррекцию по методу DOS в несколько этапов:

====1.Вычисляем значение радиации, соответствующее значению яркости 1% темного объекта (расчёт производится по аналогии с TOA radiance), по формуле (3).====

::[[Файл:Dos_f_03.png]] (3)

где:
::''Lλmin'' - спектральная радиация для 1% тёмного объекта;
::''DNmin'' - значения яркости пикселя 1% тёмного объекта;
::''Qcalmin'' - минимальное возможное значение пикселя геоснимка;
::''Qcalmax'' - максимальное возможное значение пикселя геоснимка;
::''LMINλ'' - минимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка;
::''LMAXλ'' - максимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка.

Или с использованием упрощённой формы (4).

::''Lλmin = DNmin × Gainλ + Baisλ'' (4)

где:
::''Lλmin'' - спектральная радиация для 1% тёмного объекта;
::''DNmin'' - значения яркости пикселя 1% тёмного объекта;
::''Gainλ'' - усиление значения радиации относительно яркости 1% тёмного объекта;
::''Baisλ'' - смещение значения радиации относительно яркости 1% тёмного объекта.

====2.Рассчитываем коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта по формуле (5).====

::[[Файл:Dos_f_05.png]] (5)

где:
::''L1%'' - коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта;
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''E0'' - коэффициент солнечного внеатмосферного спектрального излучения (явно представлен как табличные данные и учитывается при калибровке датчиков Landsat 5 и 7 , для Landsat 8 дополнительно вычисляется);
::''θ'' - зенитное расстояние для солнца в радианах;
::''TZ'' - мера прохождения излучения от солнца до земли, в методе DOS2, принимается равным cosθ.

====3.Вычисляем значение атмосферной дымки (hazing) по формуле (6).====

::''Lλhaze = Lλmin - L1%'' (6)

где:
::''Lλhaze'' - значение атмосферной дымки (hazing);
::''L1%'' - коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта;
::''Lλmin'' - спектральная радиация для 1% тёмного объекта.

====4.Рассчитываем атмосферно скорректированные значения отражённой солнечной радиации по формуле (7).====

::[[Файл:Dos_f_07.png]] (7)

где:
::''ρλ'' - атмоферно скорректированные значения отражённой солнечной радиации;
::''Lλ'' - значения радиации пришедшей на сенсор спутника;
::''Lλhaze'' - значение атмосферной дымки (hazing);
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''E0'' - коэффициент солнечного внеатмосферного спектрального излучения (явно представлен как табличные данные и учитывается при калибровке датчиков Landsat 5 и 7 , для Landsat 8 дополнительно вычисляется);
::''θ'' - зенитное расстояние для солнца в радианах;
::''TZ'' - мера прохождения излучения от солнца до земли, в методе DOS2, принимается равным cosθ.

=='''Особенности работы с растрами спутника Landsat 8'''==

Если часть сцен сняты спутником Landsat 8 датчик Oli, необходимость их сравнения со сценами спутников lansat5 (датчик TM) и landsat8 (датчик ETM+). В данном контексте известна проблема применения стандартных методов атмосферной коррекции для нового спутника: дело в том, что калибровка датчиков Oli Landsat 8 производится без учёта значений коэффициента солнечного внеатмосферного спектрального излучения Eo (Sobrino et al., 2004) [6] или ,в других источниках, Esun. Вместо использования данного коэффициента, в файл корректировки _MTL.txt, были добавлены некоторые новые спектральные параметры: REFLECTANCE_MULT_BAND - усиление значения отражения и REFLECTANCE_ADD_BAND - смещение значения отражения для каждого из спектральных датчиков. В результате, по задумке авторов изменений, расчет TOA reflectance для Landsat 8 должен производится по формуле (8).

::''ρλ' = MρQcal+ Aρ'' (8)

где:
::''ρλ''' - значение верхнеатмосфеного планетарного отражения радиации (TOA reflectance), без учёта коррекции по углу падения и отражения солнечных лучей;
::''Mρ'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_MULT_BAND_x, где x это номер канала) - усиление значения отражения;
::''Aρ'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_ADD_BAND_x,где x это номер канала) - смещение значения отражения;
::''Qcal'' - значения яркости пикселя сырого геоснимка (DN).

А коррекция TOA reflectance с учётом угла падения и отражения солнечных лучей вычисляется по формуле (9).

::[[Файл:Dos_f_09.png]] (9)

где:
::''ρλ'' - значение верхнеатмосфеного планетарного отражения радиации (TOA reflectance), c учётом коррекции по углу падения и отражения солнечных лучей;
::''θSE'' - высота солнца над горизонтом. Доступна в файле _MTL.txt в параметре (SUN_ELEVATION);
::''θSZ'' - зенитное расстояние; θSZ = 90° - θSE.

Сообщество разработчиков свободной GIS GRASS указывает на одинаковые значения REFLECTANCE_MULT_BAND и REFLECTANCE_ADD_BAND для всех каналов снимка [8], что не может быть в реальности. Данная группа разработчиков в своём модуле нормализации и атмосферной коррекции i.landsat.toar применяет к георастрам, снятым при помощи датчиков Oli Landsat 8, те же математические методы, что для TM Landsat 5 и ETM+ Landsat 7, а недостающий коэффициент Eo (Esun) рассчитывает по формуле (10).

::[[Файл:Dos_f_10.png]] (10)

где:
::''Esun'' - (E0) вычисленный коэффициент солнечного внеатмосферного спектрального излучения;
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''RADIANCE_MAXIMUM'' - каналоспецифичный мультипликативный расчётный фактор для (RADIANCE_MAXIMUM_x, где x это номер канала) - максимально возможное значение поступающей на сенсор радиации;
::''REFLECTANCE_MAXIMUM'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_MAXIMUM_x, где x это номер канала) - максимальное значение радиации, отражённой от поверхности земли.

Ещё одной особенностью Landsat8 стало уменьшение чувствительности каналов RED, NIR и SWIR1 относительно Landsat 7 и 5 , что приводит к изменению значений, вычисляемых с использованием данных спектров, индексов.

Данную проблему пытался решить Neil Flood, 2014 [9] введением дополнительных, рассчитанных им эмпирическим путём, коэффициентов для каждого канала геоснимка. В результате, коррекция значений TOA reflectance Landsat8 в значения для того же региона и тех же спектров Landsat7, приобретает вид формулы (11).

::''ρETM+ = c0 + c1 × ρOLI'' (11)

где:
::''ρETM'' - результат конвертирования значения TOA reflectance из Landsat 8 в Landsat 7;
::''ρOLI'' - вычисленное для Landsat8 значение TOA reflectance;
::''c0'' - смещение значения отражённой радиации между датчиками OLI и ETM+;
::''c1'' - усиление значения отражённой радиации между датчиками OLI и ETM+.

Значения c0 и с1 формулы (11) были сведены автором в корректировочные таблицы, что позволяет применять их без повторения вычислений представленных в статье Neil Flood, 2014 [9].

=='''Программная реализация нормализации геоснимков для трёх типов спутников Landsat: 5,7,8'''==

Все вычисления производились с использованием языка программирования python. Для этого была написана собственная программа нормализации геоданных с использованием интерфейса GDAL (библиотеки для работы с растровыми географическими форматами), тесно связанного с расширением numpy, добавляющим в язык программирования поддержку больших многомерных массивов и матриц, а также систему низкоуровневых математических функций для операций с этими массивами. Программа состоит из следующих структурных элементов:

#Класса преобразования растра в массив.
#Класса преобразования вычисленного массива в растр.
#Класса сбора данных коррекции при помощи парсера _MTL.txt файла и данных выгрузки расстояний от земли до солнца [7].
#Выполняемого скрипта самих математических вычислений растров для проведения процесса нормализации.

Исходные коды программы доступны для загрузки по адресу: https://github.com/oldbay/raster_tools, кроме того исходные GEOTIFF и нормализованные спектральные растры доступны по адресу: https://github.com/oldbay/paper_examples

=='''Список использованных источников'''==

# Официальный сайт Геологической Службы Соединённых Штатов - USGS [Электронный ресурс]. Режим доступа: http://www.usgs.gov.
# Интреактивный WEB-интерфейс получения данных дистанционного зондирования с ресурса Геологической Службы Соединённых Штатов [Электронный ресурс]. Режим доступа: http://glovis.usgs.gov.
# Thome K.J., Biggar S.F., Gellman D.L., Slater P.N. (1994) - Absolute-radiometric calibration of Landsat-5 Thematic Mapper and the proposed calibration of the Advanced Spaceborne Thermal Emission and Reflection Radiometer. Paper presented at the Geoscience and Remote Sensing Symposium, 1994. IGARSS’94. Surface and Atmospheric Remote Sensing: Technologies, Data Analysis and Interpretation.
# Lu D., Mausel P., Brondizio E., Moran E. (2002) - Assessment of atmospheric correction methods for Landsat TM data applicable to Amazon basin LBA research. International Journal of Remote Sensing, 23 (13): 2651-2671.
# Chavez, P. S. (1996). Image-based atmospheric correction—revisited and improved. Photogrammetric Engineering and Remote Sensing, 62(9), 1025 – 1036.
# Sobrino J. A., Jiménez-Muñoz J.C., Paolini L. (2004) - Land surface temperature retrieval from LANDSAT TM 5. Remote sensing of Environment, 90 (4): 434-440.
# «HORIZONS Web-Interface» [Electronic resource]. Access mode: http://ssd.jpl.nasa.gov/horizons.cgi.
# «Calculates top-of-atmosphere radiance or reflectance and temperature for Landsat MSS/TM/ETM+/OLI» [Electronic resource]. Access mode: http://grass.osgeo.org/grass65/manuals/i.landsat.toar.html.
# Neil Flood (2014) Continuity of Reflectance Data between Landsat-7 ETM+ and Landsat-8 OLI, for Both Top-of-Atmosphere and Surface Reflectance: A Study in the Australian Landscape. Remote Sens. 2014, 6, 7952-7970

Атмосферная коррекция по методу DOS

2015-07-21T05:49:37Z

Oldbay:

{{Статья|Черновик}}
==Анотация==

Недавно была защищена магистерская диссертация по ГИС тематике, решил выдержки из данной работы опубликовать в виде цикла статей. В первой статье рассмотрим атмосферную коррекцию по методу DOS (Dark Object Subtraction). В конце статьи представлен готовый программный инструментарий для выполения атмосферной коррекции.

==Подготовка геоданных==

Среди источников геоданных использовались данные USGS (Геологической Службы Соединённых Штатов) [1] доступных для свободного скачивания [2]. Данные с этих ресурсов представлены в формате GeoTIFF в виде непрерывных наборов сцен для различных районов мира. Представленные на ресурсах геоданные соответствуют уровню обработки LG1: «сырые геоданные» не конвертированные в значения излучения на сенсоре. Для самостоятельного проведения конвертации и атмосферной коррекции - доступны файлы настройки спутниковых сенсоров с набором ряда параметров: минимумы и максимумы пиксельной яркости на изображении; минимумы и максимумы излучения на датчиках; минимумы и максимумы отражения излучения от поверхности земли (Landsat 8) и многое другое. Кроме данных настройки спутниковых датчиков в архиве присутствуют несколько файлов в формате GeoTIFF, распределённых по номерам каналов, количество и состав которых для разных спутников (Landsat 5,7,8) различный (Таблица 1).

 
Таблица 1 — Спутники и используемые в работе каналы
{|class="wikitable"
|-
!Спутник и датчик !! Номер канала (band) !! Название спектра !! Длинны волн (нм)
|-
!rowspan="6"|Landsat 5 TM
|1 || Blue - Синий || 450–520
|-
|2 || Green - Зелёный || 520–600
|-
|3 || Red - Красный || 630–690
|-
|4 || NIR — Ближний ИК || 760–900
|-
|5 || SWIR1 — Средний ИК 1 || 1550–1750
|-
|7 || SWIR2 — Средний ИК 2 || 2080–2350
|-
!rowspan="6"|Landsat 7 ETM+
|1 || Blue - Синий || 450–520
|-
|2 || Green - Зелёный || 520–600
|-
|3 || Red - Красный || 630–690
|-
|4 || NIR — Ближний ИК || 770–900
|-
|5 || SWIR1 — Средний ИК 1 || 1550–1750
|-
|7 || SWIR2 — Средний ИК 2 || 2080–2350
|-
!rowspan="6"|Lansat 8 Oli
|2 || Blue - Синий || 450—515
|-
|3 || Green - Зелёный || 525—600
|-
|4 || Red - Красный || 630—680
|-
|5 || NIR — Ближний ИК || 845—885
|-
|6 || SWIR1 — Средний ИК 1 || 1560—1660
|-
|7 || SWIR2 — Средний ИК 2 || 2100—2300
|}

 
Как видно из таблицы, шесть наиболее используемых «спектров» находятся у разных спутников в сходном диапазоне частот. Поэтому, для удобства использования терминологии, вместо указания спутниковых каналов в дальнейшем будем использовать самоназвание спектров: BLUE - синий, GREEN - зелёный, RED - красный, NIR - ближний инфракрасный, SWIR1 - средний инфракрасный 1, SWIR2 - средний инфракрасный 2 - вне зависимости от спутника и применять к ним одинаковый набор вычислений.

Как уже упоминалось, геоданные по всем каналам предоставлены уровнем обработки LG1 - в сыром виде, это означает что предоставленные канальные GeoTIFF не более чем спозиционированные на местности яркостные «фотографии», которые, в таком виде, не могут быть использованы для ГИС исследований. Поэтому данные уровня обработки LG1 необходимо нормализовать - то есть провести конвертацию значений яркости в показатели излучения на сенсоре и атмосферную коррекцию.

 

==Конвертация значений яркости исходного GeoTIFF в показатели излучения на сенсоре==

Теоретические основы процесса конвертирования подробно описаны в статье [http://gis-lab.info/qa/dn2radiance.html 'Конвертация данных TM, ETM+ в показатели излучения на сенсоре'], потому коснёмся только практической реализации процесса.

Конвертирование является первым этапом нормализации сырых геоданных и представляет из себя математическую операцию перевода значения яркости пикселей геоснимка в значения радиации поступившей на датчики спутника. Для такого перевода в комплекте данных Landsat присутствует файл коррекции _MTL.txt, предельные значения из которого и используются на этом этапе обработки геоснимка.

Для проведения работы использовалась стандартная, описанная в документации NASA, формула (1) перевода яркости в значение top of atmosphere radiance (TOA radiance)

 
::[[Файл:F_01.png]] (1)

 
где:
::''Lλ'' - спектральная радиация, пришедшая на сенсор спутника;
::''DNcal'' - значения яркости пикселя сырого геоснимка;
::''Qcalmin'' - минимальное возможное значение пикселя геоснимка;
::''Qcalmax'' - максимальное возможное значение пикселя геоснимка;
::''LMINλ'' - минимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка;
::''LMAXλ'' - максимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка.

 
Кроме того для вычисления TOA radiance можно использовать упрощенную формулу (2) Thome et al., 1994 [3], Lu et al 2002 [4].

 
::''Lλ = DNcal × Gainλ + Baisλ'' (2)

 
где:
::''Lλ'' - спектральная радиация, пришедшая на сенсор спутника;
::''DNcal'' - значения яркости пикселя сырого геоснимка;
::''Gainλ'' - усиление значения радиации относительно яркости исходного геоснимка;
::''Baisλ'' - смещение значения радиации относительно яркости исходного геоснимка.

 
После обсчёта каждого пикселя геоснимка с использованием данной формулы, получаем матрицу значений c плавающей точкой - нормализованных геоданных.

 

==Атмосферная коррекция==

Следующим этапом нормализации геоданных является уменьшение влияния атмосферы на снимок и перевод значений радиации, дошедшей до сенсоров спутника (TOA radiance), в значения реально отражённого от земли спектрального излучения солнечного света.

Материалы данного и последующих разделов, в некоторой степени, перекликаются со статьёй [http://gis-lab.info/qa/atcor.html "Атмосферная коррекция данных Landsat/ETM+ (COST метод)"], но в отличии от неё ориентированы на пакетную обработку ДДЗ из нескольких источников.

Влияние атмосферы на геоснимок проявляется в целом ряде факторов: угол падения и отражения солнечных лучей, прозрачность атмосферы, газовый фактор и дымка (Рисунок 1).

 
[[Файл:Dos_img_1.jpg]]
 
Рисунок 1 — Факторы, влияющие на попадание отраженной солнечной радиации на сенсоры спутника

 
Для дальнейших исследований необходимо провести оптическую коррекцию (нормализацию) данных геоснимка методом Dark Object Subtraction (DOS), впервые представленным Chavez (1996) [5]. Суть метода состоит в нахождении яркости однопроцентно тёмного объекта геоснимка с последующей коррекцией минимума значений каждого пикселя изображения, относительно спектральной яркости найденного объекта.

Есть два основных способа поиска 1% темного объекта (Dark Object) для метода DOS:
# эмпирический метод - подразумевает поиск значений в ручном режиме, например, с использованием инструмента гистограмма в QGIS, где изменяя нижний порог яркости гистограммы постепенно находим примерное значение яркости искомого тёмного объекта;
#вычислительный метод подразумевает, что суммарная яркость (от 0 до n) однопроцентно тёмного объекта будет соответствовать 0.01% от суммарной яркости всех пикселей геоснимка Sobrino et al., 2004 [6].
В данной работе успешно применяли метод (2), хорошо показавший себя при обработке большого количества геоснимков исследуемого района.

После определения яркости Dark Object (в дальнейших вычислениях будем обозначать его как DNmin), производим атмосферную коррекцию по методу DOS в несколько этапов:

 
====1.Вычисляем значение радиации, соответствующее значению яркости 1% темного объекта (расчёт производится по аналогии с TOA radiance), по формуле (3).====

 
::[[Файл:Dos_f_03.png]] (3)

 
где:
::''Lλmin'' - спектральная радиация для 1% тёмного объекта;
::''DNmin'' - значения яркости пикселя 1% тёмного объекта;
::''Qcalmin'' - минимальное возможное значение пикселя геоснимка;
::''Qcalmax'' - максимальное возможное значение пикселя геоснимка;
::''LMINλ'' - минимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка;
::''LMAXλ'' - максимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка.

 
Или с использованием упрощённой формы (4).

 
::''Lλmin = DNmin × Gainλ + Baisλ'' (4)

 
где:
::''Lλmin'' - спектральная радиация для 1% тёмного объекта;
::''DNmin'' - значения яркости пикселя 1% тёмного объекта;
::''Gainλ'' - усиление значения радиации относительно яркости 1% тёмного объекта;
::''Baisλ'' - смещение значения радиации относительно яркости 1% тёмного объекта.

 

====2.Рассчитываем коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта по формуле (5).====

 
::[[Файл:Dos_f_05.png]] (5)

 
где:
::''L1%'' - коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта;
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''E0'' - коэффициент солнечного внеатмосферного спектрального излучения (явно представлен как табличные данные и учитывается при калибровке датчиков Landsat 5 и 7 , для Landsat 8 дополнительно вычисляется);
::''θ'' - зенитное расстояние для солнца в радианах;
::''TZ'' - мера прохождения излучения от солнца до земли, в методе DOS2, принимается равным cosθ.

 
====3.Вычисляем значение атмосферной дымки (hazing) по формуле (6).====

 
::''Lλhaze = Lλmin - L1%'' (6)

 
где:
::''Lλhaze'' - значение атмосферной дымки (hazing);
::''L1%'' - коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта;
::''Lλmin'' - спектральная радиация для 1% тёмного объекта.

 
====4.Рассчитываем атмосферно скорректированные значения отражённой солнечной радиации по формуле (7).====

 
::[[Файл:Dos_f_07.png]] (7)

 
где:
::''ρλ'' - атмоферно скорректированные значения отражённой солнечной радиации;
::''Lλ'' - значения радиации пришедшей на сенсор спутника;
::''Lλhaze'' - значение атмосферной дымки (hazing);
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''E0'' - коэффициент солнечного внеатмосферного спектрального излучения (явно представлен как табличные данные и учитывается при калибровке датчиков Landsat 5 и 7 , для Landsat 8 дополнительно вычисляется);
::''θ'' - зенитное расстояние для солнца в радианах;
::''TZ'' - мера прохождения излучения от солнца до земли, в методе DOS2, принимается равным cosθ.

 
==Особенности работы с растрами спутника Landsat 8==

Если часть сцен сняты спутником Landsat 8 датчик Oli, необходимость их сравнения со сценами спутников lansat5 (датчик TM) и landsat8 (датчик ETM+). В данном контексте известна проблема применения стандартных методов атмосферной коррекции для нового спутника: дело в том, что калибровка датчиков Oli Landsat 8 производится без учёта значений коэффициента солнечного внеатмосферного спектрального излучения Eo (Sobrino et al., 2004) [6] или ,в других источниках, Esun. Вместо использования данного коэффициента, в файл корректировки _MTL.txt, были добавлены некоторые новые спектральные параметры: REFLECTANCE_MULT_BAND - усиление значения отражения и REFLECTANCE_ADD_BAND - смещение значения отражения для каждого из спектральных датчиков. В результате, по задумке авторов изменений, расчет TOA reflectance для Landsat 8 должен производится по формуле (8).

 
::''ρλ' = MρQcal+ Aρ'' (8)

 
где:
::''ρλ''' - значение верхнеатмосфеного планетарного отражения радиации (TOA reflectance), без учёта коррекции по углу падения и отражения солнечных лучей;
::''Mρ'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_MULT_BAND_x, где x это номер канала) - усиление значения отражения;
::''Aρ'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_ADD_BAND_x,где x это номер канала) - смещение значения отражения;
::''Qcal'' - значения яркости пикселя сырого геоснимка (DN).

 
А коррекция TOA reflectance с учётом угла падения и отражения солнечных лучей вычисляется по формуле (9).

 
::[[Файл:Dos_f_09.png]] (9)

 
где:
::''ρλ'' - значение верхнеатмосфеного планетарного отражения радиации (TOA reflectance), c учётом коррекции по углу падения и отражения солнечных лучей;
::''θSE'' - высота солнца над горизонтом. Доступна в файле _MTL.txt в параметре (SUN_ELEVATION);
::''θSZ'' - зенитное расстояние; θSZ = 90° - θSE.

 
Сообщество разработчиков свободной GIS GRASS указывает на одинаковые значения REFLECTANCE_MULT_BAND и REFLECTANCE_ADD_BAND для всех каналов снимка [8], что не может быть в реальности. Данная группа разработчиков в своём модуле нормализации и атмосферной коррекции i.landsat.toar применяет к георастрам, снятым при помощи датчиков Oli Landsat 8, те же математические методы, что для TM Landsat 5 и ETM+ Landsat 7, а недостающий коэффициент Eo (Esun) рассчитывает по формуле (10).

 
::[[Файл:Dos_f_10.png]] (10)

 
где:
::''Esun'' - (E0) вычисленный коэффициент солнечного внеатмосферного спектрального излучения;
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''RADIANCE_MAXIMUM'' - каналоспецифичный мультипликативный расчётный фактор для (RADIANCE_MAXIMUM_x, где x это номер канала) - максимально возможное значение поступающей на сенсор радиации;
::''REFLECTANCE_MAXIMUM'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_MAXIMUM_x, где x это номер канала) - максимальное значение радиации, отражённой от поверхности земли.

 
Ещё одной особенностью Landsat8 стало уменьшение чувствительности каналов RED, NIR и SWIR1 относительно Landsat 7 и 5 , что приводит к изменению значений, вычисляемых с использованием данных спектров, индексов.

Данную проблему пытался решить Neil Flood, 2014 [9] введением дополнительных, рассчитанных им эмпирическим путём, коэффициентов для каждого канала геоснимка. В результате, коррекция значений TOA reflectance Landsat8 в значения для того же региона и тех же спектров Landsat7, приобретает вид формулы (11).

 
::''ρETM+ = c0 + c1 × ρOLI'' (11)

 
где:
::''ρETM'' - результат конвертирования значения TOA reflectance из Landsat 8 в Landsat 7;
::''ρOLI'' - вычисленное для Landsat8 значение TOA reflectance;
::''c0'' - смещение значения отражённой радиации между датчиками OLI и ETM+;
::''c1'' - усиление значения отражённой радиации между датчиками OLI и ETM+.

 
Значения c0 и с1 формулы (11) были сведены автором в корректировочные таблицы, что позволяет применять их без повторения вычислений представленных в статье Neil Flood, 2014 [9].

 

==Программная реализация нормализации геоснимков для трёх типов спутников Landsat: 5,7,8==

Все вычисления производились с использованием языка программирования python. Для этого была написана собственная программа нормализации геоданных с использованием интерфейса GDAL (библиотеки для работы с растровыми географическими форматами), тесно связанного с расширением numpy, добавляющим в язык программирования поддержку больших многомерных массивов и матриц, а также систему низкоуровневых математических функций для операций с этими массивами. Программа состоит из следующих структурных элементов:

#Класса преобразования растра в массив.
#Класса преобразования вычисленного массива в растр.
#Класса сбора данных коррекции при помощи парсера _MTL.txt файла и данных выгрузки расстояний от земли до солнца [7].
#Выполняемого скрипта самих математических вычислений растров для проведения процесса нормализации.

Исходные коды программы доступны для загрузки по адресу: https://github.com/oldbay/raster_tools, кроме того исходные GEOTIFF и нормализованные спектральные растры доступны по адресу: https://github.com/oldbay/paper_examples

 
==Список использованных источников==

# Официальный сайт Геологической Службы Соединённых Штатов - USGS [Электронный ресурс]. Режим доступа: http://www.usgs.gov.
# Интреактивный WEB-интерфейс получения данных дистанционного зондирования с ресурса Геологической Службы Соединённых Штатов [Электронный ресурс]. Режим доступа: http://glovis.usgs.gov.
# Thome K.J., Biggar S.F., Gellman D.L., Slater P.N. (1994) - Absolute-radiometric calibration of Landsat-5 Thematic Mapper and the proposed calibration of the Advanced Spaceborne Thermal Emission and Reflection Radiometer. Paper presented at the Geoscience and Remote Sensing Symposium, 1994. IGARSS’94. Surface and Atmospheric Remote Sensing: Technologies, Data Analysis and Interpretation.
# Lu D., Mausel P., Brondizio E., Moran E. (2002) - Assessment of atmospheric correction methods for Landsat TM data applicable to Amazon basin LBA research. International Journal of Remote Sensing, 23 (13): 2651-2671.
# Chavez, P. S. (1996). Image-based atmospheric correction—revisited and improved. Photogrammetric Engineering and Remote Sensing, 62(9), 1025 – 1036.
# Sobrino J. A., Jiménez-Muñoz J.C., Paolini L. (2004) - Land surface temperature retrieval from LANDSAT TM 5. Remote sensing of Environment, 90 (4): 434-440.
# «HORIZONS Web-Interface» [Electronic resource]. Access mode: http://ssd.jpl.nasa.gov/horizons.cgi.
# «Calculates top-of-atmosphere radiance or reflectance and temperature for Landsat MSS/TM/ETM+/OLI» [Electronic resource]. Access mode: http://grass.osgeo.org/grass65/manuals/i.landsat.toar.html.
# Neil Flood (2014) Continuity of Reflectance Data between Landsat-7 ETM+ and Landsat-8 OLI, for Both Top-of-Atmosphere and Surface Reflectance: A Study in the Australian Landscape. Remote Sens. 2014, 6, 7952-7970

Атмосферная коррекция по методу DOS

2015-07-18T19:25:09Z

Oldbay: /* 1.Вычисляем значение радиации, соответствующее значению яркости 1% темного объекта (расчёт производится по аналогии с TOA radiance), по форм…

{{Статья|Черновик}}
==Анотация==

Недавно была защищена магистерская диссертация по ГИС тематике, решил выдержки из данной работы опубликовать в виде цикла статей. В первой статье рассмотрим атмосферную коррекцию по методу DOS (Dark Object Subtraction). В конце статьи представлен готовый программный инструментарий для выполения атмосферной коррекции.

==Подготовка геоданных==

Среди источников геоданных использовались данные USGS (Геологической Службы Соединённых Штатов) [1] доступных для свободного скачивания [2]. Данные с этих ресурсов представлены в формате GeoTIFF в виде непрерывных наборов сцен для различных районов мира. Представленные на ресурсах геоданные соответствуют уровню обработки LG1: «сырые геоданные» не конвертированные в значения излучения на сенсоре. Для самостоятельного проведения конвертации и атмосферной коррекции - доступны файлы настройки спутниковых сенсоров с набором ряда параметров: минимумы и максимумы пиксельной яркости на изображении; минимумы и максимумы излучения на датчиках; минимумы и максимумы отражения излучения от поверхности земли (Landsat 8) и многое другое. Кроме данных настройки спутниковых датчиков в архиве присутствуют несколько файлов в формате GeoTIFF, распределённых по номерам каналов, количество и состав которых для разных спутников (Landsat 5,7,8) различный (Таблица 1).

 
Таблица 1 — Спутники и используемые в работе каналы
{|class="wikitable"
!Спутник и датчик
!Порядковый номер канала (band)
!Название спектра
!Длинны волн (нм)
|-
!rowspan="6"|Landsat 5 TM
|1
|Blue - Синий
|450–520
|-
|2
|Green - Зелёный
|520–600
|-
|3
|Red - Красный
|630–690
|-
|4
|NIR — Ближний ИК
|760–900
|-
|5
|SWIR1 — Средний ИК 1
|1550–1750
|-
|7
|SWIR2 — Средний ИК 2
|2080–2350
|-
!rowspan="6"|Landsat 7 ETM+
|1
|Blue - Синий
|450–520
|-
|2
|Green - Зелёный
|520–600
|-
|3
|Red - Красный
|630–690
|-
|4
|NIR — Ближний ИК
|770–900
|-
|5
|SWIR1 — Средний ИК 1
|1550–1750
|-
|7
|SWIR2 — Средний ИК 2
|2080–2350
|-
!rowspan="6"|Lansat 8 Oli
|2
|Blue - Синий
|450—515
|-
|3
|Green - Зелёный
|525—600
|-
|4
|Red - Красный
|630—680
|-
|5
|NIR — Ближний ИК
|845—885
|-
|6
|SWIR1 — Средний ИК 1
|1560—1660
|-
|7
|SWIR2 — Средний ИК 2
|2100—2300
|}

 
Как видно из таблицы, шесть наиболее используемых «спектров» находятся у разных спутников в сходном диапазоне частот. Поэтому, для удобства использования терминологии, вместо указания спутниковых каналов в дальнейшем будем использовать самоназвание спектров: BLUE - синий, GREEN - зелёный, RED - красный, NIR - ближний инфракрасный, SWIR1 - средний инфракрасный 1, SWIR2 - средний инфракрасный 2 - вне зависимости от спутника и применять к ним одинаковый набор вычислений.

Как уже упоминалось, геоданные по всем каналам предоставлены уровнем обработки LG1 - в сыром виде, это означает что предоставленные канальные GeoTIFF не более чем спозиционированные на местности яркостные «фотографии», которые, в таком виде, не могут быть использованы для ГИС исследований. Поэтому данные уровня обработки LG1 необходимо нормализовать - то есть провести конвертацию значений яркости в показатели излучения на сенсоре и атмосферную коррекцию.

 

==Конвертация значений яркости исходного GeoTIFF в показатели излучения на сенсоре==

Теоретические основы процесса конвертирования подробно описаны в статье [http://gis-lab.info/qa/dn2radiance.html 'Конвертация данных TM, ETM+ в показатели излучения на сенсоре'], потому коснёмся только практической реализации процесса.

Конвертирование является первым этапом нормализации сырых геоданных и представляет из себя математическую операцию перевода значения яркости пикселей геоснимка в значения радиации поступившей на датчики спутника. Для такого перевода в комплекте данных Landsat присутствует файл коррекции _MTL.txt, предельные значения из которого и используются на этом этапе обработки геоснимка.

Для проведения работы использовалась стандартная, описанная в документации NASA, формула (1) перевода яркости в значение top of atmosphere radiance (TOA radiance)

 
::[[Файл:F_01.png]] (1)

 
где:
::''Lλ'' - спектральная радиация, пришедшая на сенсор спутника;
::''DNcal'' - значения яркости пикселя сырого геоснимка;
::''Qcalmin'' - минимальное возможное значение пикселя геоснимка;
::''Qcalmax'' - максимальное возможное значение пикселя геоснимка;
::''LMINλ'' - минимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка;
::''LMAXλ'' - максимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка.

 
Кроме того для вычисления TOA radiance можно использовать упрощенную формулу (2) Thome et al., 1994 [3], Lu et al 2002 [4].

 
::''Lλ = DNcal × Gainλ + Baisλ'' (2)

 
где:
::''Lλ'' - спектральная радиация, пришедшая на сенсор спутника;
::''DNcal'' - значения яркости пикселя сырого геоснимка;
::''Gainλ'' - усиление значения радиации относительно яркости исходного геоснимка;
::''Baisλ'' - смещение значения радиации относительно яркости исходного геоснимка.

 
После обсчёта каждого пикселя геоснимка с использованием данной формулы, получаем матрицу значений c плавающей точкой - нормализованных геоданных.

 

==Атмосферная коррекция==

Следующим этапом нормализации геоданных является уменьшение влияния атмосферы на снимок и перевод значений радиации, дошедшей до сенсоров спутника (TOA radiance), в значения реально отражённого от земли спектрального излучения солнечного света.

Материалы данного и последующих разделов, в некоторой степени, перекликаются со статьёй [http://gis-lab.info/qa/atcor.html "Атмосферная коррекция данных Landsat/ETM+ (COST метод)"], но в отличии от неё ориентированы на пакетную обработку ДДЗ из нескольких источников.

Влияние атмосферы на геоснимок проявляется в целом ряде факторов: угол падения и отражения солнечных лучей, прозрачность атмосферы, газовый фактор и дымка (Рисунок 1).

 
[[Файл:Dos_img_1.jpg]]
 
Рисунок 1 — Факторы, влияющие на попадание отраженной солнечной радиации на сенсоры спутника

 
Для дальнейших исследований необходимо провести оптическую коррекцию (нормализацию) данных геоснимка методом Dark Object Subtraction (DOS), впервые представленным Chavez (1996) [5]. Суть метода состоит в нахождении яркости однопроцентно тёмного объекта геоснимка с последующей коррекцией минимума значений каждого пикселя изображения, относительно спектральной яркости найденного объекта.

Есть два основных способа поиска 1% темного объекта (Dark Object) для метода DOS:
# эмпирический метод - подразумевает поиск значений в ручном режиме, например, с использованием инструмента гистограмма в QGIS, где изменяя нижний порог яркости гистограммы постепенно находим примерное значение яркости искомого тёмного объекта;
#вычислительный метод подразумевает, что суммарная яркость (от 0 до n) однопроцентно тёмного объекта будет соответствовать 0.01% от суммарной яркости всех пикселей геоснимка Sobrino et al., 2004 [6].
В данной работе успешно применяли метод (2), хорошо показавший себя при обработке большого количества геоснимков исследуемого района.

После определения яркости Dark Object (в дальнейших вычислениях будем обозначать его как DNmin), производим атмосферную коррекцию по методу DOS в несколько этапов:

 
====1.Вычисляем значение радиации, соответствующее значению яркости 1% темного объекта (расчёт производится по аналогии с TOA radiance), по формуле (3).====

 
::[[Файл:Dos_f_03.png]] (3)

 
где:
::''Lλmin'' - спектральная радиация для 1% тёмного объекта;
::''DNmin'' - значения яркости пикселя 1% тёмного объекта;
::''Qcalmin'' - минимальное возможное значение пикселя геоснимка;
::''Qcalmax'' - максимальное возможное значение пикселя геоснимка;
::''LMINλ'' - минимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка;
::''LMAXλ'' - максимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка.

 
Или с использованием упрощённой формы (4).

 
::''Lλmin = DNmin × Gainλ + Baisλ'' (4)

 
где:
::''Lλmin'' - спектральная радиация для 1% тёмного объекта;
::''DNmin'' - значения яркости пикселя 1% тёмного объекта;
::''Gainλ'' - усиление значения радиации относительно яркости 1% тёмного объекта;
::''Baisλ'' - смещение значения радиации относительно яркости 1% тёмного объекта.

 

====2.Рассчитываем коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта по формуле (5).====

 
::[[Файл:Dos_f_05.png]] (5)

 
где:
::''L1%'' - коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта;
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''E0'' - коэффициент солнечного внеатмосферного спектрального излучения (явно представлен как табличные данные и учитывается при калибровке датчиков Landsat 5 и 7 , для Landsat 8 дополнительно вычисляется);
::''θ'' - зенитное расстояние для солнца в радианах;
::''TZ'' - мера прохождения излучения от солнца до земли, в методе DOS2, принимается равным cosθ.

 
====3.Вычисляем значение атмосферной дымки (hazing) по формуле (6).====

 
::''Lλhaze = Lλmin - L1%'' (6)

 
где:
::''Lλhaze'' - значение атмосферной дымки (hazing);
::''L1%'' - коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта;
::''Lλmin'' - спектральная радиация для 1% тёмного объекта.

 
====4.Рассчитываем атмосферно скорректированные значения отражённой солнечной радиации по формуле (7).====

 
::[[Файл:Dos_f_07.png]] (7)

 
где:
::''ρλ'' - атмоферно скорректированные значения отражённой солнечной радиации;
::''Lλ'' - значения радиации пришедшей на сенсор спутника;
::''Lλhaze'' - значение атмосферной дымки (hazing);
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''E0'' - коэффициент солнечного внеатмосферного спектрального излучения (явно представлен как табличные данные и учитывается при калибровке датчиков Landsat 5 и 7 , для Landsat 8 дополнительно вычисляется);
::''θ'' - зенитное расстояние для солнца в радианах;
::''TZ'' - мера прохождения излучения от солнца до земли, в методе DOS2, принимается равным cosθ.

 
==Особенности работы с растрами спутника Landsat 8==

Если часть сцен сняты спутником Landsat 8 датчик Oli, необходимость их сравнения со сценами спутников lansat5 (датчик TM) и landsat8 (датчик ETM+). В данном контексте известна проблема применения стандартных методов атмосферной коррекции для нового спутника: дело в том, что калибровка датчиков Oli Landsat 8 производится без учёта значений коэффициента солнечного внеатмосферного спектрального излучения Eo (Sobrino et al., 2004) [6] или ,в других источниках, Esun. Вместо использования данного коэффициента, в файл корректировки _MTL.txt, были добавлены некоторые новые спектральные параметры: REFLECTANCE_MULT_BAND - усиление значения отражения и REFLECTANCE_ADD_BAND - смещение значения отражения для каждого из спектральных датчиков. В результате, по задумке авторов изменений, расчет TOA reflectance для Landsat 8 должен производится по формуле (8).

 
::''ρλ' = MρQcal+ Aρ'' (8)

 
где:
::''ρλ''' - значение верхнеатмосфеного планетарного отражения радиации (TOA reflectance), без учёта коррекции по углу падения и отражения солнечных лучей;
::''Mρ'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_MULT_BAND_x, где x это номер канала) - усиление значения отражения;
::''Aρ'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_ADD_BAND_x,где x это номер канала) - смещение значения отражения;
::''Qcal'' - значения яркости пикселя сырого геоснимка (DN).

 
А коррекция TOA reflectance с учётом угла падения и отражения солнечных лучей вычисляется по формуле (9).

 
::[[Файл:Dos_f_09.png]] (9)

 
где:
::''ρλ'' - значение верхнеатмосфеного планетарного отражения радиации (TOA reflectance), c учётом коррекции по углу падения и отражения солнечных лучей;
::''θSE'' - высота солнца над горизонтом. Доступна в файле _MTL.txt в параметре (SUN_ELEVATION);
::''θSZ'' - зенитное расстояние; θSZ = 90° - θSE.

 
Сообщество разработчиков свободной GIS GRASS указывает на одинаковые значения REFLECTANCE_MULT_BAND и REFLECTANCE_ADD_BAND для всех каналов снимка [8], что не может быть в реальности. Данная группа разработчиков в своём модуле нормализации и атмосферной коррекции i.landsat.toar применяет к георастрам, снятым при помощи датчиков Oli Landsat 8, те же математические методы, что для TM Landsat 5 и ETM+ Landsat 7, а недостающий коэффициент Eo (Esun) рассчитывает по формуле (10).

 
::[[Файл:Dos_f_10.png]] (10)

 
где:
::''Esun'' - (E0) вычисленный коэффициент солнечного внеатмосферного спектрального излучения;
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''RADIANCE_MAXIMUM'' - каналоспецифичный мультипликативный расчётный фактор для (RADIANCE_MAXIMUM_x, где x это номер канала) - максимально возможное значение поступающей на сенсор радиации;
::''REFLECTANCE_MAXIMUM'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_MAXIMUM_x, где x это номер канала) - максимальное значение радиации, отражённой от поверхности земли.

 
Ещё одной особенностью Landsat8 стало уменьшение чувствительности каналов RED, NIR и SWIR1 относительно Landsat 7 и 5 , что приводит к изменению значений, вычисляемых с использованием данных спектров, индексов.

Данную проблему пытался решить Neil Flood, 2014 [9] введением дополнительных, рассчитанных им эмпирическим путём, коэффициентов для каждого канала геоснимка. В результате, коррекция значений TOA reflectance Landsat8 в значения для того же региона и тех же спектров Landsat7, приобретает вид формулы (11).

 
::''ρETM+ = c0 + c1 × ρOLI'' (11)

 
где:
::''ρETM'' - результат конвертирования значения TOA reflectance из Landsat 8 в Landsat 7;
::''ρOLI'' - вычисленное для Landsat8 значение TOA reflectance;
::''c0'' - смещение значения отражённой радиации между датчиками OLI и ETM+;
::''c1'' - усиление значения отражённой радиации между датчиками OLI и ETM+.

 
Значения c0 и с1 формулы (11) были сведены автором в корректировочные таблицы, что позволяет применять их без повторения вычислений представленных в статье Neil Flood, 2014 [9].

 

==Программная реализация нормализации геоснимков для трёх типов спутников Landsat: 5,7,8==

Все вычисления производились с использованием языка программирования python. Для этого была написана собственная программа нормализации геоданных с использованием интерфейса GDAL (библиотеки для работы с растровыми географическими форматами), тесно связанного с расширением numpy, добавляющим в язык программирования поддержку больших многомерных массивов и матриц, а также систему низкоуровневых математических функций для операций с этими массивами. Программа состоит из следующих структурных элементов:

#Класса преобразования растра в массив.
#Класса преобразования вычисленного массива в растр.
#Класса сбора данных коррекции при помощи парсера _MTL.txt файла и данных выгрузки расстояний от земли до солнца [7].
#Выполняемого скрипта самих математических вычислений растров для проведения процесса нормализации.

Исходные коды программы доступны для загрузки по адресу: https://github.com/oldbay/raster_tools, кроме того исходные GEOTIFF и нормализованные спектральные растры доступны по адресу: https://github.com/oldbay/paper_examples

 
==Список использованных источников==

# Официальный сайт Геологической Службы Соединённых Штатов - USGS [Электронный ресурс]. Режим доступа: http://www.usgs.gov.
# Интреактивный WEB-интерфейс получения данных дистанционного зондирования с ресурса Геологической Службы Соединённых Штатов [Электронный ресурс]. Режим доступа: http://glovis.usgs.gov.
# Thome K.J., Biggar S.F., Gellman D.L., Slater P.N. (1994) - Absolute-radiometric calibration of Landsat-5 Thematic Mapper and the proposed calibration of the Advanced Spaceborne Thermal Emission and Reflection Radiometer. Paper presented at the Geoscience and Remote Sensing Symposium, 1994. IGARSS’94. Surface and Atmospheric Remote Sensing: Technologies, Data Analysis and Interpretation.
# Lu D., Mausel P., Brondizio E., Moran E. (2002) - Assessment of atmospheric correction methods for Landsat TM data applicable to Amazon basin LBA research. International Journal of Remote Sensing, 23 (13): 2651-2671.
# Chavez, P. S. (1996). Image-based atmospheric correction—revisited and improved. Photogrammetric Engineering and Remote Sensing, 62(9), 1025 – 1036.
# Sobrino J. A., Jiménez-Muñoz J.C., Paolini L. (2004) - Land surface temperature retrieval from LANDSAT TM 5. Remote sensing of Environment, 90 (4): 434-440.
# «HORIZONS Web-Interface» [Electronic resource]. Access mode: http://ssd.jpl.nasa.gov/horizons.cgi.
# «Calculates top-of-atmosphere radiance or reflectance and temperature for Landsat MSS/TM/ETM+/OLI» [Electronic resource]. Access mode: http://grass.osgeo.org/grass65/manuals/i.landsat.toar.html.
# Neil Flood (2014) Continuity of Reflectance Data between Landsat-7 ETM+ and Landsat-8 OLI, for Both Top-of-Atmosphere and Surface Reflectance: A Study in the Australian Landscape. Remote Sens. 2014, 6, 7952-7970

Атмосферная коррекция по методу DOS

2015-07-18T19:23:42Z

Oldbay: /* Конвертация значений яркости исходного GeoTIFF в показатели излучения на сенсоре */

{{Статья|Черновик}}
==Анотация==

Недавно была защищена магистерская диссертация по ГИС тематике, решил выдержки из данной работы опубликовать в виде цикла статей. В первой статье рассмотрим атмосферную коррекцию по методу DOS (Dark Object Subtraction). В конце статьи представлен готовый программный инструментарий для выполения атмосферной коррекции.

==Подготовка геоданных==

Среди источников геоданных использовались данные USGS (Геологической Службы Соединённых Штатов) [1] доступных для свободного скачивания [2]. Данные с этих ресурсов представлены в формате GeoTIFF в виде непрерывных наборов сцен для различных районов мира. Представленные на ресурсах геоданные соответствуют уровню обработки LG1: «сырые геоданные» не конвертированные в значения излучения на сенсоре. Для самостоятельного проведения конвертации и атмосферной коррекции - доступны файлы настройки спутниковых сенсоров с набором ряда параметров: минимумы и максимумы пиксельной яркости на изображении; минимумы и максимумы излучения на датчиках; минимумы и максимумы отражения излучения от поверхности земли (Landsat 8) и многое другое. Кроме данных настройки спутниковых датчиков в архиве присутствуют несколько файлов в формате GeoTIFF, распределённых по номерам каналов, количество и состав которых для разных спутников (Landsat 5,7,8) различный (Таблица 1).

 
Таблица 1 — Спутники и используемые в работе каналы
{|class="wikitable"
!Спутник и датчик
!Порядковый номер канала (band)
!Название спектра
!Длинны волн (нм)
|-
!rowspan="6"|Landsat 5 TM
|1
|Blue - Синий
|450–520
|-
|2
|Green - Зелёный
|520–600
|-
|3
|Red - Красный
|630–690
|-
|4
|NIR — Ближний ИК
|760–900
|-
|5
|SWIR1 — Средний ИК 1
|1550–1750
|-
|7
|SWIR2 — Средний ИК 2
|2080–2350
|-
!rowspan="6"|Landsat 7 ETM+
|1
|Blue - Синий
|450–520
|-
|2
|Green - Зелёный
|520–600
|-
|3
|Red - Красный
|630–690
|-
|4
|NIR — Ближний ИК
|770–900
|-
|5
|SWIR1 — Средний ИК 1
|1550–1750
|-
|7
|SWIR2 — Средний ИК 2
|2080–2350
|-
!rowspan="6"|Lansat 8 Oli
|2
|Blue - Синий
|450—515
|-
|3
|Green - Зелёный
|525—600
|-
|4
|Red - Красный
|630—680
|-
|5
|NIR — Ближний ИК
|845—885
|-
|6
|SWIR1 — Средний ИК 1
|1560—1660
|-
|7
|SWIR2 — Средний ИК 2
|2100—2300
|}

 
Как видно из таблицы, шесть наиболее используемых «спектров» находятся у разных спутников в сходном диапазоне частот. Поэтому, для удобства использования терминологии, вместо указания спутниковых каналов в дальнейшем будем использовать самоназвание спектров: BLUE - синий, GREEN - зелёный, RED - красный, NIR - ближний инфракрасный, SWIR1 - средний инфракрасный 1, SWIR2 - средний инфракрасный 2 - вне зависимости от спутника и применять к ним одинаковый набор вычислений.

Как уже упоминалось, геоданные по всем каналам предоставлены уровнем обработки LG1 - в сыром виде, это означает что предоставленные канальные GeoTIFF не более чем спозиционированные на местности яркостные «фотографии», которые, в таком виде, не могут быть использованы для ГИС исследований. Поэтому данные уровня обработки LG1 необходимо нормализовать - то есть провести конвертацию значений яркости в показатели излучения на сенсоре и атмосферную коррекцию.

 

==Конвертация значений яркости исходного GeoTIFF в показатели излучения на сенсоре==

Теоретические основы процесса конвертирования подробно описаны в статье [http://gis-lab.info/qa/dn2radiance.html 'Конвертация данных TM, ETM+ в показатели излучения на сенсоре'], потому коснёмся только практической реализации процесса.

Конвертирование является первым этапом нормализации сырых геоданных и представляет из себя математическую операцию перевода значения яркости пикселей геоснимка в значения радиации поступившей на датчики спутника. Для такого перевода в комплекте данных Landsat присутствует файл коррекции _MTL.txt, предельные значения из которого и используются на этом этапе обработки геоснимка.

Для проведения работы использовалась стандартная, описанная в документации NASA, формула (1) перевода яркости в значение top of atmosphere radiance (TOA radiance)

 
::[[Файл:F_01.png]] (1)

 
где:
::''Lλ'' - спектральная радиация, пришедшая на сенсор спутника;
::''DNcal'' - значения яркости пикселя сырого геоснимка;
::''Qcalmin'' - минимальное возможное значение пикселя геоснимка;
::''Qcalmax'' - максимальное возможное значение пикселя геоснимка;
::''LMINλ'' - минимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка;
::''LMAXλ'' - максимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка.

 
Кроме того для вычисления TOA radiance можно использовать упрощенную формулу (2) Thome et al., 1994 [3], Lu et al 2002 [4].

 
::''Lλ = DNcal × Gainλ + Baisλ'' (2)

 
где:
::''Lλ'' - спектральная радиация, пришедшая на сенсор спутника;
::''DNcal'' - значения яркости пикселя сырого геоснимка;
::''Gainλ'' - усиление значения радиации относительно яркости исходного геоснимка;
::''Baisλ'' - смещение значения радиации относительно яркости исходного геоснимка.

 
После обсчёта каждого пикселя геоснимка с использованием данной формулы, получаем матрицу значений c плавающей точкой - нормализованных геоданных.

 

==Атмосферная коррекция==

Следующим этапом нормализации геоданных является уменьшение влияния атмосферы на снимок и перевод значений радиации, дошедшей до сенсоров спутника (TOA radiance), в значения реально отражённого от земли спектрального излучения солнечного света.

Материалы данного и последующих разделов, в некоторой степени, перекликаются со статьёй [http://gis-lab.info/qa/atcor.html "Атмосферная коррекция данных Landsat/ETM+ (COST метод)"], но в отличии от неё ориентированы на пакетную обработку ДДЗ из нескольких источников.

Влияние атмосферы на геоснимок проявляется в целом ряде факторов: угол падения и отражения солнечных лучей, прозрачность атмосферы, газовый фактор и дымка (Рисунок 1).

 
[[Файл:Dos_img_1.jpg]]
 
Рисунок 1 — Факторы, влияющие на попадание отраженной солнечной радиации на сенсоры спутника

 
Для дальнейших исследований необходимо провести оптическую коррекцию (нормализацию) данных геоснимка методом Dark Object Subtraction (DOS), впервые представленным Chavez (1996) [5]. Суть метода состоит в нахождении яркости однопроцентно тёмного объекта геоснимка с последующей коррекцией минимума значений каждого пикселя изображения, относительно спектральной яркости найденного объекта.

Есть два основных способа поиска 1% темного объекта (Dark Object) для метода DOS:
# эмпирический метод - подразумевает поиск значений в ручном режиме, например, с использованием инструмента гистограмма в QGIS, где изменяя нижний порог яркости гистограммы постепенно находим примерное значение яркости искомого тёмного объекта;
#вычислительный метод подразумевает, что суммарная яркость (от 0 до n) однопроцентно тёмного объекта будет соответствовать 0.01% от суммарной яркости всех пикселей геоснимка Sobrino et al., 2004 [6].
В данной работе успешно применяли метод (2), хорошо показавший себя при обработке большого количества геоснимков исследуемого района.

После определения яркости Dark Object (в дальнейших вычислениях будем обозначать его как DNmin), производим атмосферную коррекцию по методу DOS в несколько этапов:

 
====1.Вычисляем значение радиации, соответствующее значению яркости 1% темного объекта (расчёт производится по аналогии с TOA radiance), по формуле (3).====

 
::[[Файл:Dos_f_03.png]] (3)

 
где:
::''Lλmin'' - спектральная радиация для 1% тёмного объекта;
::''DNmin'' - значения яркости пикселя 1% тёмного объекта;
::''Qcalmin'' - минимальное возможное значение пикселя геоснимка;
::''Qcalmax'' - максимальное возможное значение пикселя геоснимка;
::''LMINλ'' - минимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка;
::''LMAXλ'' - максимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка.

 
Или с использованием упрощённой формы (4).

 
::''Lλmin = DNmin × Gainλ + Baisλ'' (4)

 
где:
::''Lλmin'' - спектральная радиация для 1% тёмного объекта;
::''DNmin'' - значения яркости пикселя 1% тёмного объекта;
::''Gainλ'' - радиометрическое усиление;
::''Baisλ'' - радиометрическое смещение.

 
====2.Рассчитываем коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта по формуле (5).====

 
::[[Файл:Dos_f_05.png]] (5)

 
где:
::''L1%'' - коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта;
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''E0'' - коэффициент солнечного внеатмосферного спектрального излучения (явно представлен как табличные данные и учитывается при калибровке датчиков Landsat 5 и 7 , для Landsat 8 дополнительно вычисляется);
::''θ'' - зенитное расстояние для солнца в радианах;
::''TZ'' - мера прохождения излучения от солнца до земли, в методе DOS2, принимается равным cosθ.

 
====3.Вычисляем значение атмосферной дымки (hazing) по формуле (6).====

 
::''Lλhaze = Lλmin - L1%'' (6)

 
где:
::''Lλhaze'' - значение атмосферной дымки (hazing);
::''L1%'' - коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта;
::''Lλmin'' - спектральная радиация для 1% тёмного объекта.

 
====4.Рассчитываем атмосферно скорректированные значения отражённой солнечной радиации по формуле (7).====

 
::[[Файл:Dos_f_07.png]] (7)

 
где:
::''ρλ'' - атмоферно скорректированные значения отражённой солнечной радиации;
::''Lλ'' - значения радиации пришедшей на сенсор спутника;
::''Lλhaze'' - значение атмосферной дымки (hazing);
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''E0'' - коэффициент солнечного внеатмосферного спектрального излучения (явно представлен как табличные данные и учитывается при калибровке датчиков Landsat 5 и 7 , для Landsat 8 дополнительно вычисляется);
::''θ'' - зенитное расстояние для солнца в радианах;
::''TZ'' - мера прохождения излучения от солнца до земли, в методе DOS2, принимается равным cosθ.

 
==Особенности работы с растрами спутника Landsat 8==

Если часть сцен сняты спутником Landsat 8 датчик Oli, необходимость их сравнения со сценами спутников lansat5 (датчик TM) и landsat8 (датчик ETM+). В данном контексте известна проблема применения стандартных методов атмосферной коррекции для нового спутника: дело в том, что калибровка датчиков Oli Landsat 8 производится без учёта значений коэффициента солнечного внеатмосферного спектрального излучения Eo (Sobrino et al., 2004) [6] или ,в других источниках, Esun. Вместо использования данного коэффициента, в файл корректировки _MTL.txt, были добавлены некоторые новые спектральные параметры: REFLECTANCE_MULT_BAND - усиление значения отражения и REFLECTANCE_ADD_BAND - смещение значения отражения для каждого из спектральных датчиков. В результате, по задумке авторов изменений, расчет TOA reflectance для Landsat 8 должен производится по формуле (8).

 
::''ρλ' = MρQcal+ Aρ'' (8)

 
где:
::''ρλ''' - значение верхнеатмосфеного планетарного отражения радиации (TOA reflectance), без учёта коррекции по углу падения и отражения солнечных лучей;
::''Mρ'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_MULT_BAND_x, где x это номер канала) - усиление значения отражения;
::''Aρ'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_ADD_BAND_x,где x это номер канала) - смещение значения отражения;
::''Qcal'' - значения яркости пикселя сырого геоснимка (DN).

 
А коррекция TOA reflectance с учётом угла падения и отражения солнечных лучей вычисляется по формуле (9).

 
::[[Файл:Dos_f_09.png]] (9)

 
где:
::''ρλ'' - значение верхнеатмосфеного планетарного отражения радиации (TOA reflectance), c учётом коррекции по углу падения и отражения солнечных лучей;
::''θSE'' - высота солнца над горизонтом. Доступна в файле _MTL.txt в параметре (SUN_ELEVATION);
::''θSZ'' - зенитное расстояние; θSZ = 90° - θSE.

 
Сообщество разработчиков свободной GIS GRASS указывает на одинаковые значения REFLECTANCE_MULT_BAND и REFLECTANCE_ADD_BAND для всех каналов снимка [8], что не может быть в реальности. Данная группа разработчиков в своём модуле нормализации и атмосферной коррекции i.landsat.toar применяет к георастрам, снятым при помощи датчиков Oli Landsat 8, те же математические методы, что для TM Landsat 5 и ETM+ Landsat 7, а недостающий коэффициент Eo (Esun) рассчитывает по формуле (10).

 
::[[Файл:Dos_f_10.png]] (10)

 
где:
::''Esun'' - (E0) вычисленный коэффициент солнечного внеатмосферного спектрального излучения;
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''RADIANCE_MAXIMUM'' - каналоспецифичный мультипликативный расчётный фактор для (RADIANCE_MAXIMUM_x, где x это номер канала) - максимально возможное значение поступающей на сенсор радиации;
::''REFLECTANCE_MAXIMUM'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_MAXIMUM_x, где x это номер канала) - максимальное значение радиации, отражённой от поверхности земли.

 
Ещё одной особенностью Landsat8 стало уменьшение чувствительности каналов RED, NIR и SWIR1 относительно Landsat 7 и 5 , что приводит к изменению значений, вычисляемых с использованием данных спектров, индексов.

Данную проблему пытался решить Neil Flood, 2014 [9] введением дополнительных, рассчитанных им эмпирическим путём, коэффициентов для каждого канала геоснимка. В результате, коррекция значений TOA reflectance Landsat8 в значения для того же региона и тех же спектров Landsat7, приобретает вид формулы (11).

 
::''ρETM+ = c0 + c1 × ρOLI'' (11)

 
где:
::''ρETM'' - результат конвертирования значения TOA reflectance из Landsat 8 в Landsat 7;
::''ρOLI'' - вычисленное для Landsat8 значение TOA reflectance;
::''c0'' - смещение значения отражённой радиации между датчиками OLI и ETM+;
::''c1'' - усиление значения отражённой радиации между датчиками OLI и ETM+.

 
Значения c0 и с1 формулы (11) были сведены автором в корректировочные таблицы, что позволяет применять их без повторения вычислений представленных в статье Neil Flood, 2014 [9].

 

==Программная реализация нормализации геоснимков для трёх типов спутников Landsat: 5,7,8==

Все вычисления производились с использованием языка программирования python. Для этого была написана собственная программа нормализации геоданных с использованием интерфейса GDAL (библиотеки для работы с растровыми географическими форматами), тесно связанного с расширением numpy, добавляющим в язык программирования поддержку больших многомерных массивов и матриц, а также систему низкоуровневых математических функций для операций с этими массивами. Программа состоит из следующих структурных элементов:

#Класса преобразования растра в массив.
#Класса преобразования вычисленного массива в растр.
#Класса сбора данных коррекции при помощи парсера _MTL.txt файла и данных выгрузки расстояний от земли до солнца [7].
#Выполняемого скрипта самих математических вычислений растров для проведения процесса нормализации.

Исходные коды программы доступны для загрузки по адресу: https://github.com/oldbay/raster_tools, кроме того исходные GEOTIFF и нормализованные спектральные растры доступны по адресу: https://github.com/oldbay/paper_examples

 
==Список использованных источников==

# Официальный сайт Геологической Службы Соединённых Штатов - USGS [Электронный ресурс]. Режим доступа: http://www.usgs.gov.
# Интреактивный WEB-интерфейс получения данных дистанционного зондирования с ресурса Геологической Службы Соединённых Штатов [Электронный ресурс]. Режим доступа: http://glovis.usgs.gov.
# Thome K.J., Biggar S.F., Gellman D.L., Slater P.N. (1994) - Absolute-radiometric calibration of Landsat-5 Thematic Mapper and the proposed calibration of the Advanced Spaceborne Thermal Emission and Reflection Radiometer. Paper presented at the Geoscience and Remote Sensing Symposium, 1994. IGARSS’94. Surface and Atmospheric Remote Sensing: Technologies, Data Analysis and Interpretation.
# Lu D., Mausel P., Brondizio E., Moran E. (2002) - Assessment of atmospheric correction methods for Landsat TM data applicable to Amazon basin LBA research. International Journal of Remote Sensing, 23 (13): 2651-2671.
# Chavez, P. S. (1996). Image-based atmospheric correction—revisited and improved. Photogrammetric Engineering and Remote Sensing, 62(9), 1025 – 1036.
# Sobrino J. A., Jiménez-Muñoz J.C., Paolini L. (2004) - Land surface temperature retrieval from LANDSAT TM 5. Remote sensing of Environment, 90 (4): 434-440.
# «HORIZONS Web-Interface» [Electronic resource]. Access mode: http://ssd.jpl.nasa.gov/horizons.cgi.
# «Calculates top-of-atmosphere radiance or reflectance and temperature for Landsat MSS/TM/ETM+/OLI» [Electronic resource]. Access mode: http://grass.osgeo.org/grass65/manuals/i.landsat.toar.html.
# Neil Flood (2014) Continuity of Reflectance Data between Landsat-7 ETM+ and Landsat-8 OLI, for Both Top-of-Atmosphere and Surface Reflectance: A Study in the Australian Landscape. Remote Sens. 2014, 6, 7952-7970

Атмосферная коррекция по методу DOS

2015-07-18T19:06:41Z

Oldbay:

{{Статья|Черновик}}
==Анотация==

Недавно была защищена магистерская диссертация по ГИС тематике, решил выдержки из данной работы опубликовать в виде цикла статей. В первой статье рассмотрим атмосферную коррекцию по методу DOS (Dark Object Subtraction). В конце статьи представлен готовый программный инструментарий для выполения атмосферной коррекции.

==Подготовка геоданных==

Среди источников геоданных использовались данные USGS (Геологической Службы Соединённых Штатов) [1] доступных для свободного скачивания [2]. Данные с этих ресурсов представлены в формате GeoTIFF в виде непрерывных наборов сцен для различных районов мира. Представленные на ресурсах геоданные соответствуют уровню обработки LG1: «сырые геоданные» не конвертированные в значения излучения на сенсоре. Для самостоятельного проведения конвертации и атмосферной коррекции - доступны файлы настройки спутниковых сенсоров с набором ряда параметров: минимумы и максимумы пиксельной яркости на изображении; минимумы и максимумы излучения на датчиках; минимумы и максимумы отражения излучения от поверхности земли (Landsat 8) и многое другое. Кроме данных настройки спутниковых датчиков в архиве присутствуют несколько файлов в формате GeoTIFF, распределённых по номерам каналов, количество и состав которых для разных спутников (Landsat 5,7,8) различный (Таблица 1).

 
Таблица 1 — Спутники и используемые в работе каналы
{|class="wikitable"
!Спутник и датчик
!Порядковый номер канала (band)
!Название спектра
!Длинны волн (нм)
|-
!rowspan="6"|Landsat 5 TM
|1
|Blue - Синий
|450–520
|-
|2
|Green - Зелёный
|520–600
|-
|3
|Red - Красный
|630–690
|-
|4
|NIR — Ближний ИК
|760–900
|-
|5
|SWIR1 — Средний ИК 1
|1550–1750
|-
|7
|SWIR2 — Средний ИК 2
|2080–2350
|-
!rowspan="6"|Landsat 7 ETM+
|1
|Blue - Синий
|450–520
|-
|2
|Green - Зелёный
|520–600
|-
|3
|Red - Красный
|630–690
|-
|4
|NIR — Ближний ИК
|770–900
|-
|5
|SWIR1 — Средний ИК 1
|1550–1750
|-
|7
|SWIR2 — Средний ИК 2
|2080–2350
|-
!rowspan="6"|Lansat 8 Oli
|2
|Blue - Синий
|450—515
|-
|3
|Green - Зелёный
|525—600
|-
|4
|Red - Красный
|630—680
|-
|5
|NIR — Ближний ИК
|845—885
|-
|6
|SWIR1 — Средний ИК 1
|1560—1660
|-
|7
|SWIR2 — Средний ИК 2
|2100—2300
|}

 
Как видно из таблицы, шесть наиболее используемых «спектров» находятся у разных спутников в сходном диапазоне частот. Поэтому, для удобства использования терминологии, вместо указания спутниковых каналов в дальнейшем будем использовать самоназвание спектров: BLUE - синий, GREEN - зелёный, RED - красный, NIR - ближний инфракрасный, SWIR1 - средний инфракрасный 1, SWIR2 - средний инфракрасный 2 - вне зависимости от спутника и применять к ним одинаковый набор вычислений.

Как уже упоминалось, геоданные по всем каналам предоставлены уровнем обработки LG1 - в сыром виде, это означает что предоставленные канальные GeoTIFF не более чем спозиционированные на местности яркостные «фотографии», которые, в таком виде, не могут быть использованы для ГИС исследований. Поэтому данные уровня обработки LG1 необходимо нормализовать - то есть провести конвертацию значений яркости в показатели излучения на сенсоре и атмосферную коррекцию.

 

==Конвертация значений яркости исходного GeoTIFF в показатели излучения на сенсоре==

Теоретические основы процесса конвертирования подробно описаны в статье [http://gis-lab.info/qa/dn2radiance.html 'Конвертация данных TM, ETM+ в показатели излучения на сенсоре'], потому коснёмся только практической реализации процесса.

Конвертирование является первым этапом нормализации сырых геоданных и представляет из себя математическую операцию перевода значения яркости пикселей геоснимка в значения радиации поступившей на датчики спутника. Для такого перевода в комплекте данных Landsat присутствует файл коррекции _MTL.txt, предельные значения из которого и используются на этом этапе обработки геоснимка.

Для проведения работы использовалась стандартная, описанная в документации NASA, формула (1) перевода яркости в значение top of atmosphere radiance (TOA radiance)

 
::[[Файл:F_01.png]] (1)

 
где:
::''Lλ'' - спектральная радиация, пришедшая на сенсор спутника;
::''DNcal'' - значения яркости пикселя сырого геоснимка;
::''Qcalmin'' - минимальное возможное значение пикселя геоснимка;
::''Qcalmax'' - максимальное возможное значение пикселя геоснимка;
::''LMINλ'' - минимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка;
::''LMAXλ'' - максимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка.

 
Кроме того для вычисления TOA radiance можно использовать упрощенную формулу (2) Thome et al., 1994 [3], Lu et al 2002 [4].

 
::''Lλ = DNcal × Gainλ + Baisλ'' (2)

 
где:
::''Lλ'' - спектральная радиация, пришедшая на сенсор спутника;
::''DNcal'' - значения яркости пикселя сырого геоснимка;
::''Gainλ'' - радиометрическое усиление;
::''Baisλ'' - радиометрическое смещение.

 
После обсчёта каждого пикселя геоснимка с использованием данной формулы, получаем матрицу значений c плавающей точкой - нормализованных геоданных.

 
==Атмосферная коррекция==

Следующим этапом нормализации геоданных является уменьшение влияния атмосферы на снимок и перевод значений радиации, дошедшей до сенсоров спутника (TOA radiance), в значения реально отражённого от земли спектрального излучения солнечного света.

Материалы данного и последующих разделов, в некоторой степени, перекликаются со статьёй [http://gis-lab.info/qa/atcor.html "Атмосферная коррекция данных Landsat/ETM+ (COST метод)"], но в отличии от неё ориентированы на пакетную обработку ДДЗ из нескольких источников.

Влияние атмосферы на геоснимок проявляется в целом ряде факторов: угол падения и отражения солнечных лучей, прозрачность атмосферы, газовый фактор и дымка (Рисунок 1).

 
[[Файл:Dos_img_1.jpg]]
 
Рисунок 1 — Факторы, влияющие на попадание отраженной солнечной радиации на сенсоры спутника

 
Для дальнейших исследований необходимо провести оптическую коррекцию (нормализацию) данных геоснимка методом Dark Object Subtraction (DOS), впервые представленным Chavez (1996) [5]. Суть метода состоит в нахождении яркости однопроцентно тёмного объекта геоснимка с последующей коррекцией минимума значений каждого пикселя изображения, относительно спектральной яркости найденного объекта.

Есть два основных способа поиска 1% темного объекта (Dark Object) для метода DOS:
# эмпирический метод - подразумевает поиск значений в ручном режиме, например, с использованием инструмента гистограмма в QGIS, где изменяя нижний порог яркости гистограммы постепенно находим примерное значение яркости искомого тёмного объекта;
#вычислительный метод подразумевает, что суммарная яркость (от 0 до n) однопроцентно тёмного объекта будет соответствовать 0.01% от суммарной яркости всех пикселей геоснимка Sobrino et al., 2004 [6].
В данной работе успешно применяли метод (2), хорошо показавший себя при обработке большого количества геоснимков исследуемого района.

После определения яркости Dark Object (в дальнейших вычислениях будем обозначать его как DNmin), производим атмосферную коррекцию по методу DOS в несколько этапов:

 
====1.Вычисляем значение радиации, соответствующее значению яркости 1% темного объекта (расчёт производится по аналогии с TOA radiance), по формуле (3).====

 
::[[Файл:Dos_f_03.png]] (3)

 
где:
::''Lλmin'' - спектральная радиация для 1% тёмного объекта;
::''DNmin'' - значения яркости пикселя 1% тёмного объекта;
::''Qcalmin'' - минимальное возможное значение пикселя геоснимка;
::''Qcalmax'' - максимальное возможное значение пикселя геоснимка;
::''LMINλ'' - минимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка;
::''LMAXλ'' - максимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка.

 
Или с использованием упрощённой формы (4).

 
::''Lλmin = DNmin × Gainλ + Baisλ'' (4)

 
где:
::''Lλmin'' - спектральная радиация для 1% тёмного объекта;
::''DNmin'' - значения яркости пикселя 1% тёмного объекта;
::''Gainλ'' - радиометрическое усиление;
::''Baisλ'' - радиометрическое смещение.

 
====2.Рассчитываем коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта по формуле (5).====

 
::[[Файл:Dos_f_05.png]] (5)

 
где:
::''L1%'' - коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта;
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''E0'' - коэффициент солнечного внеатмосферного спектрального излучения (явно представлен как табличные данные и учитывается при калибровке датчиков Landsat 5 и 7 , для Landsat 8 дополнительно вычисляется);
::''θ'' - зенитное расстояние для солнца в радианах;
::''TZ'' - мера прохождения излучения от солнца до земли, в методе DOS2, принимается равным cosθ.

 
====3.Вычисляем значение атмосферной дымки (hazing) по формуле (6).====

 
::''Lλhaze = Lλmin - L1%'' (6)

 
где:
::''Lλhaze'' - значение атмосферной дымки (hazing);
::''L1%'' - коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта;
::''Lλmin'' - спектральная радиация для 1% тёмного объекта.

 
====4.Рассчитываем атмосферно скорректированные значения отражённой солнечной радиации по формуле (7).====

 
::[[Файл:Dos_f_07.png]] (7)

 
где:
::''ρλ'' - атмоферно скорректированные значения отражённой солнечной радиации;
::''Lλ'' - значения радиации пришедшей на сенсор спутника;
::''Lλhaze'' - значение атмосферной дымки (hazing);
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''E0'' - коэффициент солнечного внеатмосферного спектрального излучения (явно представлен как табличные данные и учитывается при калибровке датчиков Landsat 5 и 7 , для Landsat 8 дополнительно вычисляется);
::''θ'' - зенитное расстояние для солнца в радианах;
::''TZ'' - мера прохождения излучения от солнца до земли, в методе DOS2, принимается равным cosθ.

 
==Особенности работы с растрами спутника Landsat 8==

Если часть сцен сняты спутником Landsat 8 датчик Oli, необходимость их сравнения со сценами спутников lansat5 (датчик TM) и landsat8 (датчик ETM+). В данном контексте известна проблема применения стандартных методов атмосферной коррекции для нового спутника: дело в том, что калибровка датчиков Oli Landsat 8 производится без учёта значений коэффициента солнечного внеатмосферного спектрального излучения Eo (Sobrino et al., 2004) [6] или ,в других источниках, Esun. Вместо использования данного коэффициента, в файл корректировки _MTL.txt, были добавлены некоторые новые спектральные параметры: REFLECTANCE_MULT_BAND - усиление значения отражения и REFLECTANCE_ADD_BAND - смещение значения отражения для каждого из спектральных датчиков. В результате, по задумке авторов изменений, расчет TOA reflectance для Landsat 8 должен производится по формуле (8).

 
::''ρλ' = MρQcal+ Aρ'' (8)

 
где:
::''ρλ''' - значение верхнеатмосфеного планетарного отражения радиации (TOA reflectance), без учёта коррекции по углу падения и отражения солнечных лучей;
::''Mρ'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_MULT_BAND_x, где x это номер канала) - усиление значения отражения;
::''Aρ'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_ADD_BAND_x,где x это номер канала) - смещение значения отражения;
::''Qcal'' - значения яркости пикселя сырого геоснимка (DN).

 
А коррекция TOA reflectance с учётом угла падения и отражения солнечных лучей вычисляется по формуле (9).

 
::[[Файл:Dos_f_09.png]] (9)

 
где:
::''ρλ'' - значение верхнеатмосфеного планетарного отражения радиации (TOA reflectance), c учётом коррекции по углу падения и отражения солнечных лучей;
::''θSE'' - высота солнца над горизонтом. Доступна в файле _MTL.txt в параметре (SUN_ELEVATION);
::''θSZ'' - зенитное расстояние; θSZ = 90° - θSE.

 
Сообщество разработчиков свободной GIS GRASS указывает на одинаковые значения REFLECTANCE_MULT_BAND и REFLECTANCE_ADD_BAND для всех каналов снимка [8], что не может быть в реальности. Данная группа разработчиков в своём модуле нормализации и атмосферной коррекции i.landsat.toar применяет к георастрам, снятым при помощи датчиков Oli Landsat 8, те же математические методы, что для TM Landsat 5 и ETM+ Landsat 7, а недостающий коэффициент Eo (Esun) рассчитывает по формуле (10).

 
::[[Файл:Dos_f_10.png]] (10)

 
где:
::''Esun'' - (E0) вычисленный коэффициент солнечного внеатмосферного спектрального излучения;
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''RADIANCE_MAXIMUM'' - каналоспецифичный мультипликативный расчётный фактор для (RADIANCE_MAXIMUM_x, где x это номер канала) - максимально возможное значение поступающей на сенсор радиации;
::''REFLECTANCE_MAXIMUM'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_MAXIMUM_x, где x это номер канала) - максимальное значение радиации, отражённой от поверхности земли.

 
Ещё одной особенностью Landsat8 стало уменьшение чувствительности каналов RED, NIR и SWIR1 относительно Landsat 7 и 5 , что приводит к изменению значений, вычисляемых с использованием данных спектров, индексов.

Данную проблему пытался решить Neil Flood, 2014 [9] введением дополнительных, рассчитанных им эмпирическим путём, коэффициентов для каждого канала геоснимка. В результате, коррекция значений TOA reflectance Landsat8 в значения для того же региона и тех же спектров Landsat7, приобретает вид формулы (11).

 
::''ρETM+ = c0 + c1 × ρOLI'' (11)

 
где:
::''ρETM'' - результат конвертирования значения TOA reflectance из Landsat 8 в Landsat 7;
::''ρOLI'' - вычисленное для Landsat8 значение TOA reflectance;
::''c0'' - смещение значения отражённой радиации между датчиками OLI и ETM+;
::''c1'' - усиление значения отражённой радиации между датчиками OLI и ETM+.

 
Значения c0 и с1 формулы (11) были сведены автором в корректировочные таблицы, что позволяет применять их без повторения вычислений представленных в статье Neil Flood, 2014 [9].

 

==Программная реализация нормализации геоснимков для трёх типов спутников Landsat: 5,7,8==

Все вычисления производились с использованием языка программирования python. Для этого была написана собственная программа нормализации геоданных с использованием интерфейса GDAL (библиотеки для работы с растровыми географическими форматами), тесно связанного с расширением numpy, добавляющим в язык программирования поддержку больших многомерных массивов и матриц, а также систему низкоуровневых математических функций для операций с этими массивами. Программа состоит из следующих структурных элементов:

#Класса преобразования растра в массив.
#Класса преобразования вычисленного массива в растр.
#Класса сбора данных коррекции при помощи парсера _MTL.txt файла и данных выгрузки расстояний от земли до солнца [7].
#Выполняемого скрипта самих математических вычислений растров для проведения процесса нормализации.

Исходные коды программы доступны для загрузки по адресу: https://github.com/oldbay/raster_tools, кроме того исходные GEOTIFF и нормализованные спектральные растры доступны по адресу: https://github.com/oldbay/paper_examples

 
==Список использованных источников==

# Официальный сайт Геологической Службы Соединённых Штатов - USGS [Электронный ресурс]. Режим доступа: http://www.usgs.gov.
# Интреактивный WEB-интерфейс получения данных дистанционного зондирования с ресурса Геологической Службы Соединённых Штатов [Электронный ресурс]. Режим доступа: http://glovis.usgs.gov.
# Thome K.J., Biggar S.F., Gellman D.L., Slater P.N. (1994) - Absolute-radiometric calibration of Landsat-5 Thematic Mapper and the proposed calibration of the Advanced Spaceborne Thermal Emission and Reflection Radiometer. Paper presented at the Geoscience and Remote Sensing Symposium, 1994. IGARSS’94. Surface and Atmospheric Remote Sensing: Technologies, Data Analysis and Interpretation.
# Lu D., Mausel P., Brondizio E., Moran E. (2002) - Assessment of atmospheric correction methods for Landsat TM data applicable to Amazon basin LBA research. International Journal of Remote Sensing, 23 (13): 2651-2671.
# Chavez, P. S. (1996). Image-based atmospheric correction—revisited and improved. Photogrammetric Engineering and Remote Sensing, 62(9), 1025 – 1036.
# Sobrino J. A., Jiménez-Muñoz J.C., Paolini L. (2004) - Land surface temperature retrieval from LANDSAT TM 5. Remote sensing of Environment, 90 (4): 434-440.
# «HORIZONS Web-Interface» [Electronic resource]. Access mode: http://ssd.jpl.nasa.gov/horizons.cgi.
# «Calculates top-of-atmosphere radiance or reflectance and temperature for Landsat MSS/TM/ETM+/OLI» [Electronic resource]. Access mode: http://grass.osgeo.org/grass65/manuals/i.landsat.toar.html.
# Neil Flood (2014) Continuity of Reflectance Data between Landsat-7 ETM+ and Landsat-8 OLI, for Both Top-of-Atmosphere and Surface Reflectance: A Study in the Australian Landscape. Remote Sens. 2014, 6, 7952-7970

Атмосферная коррекция по методу DOS

2015-07-18T19:05:28Z

Oldbay:

{{Статья|Черновик}}
==Анотация==

Недавно была защищена магистерская диссертация по ГИС тематике, решил выдержки из данной работы опубликовать в виде цикла статей. В первой статье рассмотрим атмосферную коррекцию по методу DOS (Dark Object Subtraction). В конце статьи представлен готовый программный инструментарий для выполения атмосферной коррекции.

==Подготовка геоданных==

Среди источников геоданных использовались данные USGS (Геологической Службы Соединённых Штатов) [1] доступных для свободного скачивания [2]. Данные с этих ресурсов представлены в формате GeoTIFF в виде непрерывных наборов сцен для различных районов мира. Представленные на ресурсах геоданные соответствуют уровню обработки LG1: «сырые геоданные» не конвертированные в значения излучения на сенсоре. Для самостоятельного проведения конвертации и атмосферной коррекции - доступны файлы настройки спутниковых сенсоров с набором ряда параметров: минимумы и максимумы пиксельной яркости на изображении; минимумы и максимумы излучения на датчиках; минимумы и максимумы отражения излучения от поверхности земли (Landsat 8) и многое другое. Кроме данных настройки спутниковых датчиков в архиве присутствуют несколько файлов в формате GeoTIFF, распределённых по номерам каналов, количество и состав которых для разных спутников (Landsat 5,7,8) различный (Таблица 1).

 
Таблица 1 — Спутники и используемые в работе каналы
{|class="wikitable"
!Спутник и датчик
!Порядковый номер канала (band)
!Название спектра
!Длинны волн (нм)
|-
!rowspan="6"|Landsat 5 TM
|1
|Blue - Синий
|450–520
|-
|2
|Green - Зелёный
|520–600
|-
|3
|Red - Красный
|630–690
|-
|4
|NIR — Ближний ИК
|760–900
|-
|5
|SWIR1 — Средний ИК 1
|1550–1750
|-
|7
|SWIR2 — Средний ИК 2
|2080–2350
|-
!rowspan="6"|Landsat 7 ETM+
|1
|Blue - Синий
|450–520
|-
|2
|Green - Зелёный
|520–600
|-
|3
|Red - Красный
|630–690
|-
|4
|NIR — Ближний ИК
|770–900
|-
|5
|SWIR1 — Средний ИК 1
|1550–1750
|-
|7
|SWIR2 — Средний ИК 2
|2080–2350
|-
!rowspan="6"|Lansat 8 Oli
|2
|Blue - Синий
|450—515
|-
|3
|Green - Зелёный
|525—600
|-
|4
|Red - Красный
|630—680
|-
|5
|NIR — Ближний ИК
|845—885
|-
|6
|SWIR1 — Средний ИК 1
|1560—1660
|-
|7
|SWIR2 — Средний ИК 2
|2100—2300
|}

 
Как видно из таблицы, шесть наиболее используемых «спектров» находятся у разных спутников в сходном диапазоне частот. Поэтому, для удобства использования терминологии, вместо указания спутниковых каналов в дальнейшем будем использовать самоназвание спектров: BLUE - синий, GREEN - зелёный, RED - красный, NIR - ближний инфракрасный, SWIR1 - средний инфракрасный 1, SWIR2 - средний инфракрасный 2 - вне зависимости от спутника и применять к ним одинаковый набор вычислений.

Как уже упоминалось, геоданные по всем каналам предоставлены уровнем обработки LG1 - в сыром виде, это означает что предоставленные канальные GeoTIFF не более чем спозиционированные на местности яркостные «фотографии», которые, в таком виде, не могут быть использованы для ГИС исследований. Поэтому данные уровня обработки LG1 необходимо нормализовать - то есть провести конвертацию значений яркости в показатели излучения на сенсоре и атмосферную коррекцию.

 

==Конвертация значений яркости исходного GeoTIFF в показатели излучения на сенсоре==

Теоретические основы процесса конвертирования подробно описаны в статье [http://gis-lab.info/qa/dn2radiance.html 'Конвертация данных TM, ETM+ в показатели излучения на сенсоре'], потому коснёмся только практической реализации процесса.

Конвертирование является первым этапом нормализации сырых геоданных и представляет из себя математическую операцию перевода значения яркости пикселей геоснимка в значения радиации поступившей на датчики спутника. Для такого перевода в комплекте данных Landsat присутствует файл коррекции _MTL.txt, предельные значения из которого и используются на этом этапе обработки геоснимка.

Для проведения работы использовалась стандартная, описанная в документации NASA, формула (1) перевода яркости в значение top of atmosphere radiance (TOA radiance)

 
::[[Файл:F_01.png]] (1)

 
где:
::''Lλ'' - спектральная радиация, пришедшая на сенсор спутника;
::''DNcal'' - значения яркости пикселя сырого геоснимка;
::''Qcalmin'' - минимальное возможное значение пикселя геоснимка;
::''Qcalmax'' - максимальное возможное значение пикселя геоснимка;
::''LMINλ'' - минимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка;
::''LMAXλ'' - максимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка.

 
Кроме того для вычисления TOA radiance можно использовать упрощенную формулу (2) Thome et al., 1994 [3], Lu et al 2002 [4].

 
::''Lλ = DNcal × Gainλ + Baisλ'' (2)

 
где:
::''Lλ'' - спектральная радиация, пришедшая на сенсор спутника;
::''DNcal'' - значения яркости пикселя сырого геоснимка;
::''Gainλ'' - радиометрическое усиление;
::''Baisλ'' - радиометрическое смещение.

 
После обсчёта каждого пикселя геоснимка с использованием данной формулы, получаем матрицу значений c плавающей точкой - нормализованных геоданных.

 
==Атмосферная коррекция==

Следующим этапом нормализации геоданных является уменьшение влияния атмосферы на снимок и перевод значений радиации, дошедшей до сенсоров спутника (TOA radiance), в значения реально отражённого от земли спектрального излучения солнечного света.

Материалы данного и последующих разделов, в некоторой степени, перекликаются со статьёй [http://gis-lab.info/qa/atcor.html "Атмосферная коррекция данных Landsat/ETM+ (COST метод)"], но в отличии от неё ориентированы на пакетную обработку ДДЗ из нескольких источников.

Влияние атмосферы на геоснимок проявляется в целом ряде факторов: угол падения и отражения солнечных лучей, прозрачность атмосферы, газовый фактор и дымка (Рисунок 1).

 
[[Файл:Dos_img_1.jpg]]
 
Рисунок 1 — Факторы, влияющие на попадание отраженной солнечной радиации на сенсоры спутника

 
Для дальнейших исследований необходимо провести оптическую коррекцию (нормализацию) данных геоснимка методом Dark Object Subtraction (DOS), впервые представленным Chavez (1996) [5]. Суть метода состоит в нахождении яркости однопроцентно тёмного объекта геоснимка с последующей коррекцией минимума значений каждого пикселя изображения, относительно спектральной яркости найденного объекта.

Есть два основных способа поиска 1% темного объекта (Dark Object) для метода DOS:
# эмпирический метод - подразумевает поиск значений в ручном режиме, например, с использованием инструмента гистограмма в QGIS, где изменяя нижний порог яркости гистограммы постепенно находим примерное значение яркости искомого тёмного объекта;
#вычислительный метод подразумевает, что суммарная яркость (от 0 до n) однопроцентно тёмного объекта будет соответствовать 0.01% от суммарной яркости всех пикселей геоснимка Sobrino et al., 2004 [6].
В данной работе успешно применяли метод (2), хорошо показавший себя при обработке большого количества геоснимков исследуемого района.

После определения яркости Dark Object (в дальнейших вычислениях будем обозначать его как DNmin), производим атмосферную коррекцию по методу DOS в несколько этапов:

 
===1.Вычисляем значение радиации, соответствующее значению яркости 1% темного объекта (расчёт производится по аналогии с TOA radiance), по формуле (3).===

 
::[[Файл:Dos_f_03.png]] (3)

 
где:
::''Lλmin'' - спектральная радиация для 1% тёмного объекта;
::''DNmin'' - значения яркости пикселя 1% тёмного объекта;
::''Qcalmin'' - минимальное возможное значение пикселя геоснимка;
::''Qcalmax'' - максимальное возможное значение пикселя геоснимка;
::''LMINλ'' - минимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка;
::''LMAXλ'' - максимальное значение спектральной радиации для конкретного датчика спутника для конкретного снимка.

 
Или с использованием упрощённой формы (4).

 
::''Lλmin = DNmin × Gainλ + Baisλ'' (4)

 
где:
::''Lλmin'' - спектральная радиация для 1% тёмного объекта;
::''DNmin'' - значения яркости пикселя 1% тёмного объекта;
::''Gainλ'' - радиометрическое усиление;
::''Baisλ'' - радиометрическое смещение.

 
===2.Рассчитываем коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта по формуле (5).===

 
::[[Файл:Dos_f_05.png]] (5)

 
где:
::''L1%'' - коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта;
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''E0'' - коэффициент солнечного внеатмосферного спектрального излучения (явно представлен как табличные данные и учитывается при калибровке датчиков Landsat 5 и 7 , для Landsat 8 дополнительно вычисляется);
::''θ'' - зенитное расстояние для солнца в радианах;
::''TZ'' - мера прохождения излучения от солнца до земли, в методе DOS2, принимается равным cosθ.

 
===3.Вычисляем значение атмосферной дымки (hazing) по формуле (6).===

 
::''Lλhaze = Lλmin - L1%'' (6)

 
где:
::''Lλhaze'' - значение атмосферной дымки (hazing);
::''L1%'' - коэффициент влияния угла падения и отражения солнечных лучей для 1% тёмного объекта;
::''Lλmin'' - спектральная радиация для 1% тёмного объекта.

 
===4.Рассчитываем атмосферно скорректированные значения отражённой солнечной радиации по формуле (7).===

 
::[[Файл:Dos_f_07.png]] (7)

 
где:
::''ρλ'' - атмоферно скорректированные значения отражённой солнечной радиации;
::''Lλ'' - значения радиации пришедшей на сенсор спутника;
::''Lλhaze'' - значение атмосферной дымки (hazing);
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''E0'' - коэффициент солнечного внеатмосферного спектрального излучения (явно представлен как табличные данные и учитывается при калибровке датчиков Landsat 5 и 7 , для Landsat 8 дополнительно вычисляется);
::''θ'' - зенитное расстояние для солнца в радианах;
::''TZ'' - мера прохождения излучения от солнца до земли, в методе DOS2, принимается равным cosθ.

 
==Особенности работы с растрами спутника Landsat 8==

Если часть сцен сняты спутником Landsat 8 датчик Oli, необходимость их сравнения со сценами спутников lansat5 (датчик TM) и landsat8 (датчик ETM+). В данном контексте известна проблема применения стандартных методов атмосферной коррекции для нового спутника: дело в том, что калибровка датчиков Oli Landsat 8 производится без учёта значений коэффициента солнечного внеатмосферного спектрального излучения Eo (Sobrino et al., 2004) [6] или ,в других источниках, Esun. Вместо использования данного коэффициента, в файл корректировки _MTL.txt, были добавлены некоторые новые спектральные параметры: REFLECTANCE_MULT_BAND - усиление значения отражения и REFLECTANCE_ADD_BAND - смещение значения отражения для каждого из спектральных датчиков. В результате, по задумке авторов изменений, расчет TOA reflectance для Landsat 8 должен производится по формуле (8).

 
::''ρλ' = MρQcal+ Aρ'' (8)

 
где:
::''ρλ''' - значение верхнеатмосфеного планетарного отражения радиации (TOA reflectance), без учёта коррекции по углу падения и отражения солнечных лучей;
::''Mρ'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_MULT_BAND_x, где x это номер канала) - усиление значения отражения;
::''Aρ'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_ADD_BAND_x,где x это номер канала) - смещение значения отражения;
::''Qcal'' - значения яркости пикселя сырого геоснимка (DN).

 
А коррекция TOA reflectance с учётом угла падения и отражения солнечных лучей вычисляется по формуле (9).

 
::[[Файл:Dos_f_09.png]] (9)

 
где:
::''ρλ'' - значение верхнеатмосфеного планетарного отражения радиации (TOA reflectance), c учётом коррекции по углу падения и отражения солнечных лучей;
::''θSE'' - высота солнца над горизонтом. Доступна в файле _MTL.txt в параметре (SUN_ELEVATION);
::''θSZ'' - зенитное расстояние; θSZ = 90° - θSE.

 
Сообщество разработчиков свободной GIS GRASS указывает на одинаковые значения REFLECTANCE_MULT_BAND и REFLECTANCE_ADD_BAND для всех каналов снимка [8], что не может быть в реальности. Данная группа разработчиков в своём модуле нормализации и атмосферной коррекции i.landsat.toar применяет к георастрам, снятым при помощи датчиков Oli Landsat 8, те же математические методы, что для TM Landsat 5 и ETM+ Landsat 7, а недостающий коэффициент Eo (Esun) рассчитывает по формуле (10).

 
::[[Файл:Dos_f_10.png]] (10)

 
где:
::''Esun'' - (E0) вычисленный коэффициент солнечного внеатмосферного спектрального излучения;
::''d'' - расстояние от солнца до земли в астрономических единицах в конкретный день съёмки сцены на конкретной местности [7];
::''RADIANCE_MAXIMUM'' - каналоспецифичный мультипликативный расчётный фактор для (RADIANCE_MAXIMUM_x, где x это номер канала) - максимально возможное значение поступающей на сенсор радиации;
::''REFLECTANCE_MAXIMUM'' - каналоспецифичный мультипликативный расчётный фактор для (REFLECTANCE_MAXIMUM_x, где x это номер канала) - максимальное значение радиации, отражённой от поверхности земли.

 
Ещё одной особенностью Landsat8 стало уменьшение чувствительности каналов RED, NIR и SWIR1 относительно Landsat 7 и 5 , что приводит к изменению значений, вычисляемых с использованием данных спектров, индексов.

Данную проблему пытался решить Neil Flood, 2014 [9] введением дополнительных, рассчитанных им эмпирическим путём, коэффициентов для каждого канала геоснимка. В результате, коррекция значений TOA reflectance Landsat8 в значения для того же региона и тех же спектров Landsat7, приобретает вид формулы (11).

 
::''ρETM+ = c0 + c1 × ρOLI'' (11)

 
где:
::''ρETM'' - результат конвертирования значения TOA reflectance из Landsat 8 в Landsat 7;
::''ρOLI'' - вычисленное для Landsat8 значение TOA reflectance;
::''c0'' - смещение значения отражённой радиации между датчиками OLI и ETM+;
::''c1'' - усиление значения отражённой радиации между датчиками OLI и ETM+.

 
Значения c0 и с1 формулы (11) были сведены автором в корректировочные таблицы, что позволяет применять их без повторения вычислений представленных в статье Neil Flood, 2014 [9].

 

==Программная реализация нормализации геоснимков для трёх типов спутников Landsat: 5,7,8==

Все вычисления производились с использованием языка программирования python. Для этого была написана собственная программа нормализации геоданных с использованием интерфейса GDAL (библиотеки для работы с растровыми географическими форматами), тесно связанного с расширением numpy, добавляющим в язык программирования поддержку больших многомерных массивов и матриц, а также систему низкоуровневых математических функций для операций с этими массивами. Программа состоит из следующих структурных элементов:

#Класса преобразования растра в массив.
#Класса преобразования вычисленного массива в растр.
#Класса сбора данных коррекции при помощи парсера _MTL.txt файла и данных выгрузки расстояний от земли до солнца [7].
#Выполняемого скрипта самих математических вычислений растров для проведения процесса нормализации.

Исходные коды программы доступны для загрузки по адресу: https://github.com/oldbay/raster_tools, кроме того исходные GEOTIFF и нормализованные спектральные растры доступны по адресу: https://github.com/oldbay/paper_examples

 
==Список использованных источников==

# Официальный сайт Геологической Службы Соединённых Штатов - USGS [Электронный ресурс]. Режим доступа: http://www.usgs.gov.
# Интреактивный WEB-интерфейс получения данных дистанционного зондирования с ресурса Геологической Службы Соединённых Штатов [Электронный ресурс]. Режим доступа: http://glovis.usgs.gov.
# Thome K.J., Biggar S.F., Gellman D.L., Slater P.N. (1994) - Absolute-radiometric calibration of Landsat-5 Thematic Mapper and the proposed calibration of the Advanced Spaceborne Thermal Emission and Reflection Radiometer. Paper presented at the Geoscience and Remote Sensing Symposium, 1994. IGARSS’94. Surface and Atmospheric Remote Sensing: Technologies, Data Analysis and Interpretation.
# Lu D., Mausel P., Brondizio E., Moran E. (2002) - Assessment of atmospheric correction methods for Landsat TM data applicable to Amazon basin LBA research. International Journal of Remote Sensing, 23 (13): 2651-2671.
# Chavez, P. S. (1996). Image-based atmospheric correction—revisited and improved. Photogrammetric Engineering and Remote Sensing, 62(9), 1025 – 1036.
# Sobrino J. A., Jiménez-Muñoz J.C., Paolini L. (2004) - Land surface temperature retrieval from LANDSAT TM 5. Remote sensing of Environment, 90 (4): 434-440.
# «HORIZONS Web-Interface» [Electronic resource]. Access mode: http://ssd.jpl.nasa.gov/horizons.cgi.
# «Calculates top-of-atmosphere radiance or reflectance and temperature for Landsat MSS/TM/ETM+/OLI» [Electronic resource]. Access mode: http://grass.osgeo.org/grass65/manuals/i.landsat.toar.html.
# Neil Flood (2014) Continuity of Reflectance Data between Landsat-7 ETM+ and Landsat-8 OLI, for Both Top-of-Atmosphere and Surface Reflectance: A Study in the Australian Landscape. Remote Sens. 2014, 6, 7952-7970