Практика использования raster tools - История изменений

Александр Мурый в 20:40, 30 июля 2018

2018-07-30T20:40:07Z

← Предыдущая версия		Версия от 22:40, 30 июля 2018
Строка 1:		Строка 1:
	{{Статья\|~~Черновик~~}}		{{Статья\|Опубликована\|raster-tools}}
	{{Аннотация\|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}		{{Аннотация\|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}

Александр Мурый: /* Знакомство с raster_tools */

2018-07-30T20:34:20Z

Знакомство с raster_tools

← Предыдущая версия		Версия от 22:34, 30 июля 2018
Строка 5:		Строка 5:
	== Знакомство с raster_tools ==		== Знакомство с raster_tools ==

	В течении продолжительного времени ~~развиваю~~ инструментарий для препарирования георастров. ~~Который~~ является набором рецептов, упрощающих взаимодействие с гибкой, но сложной структурой Python + GDAL. К сегодняшнему времени '''raster_tools''' напоминает некий «швейцарский нож» с разнообразным функционалом.		В течении продолжительного времени автор статьи развивает инструментарий для препарирования георастров. Он является набором рецептов, упрощающих взаимодействие с гибкой, но сложной структурой Python + GDAL. К сегодняшнему времени '''raster_tools''' напоминает некий «швейцарский нож» с разнообразным функционалом.
	Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:		Код проекта расположен на [https://github.com/oldbay/raster_tools https://github.com/oldbay/raster_tools] , самый простой способ его установки в каталоге пользователя - при помощи pip:

Строка 59:		Строка 59:
	* Каталог module: содержит дополнительные Python-модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);		* Каталог module: содержит дополнительные Python-модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
	* Каталог results: содержит результаты экспериментов (branch result).		* Каталог results: содержит результаты экспериментов (branch result).


	== Растровый калькулятор. ==		== Растровый калькулятор. ==

Александр Мурый: /* Метод cut_ogr_geometry */

2018-07-30T20:30:23Z

Метод cut_ogr_geometry

← Предыдущая версия		Версия от 22:30, 30 июля 2018
Строка 304:		Строка 304:
	$ psql		$ psql
	create role gis with login password 'gis';		create role gis with login password 'gis';
	create database ~~dok_example~~ owner gis;		create database doc_example owner gis;
	ctrl-d		ctrl-d
	</pre>		</pre>
	* Имя пользователя, пароль и имя базы можно использовать произвольные - но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.		* Имя пользователя, пароль и имя базы можно использовать произвольные, но тогда необходимо будет изменить в list 5 переменные: dbname, dbuser, dbpass.
	* ~~Создать~~ расширение ~~postgis~~ в БД.		* Подключить расширение PostGIS в БД.
	<pre>		<pre>
	$ psql -d doc_example		$ psql -d doc_example
Строка 382:		Строка 382:

	[[Файл:Cut_wkt.png\|200px]]		[[Файл:Cut_wkt.png\|200px]]


	== Трансформация ==		== Трансформация ==

Александр Мурый: /* Метод cut_shp_file. */

2018-07-30T20:29:03Z

Метод cut_shp_file.

← Предыдущая версия		Версия от 22:29, 30 июля 2018
Строка 291:		Строка 291:


	Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам охвата объекта.		Обратите внимание, что растр обрезан непосредственно по полигону, а не только по координатам охвата объекта.


	=== Метод cut_ogr_geometry ===		=== Метод cut_ogr_geometry ===

Александр Мурый в 20:24, 30 июля 2018

2018-07-30T20:24:25Z

Внесённые изменения

Oldbay: /* Трансформация. */

2018-06-01T12:22:25Z

Трансформация.

← Предыдущая версия		Версия от 14:22, 1 июня 2018
Строка 389:		Строка 389:
	Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.		Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.

	Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность массива, или части ~~массива, георастра, а так же сменить проекцию~~.		Решить подобною проблему призван класс raster2transform. При помощи него можно изменить размерность всего массива, или только его части.
	Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.		Для работы тестового примера resize.py (list 6) требуется установка matplotlib и графической среды пользователя, исходным георастром является result/cut_shp.tif.

Строка 443:		Строка 443:

	[[Файл:Resize_300_300.png\|500px]]		[[Файл:Resize_300_300.png\|500px]]


	==Мультирастры.==		==Мультирастры.==

Oldbay: /* Растровый калькулятор. */

2018-06-01T12:20:17Z

Растровый калькулятор.

← Предыдущая версия		Версия от 14:20, 1 июня 2018
Строка 112:		Строка 112:

	В результате выполнения calc.py создается растр result/calc.tif (img 2).		В результате выполнения calc.py создается растр result/calc.tif (img 2).


	img 2 - result/calc.tif		img 2 - result/calc.tif
Строка 174:		Строка 175:

	Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.		Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.


	== Вырезание области растра. ==		== Вырезание области растра. ==

Oldbay в 12:19, 1 июня 2018

2018-06-01T12:19:28Z

← Предыдущая версия		Версия от 14:19, 1 июня 2018
Строка 1:		Строка 1:
	{{Статья\|Черновик}}		{{Статья\|Черновик}}
	{{Аннотация\|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}		{{Аннотация\|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}



Строка 60:		Строка 59:
	* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);		* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
	* Каталог results: содержит результаты экспериментов (branch result).		* Каталог results: содержит результаты экспериментов (branch result).


	== Растровый калькулятор. ==		== Растровый калькулятор. ==

Oldbay: /* Знакомство с raster_tools */

2018-06-01T12:17:45Z

Знакомство с raster_tools

← Предыдущая версия		Версия от 14:17, 1 июня 2018
Строка 1:		Строка 1:
	{{Статья\|Черновик}}		{{Статья\|Черновик}}
	{{Аннотация\|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}		{{Аннотация\|В статье рассматриваются примеры практического использования набора растровых инструментов raster_tools.}}



	== Знакомство с raster_tools ==		== Знакомство с raster_tools ==
Строка 58:		Строка 60:
	* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);		* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
	* Каталог results: содержит результаты экспериментов (branch result).		* Каталог results: содержит результаты экспериментов (branch result).


	== Растровый калькулятор. ==		== Растровый калькулятор. ==

Oldbay в 12:17, 1 июня 2018

2018-06-01T12:17:26Z

← Предыдущая версия		Версия от 14:17, 1 июня 2018
Строка 58:		Строка 58:
	* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);		* Каталог module: содержит дополнительные python модули, необходимые для выполнение некоторых тестовых скриптов(в статье не описаны);
	* Каталог results: содержит результаты экспериментов (branch result).		* Каталог results: содержит результаты экспериментов (branch result).


	== Растровый калькулятор. ==		== Растровый калькулятор. ==
Строка 172:		Строка 173:

	Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.		Видно что итерационный метод выигрывает в потреблении памяти, но теряет в скорости расчётов. На текущем примере потери скорости не очень существенны - но при массовой обработке небольших георастров, бывает выгоднее пожертвовать памятью.


	== Вырезание области растра. ==		== Вырезание области растра. ==
Строка 214:		Строка 216:
	Теперь рассмотрим работу каждого метода обрезки растра:		Теперь рассмотрим работу каждого метода обрезки растра:

	=== Метод cut_area ===
			=== Метод cut_area. ===

	Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.		Позволяет обрезать растр по набору координат точек. Применяется когда необходимо обрезать область растра по массиву точек - для дальнейшей обработки. Пример использования приведён в cut_coords.py (list 3), в качестве исходных данных используется result/calc.tif.
Строка 250:		Строка 253:
	[[Файл:Cut_coords.png\|200px]]		[[Файл:Cut_coords.png\|200px]]

	=== Метод cut_shp_file ===
			=== Метод cut_shp_file. ===

	Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.		Часто необходимо обрезать растр по геометрии слоя shp файла. Пример выполнения такой задачи приведён в cut_shp.py (list 4). Помимо исходного георастра result/calc.tif , скрипт использует шаблона обрезки - data/cut.shp.
Строка 288:		Строка 292:
	Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.		Обратите внимание что растр обрезан непосредственно по полигону, а не только по координатам bbox-а геометрии.

	=== Метод cut_ogr_geometry ===
			=== Метод cut_ogr_geometry. ===

	Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.		Применяется если необходима обрезка георастра по геометрия в формате wkt, geojson, gml или wkb. Наиболее типичный способ использования - это вырезание растра на по wkt геометрии возвращённой из postgis.
Строка 378:		Строка 383:
	[[Файл:Cut_wkt.png\|200px]]		[[Файл:Cut_wkt.png\|200px]]

	==Трансформация==
			==Трансформация.==

	Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.		Иногда приходится вычислять индексы, или иным способом сравнивать георастры из различных источников. Входные данные могут быть в разном масштабе и соответственно иметь разную размерность массивов исследуемой области. В результате вычисление индексов средствами numpy становится невозможным, а многие другие операции затруднительны.
Строка 437:		Строка 443:
	[[Файл:Resize_300_300.png\|500px]]		[[Файл:Resize_300_300.png\|500px]]

	==Мультирастры==
			==Мультирастры.==

	Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:		Для вычисления индексов удобно работать с одноканальными растрами - представляя каждый канал как отдельно взятую сущность. Но иногда требуется создавать и работать с многоканальными конструкциями. Для это создана пара мультиканальных классов:
Строка 446:		Строка 453:

	Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:		Предлагаю два варианта использования данной пары классов, исходным растром для примеров послужит data/multi.tif:


	===Изменение последовательности каналов.===		===Изменение последовательности каналов.===
Строка 479:		Строка 487:

	[[Файл:Multi_rebands.png\|500px]]		[[Файл:Multi_rebands.png\|500px]]


	===Обработка муьтирастров в opencv.===		===Обработка муьтирастров в opencv.===
Строка 526:		Строка 535:

	[[Файл:Multi_opencv.png\|500px]]		[[Файл:Multi_opencv.png\|500px]]


	==Работа с точками.==		==Работа с точками.==

	Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.		Не очевидный, но временами очень важный, метод препарирования георастров. Постановка задачи: запись значений точек растра с определёнными координатами в csv, БД или в виде поля в слой shp файла. Реализация последнего примера представлена в point_data_load_array.py (list 9). Исходными данными здесь выступают: георастр result/calc.tif и векторный файл со слоем точек data/tops.shp.

Строка 600:		Строка 611:
	[[Файл:Point_data_dont_load_array_mprof.png\|600px]]		[[Файл:Point_data_dont_load_array_mprof.png\|600px]]

	=="Ремонт" георастров==
			=="Ремонт" георастров.==

	Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).		Иногда процедурная генерация георастров некоторыми утилитами порождает «мутантов». При их отображении в gis программах проблема не заметна - так как геоданные будут правильно спозицианированны. Но при выгрузке из такого георастра numpy массива - оказывается что он зеркально отображён относительно оси x или y. Примером утилиты с такой странной процедурной генерации является gdal_grid([https://gis-lab.info/forum/viewtopic.php?f=30&t=20283 сообщение о проблеме на форуме]).
Строка 711:		Строка 723:
	Здесь ориентация растра по оси x истинное и ложное по оси y.		Здесь ориентация растра по оси x истинное и ложное по оси y.

	==Послесловие==
			==Послесловие.==

	Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.		Заканчивая описание способов употребления raster_tools хочу сказать что инструмент будет и дальше находится в состоянии постоянного развития. По мере поступления задач буду добавлять в него какие то новые приспособления, при этом постараюсь сохранить старые методы применения (чтобы не потерять совместимость с уже завершёнными проектами). Статья описывает состояние raster_tools версии 0.4 - на текущий момент последний stable.
	У raster_tools имеются следующие недостатки:		У raster_tools имеются следующие недостатки: