Обработка данных аэрофотосъемки средствами открытого пакета OpenDroneMap
Установка OpenDroneMap на виртуальную машину и расчёт базовых продуктов (ортофотоплан, ЦММ, 3D-модель) по данным аэрофотосъемки с использованием планово-высотного обоснования и без него
ПРО ПАМЯТЬ > 4Гб
В связи с бурным развитием как фотограмметрических технологий, так и индустрии простых в освоении БПЛА оснащенных фото/видео-аппаратурой, у специалистов самых разных профилей стал расти интерес к возможностям организации аэрофотосъемки и обработки получаемых данных для дальнейшей работы с географическими продуктами, такими как ортофотопланы, цифровые модели местности, трёхмерные модели. На рынке представлено большое количество решений как аппаратных (преимущественно БПЛА), так и программных. Программные продукты для фотограмметрической обработки данных стали разрабатывать практически все крупные вендоры (Autodesk, Trimble, ...), также появилось множество новых компаний, продвигающих собственные пакеты (Agisoft, Pix4D, DroneDeploy, ...). Параллельно начали развиваться и проекты с открытым исходным кодом. Установка и использование одного из наиболее удачных - OpenDroneMap - рассмотрено в представленной статье.
С учётом доступности дешевых, простых в освоении и эффективных для многих задач БПЛА (см. статью), наличие достаточно мощного бесплатного пакета для обработки данных оказывается очень важным, т.к. позволяет начать работу с фотограмметрическими технологиями с минимальными финансовыми вложениями, что актуально для большого количество людей, работающих или почти бесплатно, или имеющих крайне ограниченное финансирование (добровольные пожарные, археологи, независимые исследователи, научные сотрудники географических институтов...).
OpenDroneMap - технически сложное программное обеспечение, относительно просто которое можно развернуть только в среде Linux Ubuntu. Для того, чтобы доступ к нему мог получить любой пользователь вне зависимости от используемой им операционной системы, в статье подробно описан процесс установки и настройки Ubuntu в виртуальной среде средствами продукта Oracle VirtualBox, использовать который можно на любой современной ОС. Использование виртуальной машины рекомендуется также и тем, кто использует в качестве основной ОС Ubuntu, в целях изоляции пакета с большим количеством зависимостей от основной рабочей среды.
Подготовка среды
Установка Oracle VirtualBox
Oracle VirtualBox - самый популярный в мире открытый настольный гипервизор виртуальных машин, то есть специальное программное обеспечение, предназначенное для создания и запуска виртуальных машин, полноценных операционных систем, работающих внутри вашего основного окружения. С помощью него вы можете работать, к примеру, одновременно с Windows, Linux и MacOS в трёх отдельных окнах, при этом каждая из операционных систем будет считать, что она запущена на отдельном полноценном компьютере. Каждой из виртуальных машин вы можете полноценно управлять, выделять ей строго определенный ресурс и так далее. Большим преимуществом работы с виртуальной машиной является изоляция рабочих сред, так, если при работе с виртуальной системой что-то пошло не так, вы можете просто остановить её, и это никак не отразится на вашей основной системе (которая в терминологии виртуализации называется хостом).
Для начала нужно загрузить на свой компьютер дистрибутив операционной системы, которую необходимо установить как виртуальную машину. В нашем случае это Linux Ubuntu 16.04 LTS - один из наиболее распространненных дистрибутивов Linux, последняя стабильная версия. Дистрибутив доступен на сайте ubuntu.ru/get. Если вы работаете в Windows, с большой долей вероятности вы сможете установить только 32-х разрядную версию Ubuntu, что связано с особенностями виртуализации на системах Microsoft. При работе с Linux-хостом таких проблем обычно не бывает. Для унификации в описываемом примере загрузим именно 32-х разрядную версию.
Теперь загрузим установочный файл Oracle VirtualBox с сайта https://www.virtualbox.org/wiki/Downloads в соответствии с вашей основной операционной системой.
Если вы работаете в Linux, VirtualBox устанавливается через пакетный менеджер, например
sudo apt-get install virtualbox
В Windows нужно пройти стандартный мастер установки, оставляя все опции по умолчанию:
После установки, если вы не сняли флаг на последнем шаге, гипервизор запустится автоматически. Также его в любое время можно запустить стандартными средствами операционной системы.
Установка Ubuntu 14.04 LTS на VirtualBox
Приступаем к созданию виртуальной машины. Нажимаем кнопку "Создать" на главной панели VirtualBox:
На первом этапе необходимо задать имя новой виртуальной машины и её тип. Примем название Ubuntu ODM (от OpenDroneMap) и выберем в списке Linux - Ubuntu (32-bit)"
На следующем этапе задаётся объем оперативной памяти, которое виртуальная машина сможет занимать от доступного хосту объема. Рекомендуется предоставить ей больше 4-х гигабайт оперативной памяти, например, 6. Это имеет смысл даже при работе с 32-х разрядной версией ОС, т.к. Ubuntu умеет использовать память свыше лимита, привычного в Windows. Если вы решили установить 64-х разрядную версию Ubuntu, тем более можете указать любой объем (не рекомендуется выделять виртуальной машине >65% всей доступной памяти, но если не сильно нагружать хост при работе с виртуальной машиной, то ничего катастрофического не произойдёт). При недостатке оперативной памяти на виртуальной машине (<= 4 ГБ) некоторые компоненты OpenDroneMap, возможно, не смогут быть установлены.
Далее следуют настройки виртуального жесткого диска. Последовательно выбираем "Создать новый жесткий диск", VDI, "Динамический жесткий виртуальный диск":
На следующем этапе нужно определить максимальное физическое место на жестком диске, которое будет позволено занять виртуальной машине, а также расположение файла виртуального жесткого диска. Обратите внимание, что по умолчанию виртуальный жесткий диск будет сохранен в моих документах (для windows) или директории home (для Linux). Часто это неподходящий вариант, особенно если у вас под систему выделен небольшой SSD, и домашние директории расположены на нём. Для хранения виртуального диска можно выбрать любое другое расположение.
Виртуальная машина создана, теперь нужно инициализировать её, собственно установив Linux Ubuntu. В основном окне VirualBox в списке слева появилась Ubuntu ODM. В контекстном меню, вызываемом нажатием правой кнопки мыши, доступны все инструменты управления. Перед инициализацией зайдём в меню "Настроить".
На различных вкладках меню настроек вы можете изменить выделенное количество оперативной памяти, ядер процессора, видеопамяти и так далее. Нас сейчас интересует вкладка "Общие папки": необходимо настроить какое-то общее файловое хранилище, чтобы из виртуальной среды мы могли осуществлять доступ к собственным файлам на хосте. Переходим к "Общие папки" и нажимаем кнопку "Добавить новую общую папку".
В открывшемся меню выбираем путь до папки на хосте, к которой открывается доступ, и её название в виртуальной среде. Обязательно отмечаем галочку "авто-подключение".
В списке общих папок теперь видим добавленную:
Теперь возвращаемся в главное меню VirtualBox и активируем опцию "Запустить" для нашей виртуальной машины:
В первом диалоге необходимо выбрать дистрибутив, загруженный ранее, из которого будет производиться установка операционной системы. Выбираем загруженный файл формата .iso
Загружается установочный мастер Ubuntu. На первом шаге выбираем слева язык и, затем, "Установить Ubuntu":
На следующем шаге устанавливаем оба флага:
Затем указываем "Стереть диск и установить Ubuntu". Не беспокойтесь, речь идёт о виртуальном диске, созданном несколько шагов назад. Ваша основная система и файлы на ней не могут пострадать.
Соглашаемся с предупреждением:
Выбираем часовой пояс и раскладку клавиатуры:
Задаём имя пользователя и пароль. Пароль вам понадобится для установки приложений, так что его следует запомнить.
Дальше установка будет произведена автоматически.
По окончанию установки нужно будет перезагрузиться, нажав Enter:
После этого вы сразу попадёте в интерфейс операционной системы. Поздравляю, вы развернули Ubuntu на виртуальной машине!
Важные сочетания клавиш при работе с virtual-box:
- Правый Ctrl возвращает курсор мыши в хост
- Правый Ctrl+F: развернуть окно с виртуальной машиной в полноэкранный режим.
Настройка Ubuntu 16.04
Пришло время подготовить нашу свежеиспеченную систему к работе. Очень важно освоить базовые навыки работы с терминалом (командной строкой). Вызвать его можно, набрав в строке поиске Terminal (строка поиска вызывается нажатием на логотип Ubuntu в левом верхнем углу или по нажатию кнопки Windows на клавиатуре), либо воспользовавшись горячими клавишами: Ctrl+Alt+T.
Терминал - основное средство взаимодействия с системой. Выглядит так:
Осмотритесь в системе. В правом меню вы можете вызвать оконный файловый менеджер, и управлять файлами как в Windows. Однако вернёмся в терминал. Начнём готовить систему с помощью последовательности команд. Сначала обновим списки в репозиториях с программным обеспечением для пакетного менеджера. Понадобится ввести пароль.
sudo apt-get update
Затем установим программу git
sudo apt-get install git
Здесь пакетный менеджер спросит у вас разрешения на установку. Соглашайтесь! Принимается и "Д", и "Y" (без кавычек).
Также установим пакет meshlab, он нам понадобится для работы с результатами обработки.
sudo apt-get install meshlab
Немного технических вещей. Чтобы мы имели доступ к настроенной ранее общей папке, нужно добавить нашего пользователя в группу vboxsf. Вместо ekazakov используйте своё имя пользователя, введенное на этапе установки.
sudo usermod -G vboxsf -a ekazakov
Также нужно установить пакет улучшений работы VirtualBox с Ubuntu. Для этого выходим из полноэкранного режима виртуальной машины (правый Ctrl+F), если вы были в нём, в окне виртуальной машины сверху находим пункт меню "Devices" и выбираем там опцию "Install Guest Additions CD Image". Если у вас русифицированы эти пункты меню, можно ожидать, что это будет "Устройства" - "Установить дополнение гостевой ОС".
Сразу при активации этой опции вы получите предложение запустить установку дополнений. Соглашаемся и смотрим на процесс установки.
Перезагружаем Ubuntu. Управление выключением и перезагрузкой осуществляется с помощью меню в правом верхнем углу, справа от часов.
После перезагрузки в файловом менеджере вам будет доступна общая папка в меню слева (в моём случае пункт silent_sf). Система готова к дальнейшим приключениям.
Установка OpenDroneMap на Ubuntu 16.04 LTS
Снова откроем терминал. Создадим папку для размещения OpenDroneMap, назовём её odm:
mkdir odm
Перейдем во вновь созданную папку
cd odm
И склонируем в неё все файлы OpenDroneMap с помощью git (точка в конце команды имеет смысл, не забудьте её скопировать тоже)
git clone https://github.com/OpenDroneMap/OpenDroneMap.git .
Размер загружаемого пакета весьма велик, несколько больше 1 гигабайта.
После окончания загрузки настроим переменные среды:
export PYTHONPATH=$PYTHONPATH:`pwd`/SuperBuild/install/lib/python2.7/dist-packages:`pwd`/SuperBuild/src/opensfm export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:`pwd`/SuperBuild/install/lib
Вообще говоря, лучше добавить строчки управления переменными средами в файл .bashrc, чтобы они выполнялись каждый раз автоматически при запуске системы. Это не обязательно, если у вас одноразовая задача или вам не лень выполнять модернизацию переменных сред при каждом входе в систему. Для этого возвращаемся в домашнюю папку:
cd ..
И открываем файл .bashrc в текстовом редакторе
gedit .bashrc
У вас откроется обыкновенный блокнот с кодом на языке bash. В самый конец документа поместите поместите две строки, заменив ekazakov на своё имя пользователя:
export PYTHONPATH=$PYTHONPATH:/home/ekazakov/odm/SuperBuild/install/lib/python2.7/dist-packages:/home/ekazakov/odm/SuperBuild/src/opensfm export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/ekazakov/odm/SuperBuild/install/lib
Сохраняемся, закрываем блокнот. Возвращаемся обратно в директорию, в которую загрузили OpenDroneMap:
cd odm
И, наконец, запустим настройку и конфигурирование OpenDroneMap
./configure.sh install
На этом этапе будет происходить очень много всего, но без вашего участия. Запаситесь терпением минут на 15-20-30. Установка завершена!
OpenDroneMap
Собственно обработка данных и расчёт производных продуктов осуществляется запуском одной единственной команды. В терминале из директории размещения OpenDroneMap (в моём случае /home/ekazakov/odm) вызывается модуль run.py:
python run.py <имя проекта>
Все настройки, режимы, ссылки на исходные данные и так далее указываются в виде ключей к этой команде. Всё просто и удобно.
Подготовка данных для расчёта без опорных точек
Посмотрим на запуск подробнее на конкретном примере. Самый распространненный среди любителей, занимающихся аэрофотосъёмкой с около-топографическими целями, вариант - имеется просто набор фотографий с заданным перекрытием, сделанных с какого-нибудь коптера в надир или почти в надир. Никакого наземного планово-высотного обоснования не обеспечивалось.
ЗАГРУЗИТЬ ПРИМЕР ДАННЫХ
Пример простой и содержит 33 фотографии, выполненных аппаратом DJI Phantom 3 Advanced с высоты 150 метров в августе 2016 года, камера работала в автоматическом режиме.
Для того, чтобы приступить к обработке, нужно подготовить папку для данных OpenDroneMap, в которой будут размещаться наборы данных. Используя визуальный файловый менеджер, создадим в домашней папке новую директрию, например odm_projects, в которой создадим ещё одну директорию odm_non_gcp, а в ней - images (в моём случае получается /home/ekazakov/odm_projects/odm_non_gcp/images). У проектов OpenDroneMap строгая организация директорий, исходные снимки он будет искать именно в папке images в корневой папке конкретного проекта. Схема из оригинальной документации:
|-- /path/to/project/ |-- images/ |-- img-1234.jpg |-- ...
Используя общую папку с хостом, на котором и лежат ваши фотографии (если вы работаете с примером, можно загрузить тестовый набор через браузер прямо внутри виртуальной машины и обойтись без общей папки), копируем их в images. Вот как результат выглядит у меня (обратите внимание на пути):
В общем-то, организация данных для этого простого варианта завершена, ведь больше никаких исходных данных у нас нет. Но и этого достаточно, чтобы получить приятные результаты.
Расчёт базовых продуктов без опорных точек
Открываем терминал и переходим в директорию OpenDroneMap
cd odm
Запускаем расчёты командой, заменив ekazakov на своё имя пользователя:
python run.py odm_non_gcp --project-path /home/ekazakov/odm_projects
Здесь происходит следующее: запускается обработка с настройками по умолчанию для данных из набора odm_non_gcp, при этом ключом --project-path указывается расположение наборов данных. То есть в директории указанной после --project-path будет искаться директирия odm_non_gcp, в ней images, и уже там - исходные фотографии. Ключ --dtm указан для того, чтобы в сгенерировать цифровую модель местности. Более подробно о возможных ключах - в разделе "Список настроек для запуска ODM".
После запуска в консоли вы сможете наблюдать ход выполнения всех операций, начиная с загрузки и масштабирования фотографий, заканчивая построением моделей.
Подготовка данных для расчёта с опорными точками
Расчёт базовых продутов с опорными точками
Список настроек для запуска ODM
-h или --help вывести в консоль сообщение с информацией о возможных опциях запуска команды run.py. --images <путь> или -i <путь> путь до папки с исходными изображениями --project-path <путь> путь до папки с проектом --resize-to <целое число> масштабирование изображения (по большей стороне) --skip-resize пропустить шаг масштабирования изображений. Вместо масштабированных изображений будут использованы оригинальныеthe resized folder --start-with <параметр> или -s <параметр> С помощью параметра указать, с какой операции начать обработку. Может быть полезно, если нужно быстро получить частный результат, не дожидаясь полной обработки. Параметр может быть: resize | opensfm | slam | cmvs | pmvs | odm_meshing | odm_25dmeshing | mvs_texturing | odm_georeferencing | odm_orthophoto --end-with <параметр> или -e <параметр> Аналогично, какой операцией закончить:resize | opensfm | slam | cmvs | pmvs | odm_meshing | odm_25dmeshing | mvs_texturing | odm_georeferencing | odm_orthophoto --rerun <параметр> или -r <параметр> Перезапустить конкретную операцию. Параметр может быть:resize | opensfm | slam | cmvs | pmvs | odm_meshing | odm_25dmeshing | mvs_texturing | odm_georeferencing | odm_orthophoto --rerun-all Перезапуск всех операций --rerun-from <параметр> С помощью параметра указать, с какой операции начать перезапуск. Параметр может быть:resize | opensfm | slam | cmvs | pmvs | odm_meshing | odm_25dmeshing | mvs_texturing | odm_georeferencing | odm_orthophoto --video <путь> Путь до видео файла для обработки --slam-config <путь> Путь до конфигурационного файла orb-slam --force-focal <вещественное число> Перезаписать информацию о фокусном расстоянии (число вместо взятого из изображений) --force-ccd <вешщественное число> Перезаписать информацию о ширине матрицы ПЗС (число вместо взятого из изображений) --min-num-features <целое число> Минимальное количество особых точек, извлекаемых из отдельного изображения. Чем больше - тем лучше результат, но медленнее обработка. Значение по умолчанию: 4000 --matcher-threshold <процент> Игнорировать сопоставленные ключевые точки, если перекрывающиеся изображения делят менее указанного количества процентов ключевых точек. Значение по умолчанию: 2.0 --matcher-ratio <вещественное число> Отношение расстояния до следующей наиболее подходящей ключевой точки Значение по умолчанию: 0.6 --matcher-neighbors <целое число> Количество ближайших изображений для предварительного сопоставления основанного на данных GPS, извлеченных из exif фотографий. Установить на 0 для того, чтобы пропустить предварительное сопоставление. Значение по умолчанию: 8 --matcher-distance <целое число> Порог расстояния (в метрах) для поиска изображений для предварительного сопоставления, основанного на данных GPS, извлеченных из exif фотографий. Установить на 0 вместе с matcher-neighbors для того, чтобы пропустить предварительное сопоставление. Значение по умолчанию: 0 --opensfm-processes <целое положительное число> Максимальное количество процессов для рекострукции плотного облака (чем больше, тем быстрее, но интенсивнее задействуются компьютерные ресурсы) Значение по умолчанию: 1 --use-25dmesh Экспериментальная опция. Использовать 2.5D сетку для построения ортофотоплана. Использование этой опции может обеспечить лучшие результаты для плоских поверхностей. --use-pmvs Использовать pmvs для расчёта облака точек --cmvs-maxImages <целое число> Максимальное количество изображений в кластере. Значение по умолчанию: 500 --pmvs-level <целое положительное число> Уровень пирамид изображения для расчёта (для pmvs). Для подробностей: http://www.di.ens.fr/pmvs/documentation.html Значение по умолчанию: 1 --pmvs-csize <целое положительное число> Размер ячейки для управления плотностью реконструкции. Значение по умолчанию: 2 --pmvs-threshold <Вещественное число от -1 до 1> Реконструкция блока признаётся удачной и сохраняется если связанное с ней значение photometric consistency measure в пределах указанного значения. Значение по умолчанию: 0.7 --pmvs-wsize <целое положительное число> pmvs samples wsize x wsize pixel colors from each image to compute photometric consistency score. For example, when wsize=7, 7x7=49 pixel colors are sampled in each image. Increasing the value leads to more stable reconstructions, but the program becomes slower. Default: 7 --pmvs-min-images <целое положительное число> Each 3D point must be visible in at least minImageNum images for being reconstructed. 3 is suggested in general. Default: 3 --pmvs-num-cores <целое положительное число> The maximum number of cores to use in dense reconstruction. Default: 6 --mesh-size <целое положительное число> The maximum vertex count of the output mesh Default: 100000 --mesh-octree-depth <целое положительное число> Oct-tree depth used in the mesh reconstruction, increase to get more vertices, recommended values are 8-12. Default: 9 --mesh-samples <вещественное число большее или равное 1.0> Number of points per octree node, recommended and default value: 1.0 --mesh-solver-divide <целое положительное число> Oct-tree depth at which the Laplacian equation is solved in the surface reconstruction step. Increasing this value increases computation times slightly but helps reduce memory usage. Default: 9 --mesh-remove-outliers <percent> Percentage of outliers to remove from the point set. Set to 0 to disable. Applies to 2.5D mesh only. Default: 2 --mesh-wlop-iterations <целое положительное число> Iterations of the Weighted Locally Optimal Projection (WLOP) simplification algorithm. Higher values take longer but produce a smoother mesh. Applies to 2.5D mesh only. Default: 35 --texturing-data-term <string> Data term: [area, gmi]. Default: gmi --texturing-outlier-removal-type <string> Type of photometric outlier removal method: [none, gauss_damping, gauss_clamping]. Default: gauss_clamping --texturing-skip-visibility-test Skip geometric visibility test. Default: False --texturing-skip-global-seam-leveling Skip global seam leveling. Useful for IR data.Default: False --texturing-skip-local-seam-leveling Skip local seam blending. Default: False --texturing-skip-hole-filling Skip filling of holes in the mesh. Default: False --texturing-keep-unseen-faces Keep faces in the mesh that are not seen in any camera. Default: False --texturing-tone-mapping <string> Turn on gamma tone mapping or none for no tone mapping. Choices are 'gamma' or 'none'. Default: none --gcp <path string> path to the file containing the ground control points used for georeferencing. Default: None. The file needs to be on the following line format: easting northing height pixelrow pixelcol imagename --use-exif Use this tag if you have a gcp_list.txt but want to use the exif geotags instead --dem Use this tag to build a DEM using a progressive morphological filter in PDAL. --dtm Use this tag to build a DTM (Digital Terrain Model, ground only) using a progressive morphological filter. Check the --dem* parameters for fine tuning. --dsm Use this tag to build a DSM (Digital Surface Model, ground + objects) using a progressive morphological filter. Check the --dem* parameters for fine tuning. --dem-gapfill-steps <positive integer> Number of steps used to fill areas with gaps. Set to 0 to disable gap filling. Starting with a radius equal to the output resolution, N different DEMs are generated with progressively bigger radius using the inverse distance weighted (IDW) algorithm and merged together. Remaining gaps are then merged using nearest neighbor interpolation. generation. Default=4 --dem-resolution <float> Length of raster cell edges in X/Y units. Default: 0.1 --dem-maxangle <positive float> Points that are more than maxangle degrees off-nadir are discarded. Default: 20 --dem-maxsd <positive float> Points that deviate more than maxsd standard deviations from the local mean are discarded. Default: 2.5 --dem-approximate Use this tag use the approximate progressive morphological filter, which computes DEMs faster but is not as accurate. --dem-decimation <positive integer> Decimate the points before generating the DEM. 1 is no decimation (full quality). 100 decimates ~99% of the points. Useful for speeding up generation. Default=1 --dem-terrain-type <string> One of: FlatNonForest, FlatForest, ComplexNonForest, ComplexForest. Specifies the type of terrain. This mainly helps reduce processing time. FlatNonForest: Relatively flat region with little to no vegetation FlatForest: Relatively flat region that is forested ComplexNonForest: Varied terrain with little to no vegetation ComplexForest: Varied terrain that is forested Default=ComplexForest --orthophoto-resolution <float > 0.0> Orthophoto ground resolution in pixels/meterDefault: 20.0 --orthophoto-target-srs <EPSG:XXXX> Target spatial reference for orthophoto creation. Not implemented yet. Default: None --orthophoto-no-tiled Set this parameter if you want a stripped geoTIFF. Default: False --orthophoto-compression <string> Set the compression to use. Note that this could break gdal_translate if you don't know what you are doing. Options: JPEG, LZW, PACKBITS, DEFLATE, LZMA, NONE. Default: DEFLATE --orthophoto-bigtiff {YES,NO,IF_NEEDED,IF_SAFER} Control whether the created orthophoto is a BigTIFF or classic TIFF. BigTIFF is a variant for files larger than 4GiB of data. Options are YES, NO, IF_NEEDED, IF_SAFER. See GDAL specs: https://www.gdal.org/frmt_gtiff.html for more info. Default: IF_SAFER --build-overviews Создать обзорные файлы для ортофотопланы с помощью утилиты gdaladdo. --zip-results сжать результаты с помощью gunzip --verbose или -v Выводить в консоль дополнительную информацию о ходе обработки --time Создать файл с информацией о затраченном на обработку времени --version Вывести в консоль номер версии OpenDroneMap