Просмотр кода страницы Создаем карту границ участков избирательных комиссий Москвы из открытых данных

{{Статья|Черновик}}
{{Аннотация|Шаги для создания карты границ участков}}

В разных уголках нашей страны, а иногда и целиком по все стране иногда проводятся выборы разных уровней. По закону, количество избирателей на участок не должно быть больше 3000, поэтому вся страна или область разбивается на участки. Люди проживающие на территории участка голосуют на избирательном участке - месте голосования. В виде открытых геоданных, за редким исключением некоторых регионов, государство данные об участках и их границах не распространяет, границы доступны только в виде описаний. Если местоположения мест голосований еще можно [http://uikgeo.gis-lab.info собрать], с участками количество работы по самостоятельной их отрисовке возрастает минимум на порядок. Поэтому имеет смысл попробовать применить автоматизацию.

Эта статья иллюстрирует некоторые, достаточно простые подходы для создания карты участков в границах г. Москвы (исключаю присоединенные территории Новой Москвы). Статья может рассматриваться как иллюстрация применения географического анализа для решения более-менее конкретной задачи. Используя данные, ссылки на которые приведены, можно всё воспроизвести самостоятельно.

Забегая вперед хочется сказать, что существующие наборы данных неадекватны для решения этой задачи и результат неудовлетворителен. Но лучше хоть какая-то попытка, чем никакой.

Спасибо Сергею Шпилькину, что еще раз напомнил о том, что это стоит попробовать сделать и Виктору Олайя за помощь с Sextante и быстрый багфикс в нем. Опенсорс FTW!

==Основная идея==
Границы избирательных участков можно восстановить зная причисленные к ним адреса.

==Исходные данные==

Границы административно-территориального деления г. Москва (источник - [http://gis-lab.info/qa/osm-adm.html GIS-Lab])

Адреса причисленные к избирательным участкам (источник - сервис "Поиск места голосования" [http://mosgorizbirkom.ru/web/guest/searchuik Мосгоризбиркома]). Используется выгрузка из ресурса на 29 августа 2013 г.

Картографические данные - [http://osm.org.ru OpenStreetMap].

==Используемое ПО==
Будем использовать только открытое программное обеспечение.

Нам понадобится:
*Python - программирование скриптов для получения данных с МГИКа и пакетного геокодирования.
*QGIS/Sextante - геообработка, визуализация.

==Получение и подготовка данных==
===Границы АТД===
Скачаем [http://gis-lab.info/data/yav/adm/stable/adm8_municipal.7z стабильную версию] внутригородских муниципальных образований Москвы и Санкт-Петербурга. Удалим все что относится к Санкт-Петербургу, так как нас в данном случае он не интересует. Для этого откроем слой данных в QGIS, выделим и удалим объекты относящиеся к СПб.

Нам нужны эти границы, так как участки создаются в границах районов Москвы.

[[Файл:Uik-area-map-01.png|400px|thumb|center|Границы муниципальных образований Москвы (без Новой Москвы)]]

===База адресов===
Наша задача - получить все адреса домов и привязанный к ним номер УИКа.

Этап 1 - скачаем всю базу адресов МГИК. 

Это можно сделать используя специальный скрипт на Python ([https://github.com/simgislab/mgik/blob/master/get_mgik_addresses.py исходник]). Скрипт работает очень просто, обходит весь сервис МГИКа по поиску УИКов по адресу и складывает все найденные данные в CSV файл. Для запуска скрипта нужен чистый питон 2.7.x и пакет BeautifulSoup.

Пример фрагмента результата после скачивания:
[[Файл:Uik-area-map-02.png|750px|thumb|center|Таблица адресов МГИК]]

В результате присутствуют важные для нас поля:
*UIK_ID - номер УИКа
*LVL1 - уровень 1 адреса: название нас.пункта или улицы
*LVL2 - уровень 2 адреса: название улицы если есть и нас.пункт
*LVL3 - уровень 3 адреса: номер дома

[http://gis-lab.info/data/uik_geo/mgik_addr_all_20130828.zip Скачать исходную таблицу] (CSV)

Этап 2 - подготовим адреса 

Путем простых операций в табличном процессоре, превратим таблицу в подходящую для геокодирования, для этого нужно сделать чтобы адрес был в одной ячейке, это сделает простой CONCATENATE:

[[Файл:Uik-area-map-03.png|750px|thumb|center|Таблица адресов МГИК]]

Кроме всяких служебных полей, нужных для правильной работы скриптов по геокодированию, добавились важные поля:
*ADDR - слитый адрес
*ADDR_V - результат очистки, поиском-заменой убраны лишние запятые и т.п.

Таблица готова к геокодированию.

[http://gis-lab.info/data/uik_geo/mgik_addr_all_20130828_geocode.zip Скачать обработанную таблицу] (CSV)

Этап 3 - геокодируем

Скрипты для геокодирования можно скачать [https://github.com/simgislab/osm-geocode здесь]. Это тоже питон использующий бэкэнд OpenStreetMap.ru для геокодирования.

[http://gis-lab.info/data/uik_geo/mgik_addr_all_20130828_process.zip Скачать результат геокодирования]

На карте эти адреса будут выглядеть вот так:

[[Файл:Uik-area-map-04.png|550px|thumb|center|Геокодированные адреса на карте районов]]

Нам понадобится еще несколько шагов, чтобы подготовить только те данные, которые нам нужны:

Этап 4 - удалим всё, что не в старой Москве

Для этого в QGIS выполним Вектор/Выборка/Пространственная выборка и выделим все точки попадающие в границы нашей Москвы. После выборки - инвертируем ее и удалим все что выделилось (вне границ Москвы).

Этап 5 - удалим все районы Москвы без точек

С помощью того же инструмента проведем и обратную операцию, выбрав и удалив все районы в которые не попало ни одной точки.

[[Файл:Uik-area-map-05.png|550px|thumb|center|Оставшиеся точки и районы]] 

Этап 6 - привяжем точки к районам

У нас каждой точке адреса соответствует УИК, а нам нужно, чтобы еще у них был и район (для чего - увидим позже). Поэтому в QGIS делаем Вектор/Управление данными/Объединение атрибутов по районам. После этой операции, каждая точка получит все атрибуты того полигона района, который ей нужен. Визульно точки не изменятся, просто добавятся новое поле с кодом ОКАТО из слоёв АТД.

Этап 7 - удалим плохие точки
Удалим все точки, уровень точки геокодирования которых ниже чем Дом, т.е. эти точки привязались к улице или населенному пункту. Для нашего метода это абсолютно неприемлемо, поэтому мы их лучше удалим. Проще всего это сделать через таблицу атрибутов, где сделать выборку g_status != "building" и удалить выделенное.

Из 55 тыс адресов у нас останется около 21 тысячи.

[http://gis-lab.info/data/uik_geo/mgik_addr_all_20130828_geocode_clean.zip Скачать очищенный набор геокодированных точек адресов] (ESRI Shape)

Этап 8 - разбивка по ОКАТО
Это последний этап подготовки.
Теперь у нас есть точки и полигоны и у всех объектов, помимо прочих значений в таблице атрибутов, есть код ОКАТО, который их объединяет. Разобьем эти два слоя на множество производных слоёв. Каждый из производных будет представлять один код ОКАТО.

В QGIS: Вектор/Управление данными/Разбить векторный слой Разбиваем по полю OKATO_CODE. Рекомендую сложить результирующие точки и полигоны в отдельные папки, которые предварительно нужно создать. После окончания разбивки, нужно переименовать все файлы так, чтобы в названии остался только код ОКАТО. В результате количество файлов точек и полигонов должно точно совпадать.

Наши базы адресов и АТД готовы, займемся геообработкой.

==Геообработка==
Теперь наша задача следующая, произвести с каждой парой точки (адреса) - полигон (граница района) следующие операции.

#Рассчитать географический охват полигона
#Построить полигоны Вороного по точкам в границах рассчитанного охвата
#Обрезать получившиеся полигоны Вороного по границе района
#Растворить границы между полигонами с одинаковым номером УИКа.

На примере Щукино в картинках:

[[Файл:Uik-area-map-06.png|600px|thumb|center|Исходно: адреса и граница района]]

[[Файл:Uik-area-map-07.png|700px|thumb|center|Полигоны Вороного по адресам в пределах охвата границы района]]

[[Файл:Uik-area-map-08.png|700px|thumb|center|Обрезка полигонов по граница района]]

[[Файл:Uik-area-map-09.png|700px|thumb|center|Слияние полигонов относящихся к одному УИКу]]

==Автоматизация==
Понятно, что вручную нам это повторять для всех районов не хочется, поэтому будем автоматизировать процесс выше с помощью Sextante. Sextante - это набор модулей для геообработки и среда для удобного объединения этих модулей в последовательности (модели). Он доступен из коробки если у вас одна из последних версий QGIS.

Модель будет выглядеть следующим образом:
[[Файл:Uik-area-map-10.png|700px|thumb|center|Модель геообработки Sextante]]

Запускать модель будет в пакетном режиме и добавим ей в качестве аргументов все наши точки и полигоны.
[[Файл:Uik-area-map-11.png|700px|thumb|center|Параметры модели]]

После выполнения, останется только сделать Вектор/Управление данными/Объединение shape-файлов, чтобы получить единый слой границ участков по г. Москва.

[http://gis-lab.info/data/uik_geo/gerry.model Скачать готовую модель] (Sextante model)

==Результат==
После некоторой раскраски выглядеть в районе Щукино это будет примерно вот так:

[[Файл:Uik-area-map-12.png|700px|thumb|center|Результат. Фиолетовым - границы районов, точки - геокодированные адреса, черным - границы расчетных участков.]]

Можно видеть, что некоторые полигоны получили номер -1, это связано с тем, что ряд адресов (и соответственно точек на карте им соответствующим) на момент написания статьи не имел связанного с ним УИКа (например: "город Москва, Яузская аллея, дом 2"). Таким точкам присваивался номер УИКа -1 и соответственно образовывался полигон.

Границы участков нарисованные управой выглядят следующим образом:

[[Файл:Razmechenie golosa b.jpg|700px|thumb|center|Размещение участковых комиссий и мест голосования [http://schukino-rajon.ru/?tabid=81 с сайта управы]]]

[http://gis-lab.info/data/uik_geo/uchastki.zip Скачать границы расчетных участков] (ESRI Shape)

==Почему получилось плохо==
Результат довольно плохо соответствует подобным картам, которые рисуются вручную и на то есть несколько причин.

#Это практически полностью автоматический алгоритм не ведающий красивых границ, но зато он математически точен.
#Качество исходных данных - ниже среднего, потому что геокодирована примерно половина точек. 33% вины на OpenStreetMap - нет геоданных, 33% вины на геокодере - не нашел адреса, хотя они есть, 33% вины на МГИК - плохо структурированные и неправильные адреса, масса отсутствующих домов и адресов которые не приписаны к УИКу. Точные вклады каждого из компонентов в результат оценить сложно, это примерная оценка.
#Не учтены промзоны, леса, парки, вода.

Очевидно, что улучшить результат можно засчет: 
*улучшения карты - нужно продолжать вносить данные в ОСМ, а попросту - рисовать карту
*улучшения геокодера, есть много ситуаций когда он мог бы сработать лучше
*убеждения МГИК и улучшения охвата описаниями всех домов, которые в участки почему-то не попали.