Нормализованные данные с портала открытых данных Москвы

Эта страница опубликована в основном списке статей сайта
по адресу http://gis-lab.info/qa/data-mos.html

Описание данных и копия данных в более удобном для ГИС формате

Источник данных: Портал открытых данных г. Москва http://data.mos.ru

Об исходных данных

Система координат данных: EPSG: 3857 (WGS84 Web Mercator)
Формат данных: CSV (на данный момент)
Кодировка: Windows-1251
Формат хранения геометрий: WKT (поле WKT в CSV)

Лицензия данных разрешает любое использование (включая коммерческое) при условии наличия ссылки на первоисточник.

Условия использования набора данных не предполагают ограничений использования набора данных в некоммерческих и коммерческих целях.

Сомнительные места организации исходных данных

Уровень проблемности этих пунктов разный. Некоторые из них не позволят даже начать работу с данными, многие улучшили бы данные, но не помешают их использовать специалисту. Пометка "-> исправлено" означает, что данная проблема исправлена в производной версии данных представленной в этом описании ниже.

1. Служебная информация в названиях полей
2. Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено
3. Исходные данные в системе координат: ПМСК (местная система координат г. Москвы) (ужасная СК для распространения векторных данных)
4. Смешивание данных в разных системах координат в одних и тех же столбцах в одном наборе данных
5. Непоследовательное применение WKT представлений координат, то используется, то не используется.
6. Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено
7. Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено
8. Названия полей содержат спецсимволы (например "№", "/", "," - проблемы с конвертацией) -> исправлено
9. Одни и те же названия полей то в кавычках, то без (просто некрасиво) -> исправлено
10. Одни и те же названия полей то с пробелами, то с "_" вместо пробелов (просто некрасиво) -> исправлено
11. Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено
12. Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено
13. Отсутствуют вспомогательные файлы описания системы координат данных -> исправлено
14. Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено
15. Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено
16. Многочисленные неоправданные последовательности символов "пробел" в атрибутике
17. Пустые поля. ";" в конце заголовка и ";" в конце каждой записи (пример: 619), иногда нерегулярно встречается "; "

О преобразованных данных

В таблице в поле Данные -0 данные для скачивания:

• csv - исходные данные 'как есть' на data.mos.ru, формат CSV, геометрии WKT, кодировка Windows-1251
• csv-norm - данные в формате CSV, с нормализованными названиями полей, *.csvt, *.prj, *.vrt файлами. Кодировка UTF-8
• shp - данные в формате ESRI Shape (максимальная длина строк 255 символов). Кодировка UTF-8. СК EPSG:4326
• osm - данные в формате OSM XML, без обрезки атрибутики. Кодировка UTF-8

Полный перечень названий полей и их замен для нормализованых данных.

TODO

• *.csvt файлы пока рассматривают все поля как тип String(255). Нужно пройтись по всем полям и выяснить их тип, добавив его в fields.csv
• создать *.qml
• сконвертировать все в GeoJSON
• обновлять только обновившееся, дату можно взять из метаданных, (но вдруг нас обманут? :) либо побайтово сравнивать с пред.версией CSV

Актуальность производных данных и архив

Текущая версия данных расположенная здесь: 22 февраля 2013.

Чтобы посмотреть архивную версию данных, возьмите ссылку из таблице ниже и добавьте дату в формате YYYYMMDD. Например: Актуальная версия:

 http://gis-lab.info/data/mos.ru/414_shp.7z

Архивная:

 http://gis-lab.info/data/mos.ru/20130213/414_shp.7z

Доступны архивы за следующие числа:
20130213,20130222,20130503

Существует также сервис следящий за исходными данными и архивирующий версии, пока этот сервис не занимается нормализацией данных, планируется объединить эти два сервиса.

Таблица данных

Код	Описание набора	Категория	Объектов	Геоданные	Оригинал	Данные
493	Дома культуры и клубы	Досуг и отдых	281	yes	csv	csv_norm shp osm
494	Парки (включая парки не подведомственные)	Досуг и отдых	80	yes	csv	csv_norm shp osm
495	Кинотеатры	Досуг и отдых	235	yes	csv	csv_norm shp osm
496	Молодежные центры	Досуг и отдых	17	yes	csv	csv_norm shp osm
497	Учреждения семейной и молодежной политики	Досуг и отдых	5	yes	csv	csv_norm shp osm
498	Аттракционная техника с механическим приводом, установленная в скверах и парках	Досуг и отдых	430	yes	csv	csv_norm shp osm
499	Государственные учреждения, подведомственные Департаменту жилищно-коммунального хозяйства и благоустройства города Москвы	Жилищно-коммунальное хозяйство	27	yes	csv	csv_norm shp osm
500	Районные инженерные службы	Жилищно-коммунальное хозяйство	125	yes	csv	csv_norm shp osm
501	Аптеки	Здравоохранение	4185	yes	csv	csv_norm shp osm
502	Больницы города Москвы	Здравоохранение	100	yes	csv	csv_norm shp osm
503	Городские поликлиники	Здравоохранение	273	yes	csv	csv_norm shp osm
504	Госпитали всех наименований, учредителем которых является город Москва	Здравоохранение	4	yes	csv	csv_norm shp osm
505	Детские поликлиники	Здравоохранение	172	yes	csv	csv_norm shp osm
506	Детские стоматологические поликлиники	Здравоохранение	25	yes	csv	csv_norm shp osm
507	Диспансеры	Здравоохранение	54	yes	csv	csv_norm shp osm
508	Дома ребенка, в том числе специалзированные	Здравоохранение	19	yes	csv	csv_norm shp osm
509	Женские консультации	Здравоохранение	14	yes	csv	csv_norm shp osm
510	Здравоохранение. Санатории	Здравоохранение	48	yes	csv	csv_norm shp osm
511	Консультативно диагностические центры	Здравоохранение	19	yes	csv	csv_norm shp osm
512	Молочные кухни	Здравоохранение	181	yes	csv	csv_norm shp osm
513	Научно-практические медицинские центры, учредителем которых является город Москва	Здравоохранение	66	yes	csv	csv_norm shp osm
514	Родильные дома г. Москвы	Здравоохранение	19	yes	csv	csv_norm shp osm
515	Станции переливания крови	Здравоохранение	1	yes	csv	csv_norm shp osm
516	Станции скорой и неотложной медицинской помощи	Здравоохранение	1	yes	csv	csv_norm shp osm
517	Стационары	Здравоохранение	50	yes	csv	csv_norm shp osm
518	Стоматологические поликлиники	Здравоохранение	39	yes	csv	csv_norm shp osm
519	Хосписы	Здравоохранение	8	yes	csv	csv_norm shp osm
520	Паспортизация квартир в домах-новостройках, строительство которых выполнено за счет городского бюджета и по инвестиционным проектам	Имущество и земля города Москвы	1048	yes	csv	csv_norm shp osm
521	Земельные участки, находящиеся в собственности г. Москвы	Имущество и земля города Москвы	1000	no	csv	csv_norm
522	Рейтинг топ-100 должников арендной платы	Имущество и земля города Москвы	100	no	csv	csv_norm
523	Нежилые помещения, зарегистрированные в собственность г. Москвы	Имущество и земля города Москвы	37849	yes	csv	csv_norm shp osm
524	Ремонтируемые объекты жилищного фонда	Имущество и земля города Москвы	1050	no	csv	csv_norm
525	Ремонтируемые объекты нежилого фонда	Имущество и земля города Москвы	41	yes	csv	csv_norm shp osm
526	Библиотеки	Культура	525	yes	csv	csv_norm shp osm
527	Выставочные залы	Культура	26	yes	csv	csv_norm shp osm
528	Концертные организации	Культура	87	yes	csv	csv_norm shp osm
529	Музеи	Культура	329	yes	csv	csv_norm shp osm
530	Объекты культурного наследия и Выявленные объекты культурного наследия	Культура	6104	yes	csv	csv_norm shp osm
531	Театры	Культура	239	yes	csv	csv_norm shp osm
532	Детские музыкальные школы	Образование	108	yes	csv	csv_norm shp osm
533	Детские художественные школы	Образование	19	yes	csv	csv_norm shp osm
534	Детские школы искусств	Образование	49	yes	csv	csv_norm shp osm
535	Вечерние школы	Образование	7	yes	csv	csv_norm shp osm
536	Военно-патриотическое направление	Образование	9	yes	csv	csv_norm shp osm
537	Учреждения высшего профессионального образования	Образование	10	yes	csv	csv_norm shp osm
538	Гимназия	Образование	84	yes	csv	csv_norm shp osm
539	Детские сады в составе школ (образовательные комплексы)	Образование	132	yes	csv	csv_norm shp osm
540	Детские сады	Образование	1155	yes	csv	csv_norm shp osm
541	Детский сад комбинированного вида	Образование	405	yes	csv	csv_norm shp osm
542	Детский сад компенсирующего вида	Образование	190	yes	csv	csv_norm shp osm
543	Естественнонаучное направление	Образование	6	yes	csv	csv_norm shp osm
544	Кадетские школы	Образование	8	yes	csv	csv_norm shp osm
545	Кадетские школы-интернаты	Образование	11	yes	csv	csv_norm shp osm
546	Колледжи	Образование	107	yes	csv	csv_norm shp osm
547	Коррекционная начальная школа-детский сад	Образование	5	yes	csv	csv_norm shp osm
548	Коррекционная общеобразовательная школа	Образование	25	yes	csv	csv_norm shp osm
549	Коррекционная общеобразовательная школа-интернат	Образование	29	yes	csv	csv_norm shp osm
550	Коррекционная школа-интернат для детей-сирот и детей, оставшихся без попечения родителей	Образование	4	yes	csv	csv_norm shp osm
551	Культурологическое направление	Образование	60	yes	csv	csv_norm shp osm
552	Лицей	Образование	40	yes	csv	csv_norm shp osm
553	Научно-техническое направление	Образование	10	yes	csv	csv_norm shp osm
554	Начальная школа - десткий сад компенсирующего вида	Образование	14	yes	csv	csv_norm shp osm
555	Начальная школа - детский сад	Образование	13	yes	csv	csv_norm shp osm
556	Образовательные учреждения города Москвы, реализующие программы среднего профессионального образования. Техникумы	Образование	9	yes	csv	csv_norm shp osm
557	Прогимназия	Образование	24	yes	csv	csv_norm shp osm
559	Санаторная школа-интернат	Образование	5	yes	csv	csv_norm shp osm
560	Санаторно-лесная школа	Образование	5	yes	csv	csv_norm shp osm
561	Социально-педагогическое направление	Образование	41	yes	csv	csv_norm shp osm
562	Социально-экономическое направление	Образование	2	yes	csv	csv_norm shp osm
563	Специальная общеобразовательная школа для детей и подростков с девиантным поведением	Образование	7	yes	csv	csv_norm shp osm
564	Спортивно-техническое направление	Образование	2	yes	csv	csv_norm shp osm
565	Средняя образовательная школа	Образование	786	yes	csv	csv_norm shp osm
566	Средняя образовательная школа "Школа Здоровья"	Образование	59	yes	csv	csv_norm shp osm
567	Средняя образовательная школа с углубленным изучением отдельных предметов	Образование	169	yes	csv	csv_norm shp osm
568	Средняя общеобразовательная школа с этнокультурным (национальным) компонентом образования	Образование	22	yes	csv	csv_norm shp osm
569	Туристко-краеведческое направление	Образование	9	yes	csv	csv_norm shp osm
570	Учебно-производственные комбинаты	Образование	3	yes	csv	csv_norm shp osm
571	Учреждения для детей-сирот и детей, оставшихся без попечения родителей	Образование	29	yes	csv	csv_norm shp osm
572	Физкультурно-спортивное направление	Образование	14	yes	csv	csv_norm shp osm
573	Художественно-эстетическое направление	Образование	74	yes	csv	csv_norm shp osm
574	Центр диагностики и консультирования	Образование	6	yes	csv	csv_norm shp osm
575	Центр лечебной педагогики и дифференцированного обучения	Образование	4	yes	csv	csv_norm shp osm
576	Центр образования	Образование	180	yes	csv	csv_norm shp osm
577	Центр психолого-педагогической реабилитации и коррекции	Образование	16	yes	csv	csv_norm shp osm
578	Центры повышения квалификации	Образование	3	yes	csv	csv_norm shp osm
579	Центры психолого-медико-социального сопровождения	Образование	25	yes	csv	csv_norm shp osm
580	Школа-интернат для детей-сирот и детей, оставшихся без попечения родителей	Образование	3	yes	csv	csv_norm shp osm
581	Школы надомного обучения	Образование	13	yes	csv	csv_norm shp osm
582	Школы, имеющие в своем составе детские сады (образовательные комплексы)	Образование	132	yes	csv	csv_norm shp osm
583	Школы-интернаты	Образование	6	yes	csv	csv_norm shp osm
584	Школы-интернаты с углубленным изучением отдельных предметов	Образование	4	yes	csv	csv_norm shp osm
585	Эколого-биологическое направление	Образование	4	yes	csv	csv_norm shp osm
586	Объекты розничной торговли и общественного питания, имеющие лицензию на розничную продажу алкогольной продукции с указанием срока ее дейст	Общественное питание	10874	yes	csv	csv_norm shp osm
587	Сезонные кафе при стационарных объектах общественного питания	Общественное питание	1633	yes	csv	csv_norm shp osm
588	Объекты гаражного назначения по программе «Народный гараж»	Объекты общегородских программ	172	yes	csv	csv_norm shp osm
589	Органы ЗАГС Москвы	Органы государственной власти города Москвы	38	yes	csv	csv_norm shp osm
590	Судебные участки мировых судей города Москвы	Органы государственной власти города Москвы	439	yes	csv	csv_norm shp osm
591	Перечень выданных субсидий организациям промышленности, науки и инновационной инфраструктуры города	Реестр справочной информации	52	no	csv	csv_norm
593	Перечень приоритетных продуктов и технологий, используемых в отраслях городского хозяйства	Реестр справочной информации	336	no	csv	csv_norm
594	Городские отделы жилищных субсидий	Социальная сфера	130	yes	csv	csv_norm shp osm
596	Центры социально-трудовой адаптации и профориентации	Социальная сфера	4	yes	csv	csv_norm shp osm
597	Городской центр - Дети улиц	Социальная сфера	32	yes	csv	csv_norm shp osm
598	Детские дома	Социальная сфера	29	yes	csv	csv_norm shp osm
599	Объекты инфраструктуры приспособленные для инвалидов	Социальная сфера	203	yes	csv	csv_norm shp osm
600	Пансионаты для ветеранов	Социальная сфера	14	yes	csv	csv_norm shp osm
601	Психоневрологические интернаты	Социальная сфера	18	yes	csv	csv_norm shp osm
602	Территориальные центры социального обслуживания и филиалы	Социальная сфера	131	yes	csv	csv_norm shp osm
603	Управления социальной защиты населения	Социальная сфера	126	yes	csv	csv_norm shp osm
604	Центр социальной помощи семье и детям	Социальная сфера	37	yes	csv	csv_norm shp osm
605	Центры психологической помощи	Социальная сфера	13	yes	csv	csv_norm shp osm
606	Центры реабилитации	Социальная сфера	16	yes	csv	csv_norm shp osm
607	Объекты ритуального обслуживания	Социальная сфера	137	yes	csv	csv_norm shp osm
608	Отделы трудоустройства	Социальная сфера	52	yes	csv	csv_norm shp osm
609	Специализированные центры труда и занятости населения города Москвы	Социальная сфера	29	yes	csv	csv_norm shp osm
610	Центры занятости населения	Социальная сфера	11	yes	csv	csv_norm shp osm
611	Многофункциональные центры	Социальная сфера	54	yes	csv	csv_norm shp osm
612	Расположение мест приема документов ДЗР	Территориальное планирование	12	yes	csv	csv_norm shp osm
613	Границы зон охраны объектов культурного наследия	Территориальное планирование	456	yes	csv	csv_norm shp osm
614	Границы территорий объектов культурного наследия	Территориальное планирование	1483	yes	csv	csv_norm shp osm
615	Границы административных округов г. Москвы	Территориальное планирование	12	yes	csv	csv_norm shp osm
616	Границы внутригородских муницип обр в г Москве	Территориальное планирование	150	yes	csv	csv_norm shp osm
617	Границы районов города Москвы	Территориальное планирование	129	yes	csv	csv_norm shp osm
618	Границы территорий, по которым утверждены проекты планировок	Территориальное планирование	287	yes	csv	csv_norm shp osm
619	Нестационарные торговые объекты	Торговля	11795	yes	csv	csv_norm shp osm
620	Ярмарки выходного дня	Торговля	136	yes	csv	csv_norm shp osm
621	Парковки такси	Транспорт	226	yes	csv	csv_norm shp osm
622	Перехватывающие парковки	Транспорт	62	yes	csv	csv_norm shp osm
623	Платные парковки на улично-дорожной сети	Транспорт	9	yes	csv	csv_norm shp osm
624	Станции метрополитена	Транспорт	623	yes	csv	csv_norm shp osm
625	Объекты капитального ремонта улично-дорожной сети	Улично-дорожная сеть	379	yes	csv	csv_norm shp osm
626	Горнолыжные склоны Москвы	Физическая культура и спорт	8	yes	csv	csv_norm shp osm
627	Лыжные трассы города Москвы	Физическая культура и спорт	197	yes	csv	csv_norm shp osm
628	Открытые ледовые катки города Москвы	Физическая культура и спорт	123	yes	csv	csv_norm shp osm
629	Спортивные объекты города Москвы	Физическая культура и спорт	2645	yes	csv	csv_norm shp osm
630	Спортивные секции города Москвы	Физическая культура и спорт	1761	yes	csv	csv_norm shp osm
651	Государственные казенные учреждения дирекции ЖКХ и благоустройства административных округов города Москвы	Жилищно-коммунальное хозяйство	16	yes	csv	csv_norm shp osm
652	Инфраструктура поддержки малого и среднего предпринимательства	Объекты общегородских программ	10	yes	csv	csv_norm shp osm
653	Региональные ярмарки	Торговля	39	yes	csv	csv_norm shp osm
654	Розничные рынки	Торговля	58	yes	csv	csv_norm shp osm
655	Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси	Транспорт	25667	no	csv	csv_norm
658	Тарифы на проезд в городском пассажирском транспорте	Транспорт	283	no	csv	csv_norm
671	Продажа билетов на пригородные поезда	Транспорт	45638	no	csv	csv_norm
672	Реестр стационарных объектов наблюдения	Транспорт	601	yes	csv	csv_norm shp osm
673	Точки продажи билетов для проезда на наземном городском пассажирском транспорте	Транспорт	643	yes	csv	csv_norm shp osm
674	Реестр искусственных неровностей	Улично-дорожная сеть	3452	yes	csv	csv_norm shp osm
744	Перечень приютов для бродячих животных (включая приюты префектур АО)	Жилищно-коммунальное хозяйство	17	no	csv	csv_norm
745	Пешеходные тоннели и фонтаны	Жилищно-коммунальное хозяйство	450	no	csv	csv_norm
746	Реестр образовательных учреждений. Дополнительное образование	Образование	36621	no	csv	csv_norm
747	Реестр образовательных учреждений. Общие сведения	Образование	3492	no	csv	csv_norm
749	Специализированные службы по вопросам похоронного дела	Социальная сфера	22	yes	csv	csv_norm shp osm
750	Список аккредитованных социальных магазинов	Торговля	451	yes	csv	csv_norm shp osm
751	Маршруты мобильных комплексов фиксации нарушений	Транспорт	208	yes	csv	csv_norm shp osm
752	Остановки НГПТ	Транспорт	12342	yes	csv	csv_norm shp osm
753	Список АЗС города Москвы, реализующих моторное топливо, соответствующее установленным экологическим требованиям	Экология	82	no	csv	csv_norm
754	Список АЗС города Москвы, реализующих моторное топливо, несоответствующее установленным экологическим требованиям	Экология	7	no	csv	csv_norm
758	Межрегиональные маршруты пассажирских перевозок	Транспорт	722	yes	csv	csv_norm shp osm
759	Нарушения ПДД выявляемые с использованием автоматической системы фотовидеофиксации нарушений ПДД	Транспорт	85	no	csv	csv_norm
760	Согласованные маршруты пассажирских перевозок коммерческими перевозчиками	Транспорт	608	yes	csv	csv_norm shp osm
761	Данные по проверкам Госинспекции по недвижимости с нарушениями за 2012 год	Имущество и земля города Москвы	5042	no	csv	csv_norm
781	Перечень выданных субсидий и льгот субъектам малого и среднего предпринимательства	Реестр справочной информации	551	no	csv	csv_norm
782	Итоги размещения госзаказа в сфере городской информатизации за 2012 год	Реестр справочной информации	363	no	csv	csv_norm
801	График отключения горячей воды	Жилищно-коммунальное хозяйство	50496	no	csv	csv_norm

Использованные скрипты и сопутствующие файлы, процесс обновления

Язык - Python. Все скрипты одним архивом.

По шагам:

1. items.py,datamosru.py - конфиги Scrapy для получения списка наборов данных. Запускаем:

 mkdir datamosscrapy
 cp items.py datamosscrapy/datamosscrapy
 cp datamosru.py datamosscrapy/datamosscrapy/spiders
 cd datamosscrapy
 scrapy crawl datamosru -o list.csv -t csv

• list.csv - список слоёв в формате CSV, создается после выполнения паука Scrapy

2. download.py - Загружаем данные, скрипт использует list.csv как источник кодов для ссылок

 python download.py

3. Архивируем всё для истории

 for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i

и выгружаем на FTP в качестве исходников.

4. field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов

 python field_sanitizer_read.py data\ fields.csv yes yes

• fields.csv - все названия полей данных
• yes - обновлять существующий файл замен имен полей
• yes - использовать транслит для новых полей

5. Вручную редактируем файл fields.csv добавляя замены
6. field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv

 python field_sanitizer_write.py data\ data-norm fields.csv

7. process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует prj.prj.

 python process.py

• prj.prj - файл описания исходной проекции данных

8. table.py - Формируем таблицу в вики-формате (для этой страницы), использует list.csv

 python table.py > table.wiki