Нормализованные данные с портала открытых данных Москвы

Эта страница опубликована в основном списке статей сайта
по адресу http://gis-lab.info/qa/data-mos.html

Описание данных и копия данных в более удобном для ГИС формате

Источник данных: Портал открытых данных г. Москва http://data.mos.ru

Об исходных данных

Системы координат данных:

• EPSG: 4326 (latlon/WGS84)
• EPSG: 3857 (Web Mercator/WGS84)
• Местная московская система координат (ПМСК 1, 2)

Формат данных: CSV
Кодировка: UTF-8
Формат хранения геометрий: WKT или пара полей с координатами.

Лицензия данных разрешает любое использование (включая коммерческое) при условии наличия ссылки на первоисточник.

Условия использования набора данных не предполагают ограничений использования набора данных в некоммерческих и коммерческих целях.

Лицензия не указывает явным образом согласие с CT OpenStreetMap.

Сомнительные места организации исходных данных

Уровень проблемности этих пунктов разный. Некоторые из них не позволят даже начать работу с данными, многие улучшили бы данные, но не помешают их использовать специалисту. Пометка "-> исправлено" означает, что данная проблема исправлена в производной версии данных представленной в этом описании ниже.

1. Служебная информация в названиях полей -> исправлено
2. Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено
3. Исходные данные в системе координат: ПМСК (местная система координат г. Москвы) (ужасная СК для распространения векторных данных) -> исправлено
4. Смешивание данных в разных системах координат в одних и тех же столбцах в одном наборе данных -> исправлено
5. Непоследовательное применение WKT представлений координат, то используется, то не используется.
6. Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено
7. Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено
8. Названия полей содержат спецсимволы (например "№", "/", "," - проблемы с конвертацией) -> исправлено
9. Одни и те же названия полей то в кавычках, то без (просто некрасиво) -> исправлено
10. Одни и те же названия полей то с пробелами, то с "_" вместо пробелов (просто некрасиво) -> исправлено
11. Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено
12. Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено
13. Отсутствуют вспомогательные файлы описания системы координат данных -> исправлено
14. Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено
15. Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено
16. Многочисленные неоправданные последовательности символов "пробел" в атрибутике -> исправлено
17. Пустые поля. ";" в конце заголовка и ";" в конце каждой записи (пример: 619), иногда нерегулярно встречается "; " -> исправлено

О преобразованных данных

Все данные - в UTF-8, геометрии - в EPSG:4326. Дополнительно 2 поля: LAT, LON содержащие координаты исходно хранящиеся в 3 разных системах (см. выше), приведенные в эту систему координат в преобразованных данных.

В таблице в поле Источник и Данные данные для скачивания:

• csv - исходные данные 'как есть' на data.mos.ru.
• csv-norm - данные в формате CSV, с нормализованными названиями полей, *.csvt, *.prj, *.vrt файлами.
• shp - данные в формате ESRI Shape (максимальная длина строк 255 символов).
• osm - данные в формате OSM XML, без обрезки атрибутики.

Полный перечень названий полей и их замен для нормализованых данных.

TODO

• *.csvt файлы пока рассматривают все поля как тип String(255). Нужно пройтись по всем полям и выяснить их тип, добавив его в fields.csv
• создать *.qml
• сконвертировать все в GeoJSON
• обновлять только обновившееся, дату можно взять из метаданных, (но вдруг нас обманут? :) либо побайтово сравнивать с пред.версией CSV

Актуальность производных данных и архив

Текущая версия данных расположенная здесь: 22 мая 2013.

Чтобы посмотреть архивную версию данных, возьмите ссылку из таблице ниже и добавьте дату в формате YYYYMMDD. Например:
Актуальная версия:

 http://gis-lab.info/data/mos.ru/493_shp.7z

Архивная:

 http://gis-lab.info/data/mos.ru/20130213/493_shp.7z

Доступны архивы за следующие числа:
20130213,20130222,20130503,20130522

Вы можете также воспользоваться специальным сервисом, который следит за обновлениями исходных данных на data.mos.ru и архивирует все версии. Пока этот сервис не занимается нормализацией данных. Планируется объединить эти два сервиса.

Нормализованные данные

Код	Описание набора	Категория	Объектов	Геоданные	Оригинал	Данные
	Все данные одним архивом	Все		yes	csv (6 Mb)	csv_norm (5 Mb) shp (7 Mb) osm (4 Mb)
493	Дома культуры и клубы	Досуг и отдых	281	yes	csv	csv_norm shp osm
494	Парки (включая парки не подведомственные)	Досуг и отдых	80	yes	csv	csv_norm shp osm
495	Кинотеатры	Досуг и отдых	235	yes	csv	csv_norm shp osm
496	Молодежные центры	Досуг и отдых	17	yes	csv	csv_norm shp osm
497	Учреждения семейной и молодежной политики	Досуг и отдых	5	yes	csv	csv_norm shp osm
498	Аттракционная техника с механическим приводом, установленная в скверах и парках	Досуг и отдых	430	yes	csv	csv_norm shp osm
499	Государственные учреждения, подведомственные Департаменту жилищно-коммунального хозяйства и благоустройства города Москвы	Жилищно-коммунальное хозяйство	27	yes	csv	csv_norm shp osm
500	Районные инженерные службы	Жилищно-коммунальное хозяйство	125	yes	csv	csv_norm shp osm
501	Аптеки	Здравоохранение	4185	yes	csv	csv_norm shp osm
502	Больницы города Москвы	Здравоохранение	100	yes	csv	csv_norm shp osm
503	Городские поликлиники	Здравоохранение	273	yes	csv	csv_norm shp osm
504	Госпитали всех наименований, учредителем которых является город Москва	Здравоохранение	4	yes	csv	csv_norm shp osm
505	Детские поликлиники	Здравоохранение	172	yes	csv	csv_norm shp osm
506	Детские стоматологические поликлиники	Здравоохранение	25	yes	csv	csv_norm shp osm
507	Диспансеры	Здравоохранение	54	yes	csv	csv_norm shp osm
508	Дома ребенка, в том числе специалзированные	Здравоохранение	19	yes	csv	csv_norm shp osm
509	Женские консультации	Здравоохранение	14	yes	csv	csv_norm shp osm
510	Здравоохранение. Санатории	Здравоохранение	48	yes	csv	csv_norm shp osm
511	Консультативно диагностические центры	Здравоохранение	19	yes	csv	csv_norm shp osm
512	Молочные кухни	Здравоохранение	181	yes	csv	csv_norm shp osm
513	Научно-практические медицинские центры, учредителем которых является город Москва	Здравоохранение	66	yes	csv	csv_norm shp osm
514	Родильные дома г. Москвы	Здравоохранение	19	yes	csv	csv_norm shp osm
515	Станции переливания крови	Здравоохранение	1	yes	csv	csv_norm shp osm
516	Станции скорой и неотложной медицинской помощи	Здравоохранение	1	yes	csv	csv_norm shp osm
517	Стационары	Здравоохранение	50	yes	csv	csv_norm shp osm
518	Стоматологические поликлиники	Здравоохранение	39	yes	csv	csv_norm shp osm
519	Хосписы	Здравоохранение	8	yes	csv	csv_norm shp osm
520	Паспортизация квартир в домах-новостройках, строительство которых выполнено за счет городского бюджета и по инвестиционным проектам	Имущество и земля города Москвы	1048	yes	csv	csv_norm shp osm
521	Земельные участки, находящиеся в собственности г. Москвы	Имущество и земля города Москвы	1000	no	csv	csv_norm
522	Рейтинг топ-100 должников арендной платы	Имущество и земля города Москвы	100	no	csv	csv_norm
523	Нежилые помещения, зарегистрированные в собственность г. Москвы	Имущество и земля города Москвы	37849	yes	csv	csv_norm shp osm
524	Ремонтируемые объекты жилищного фонда	Имущество и земля города Москвы	1050	no	csv	csv_norm
525	Ремонтируемые объекты нежилого фонда	Имущество и земля города Москвы	41	yes	csv	csv_norm shp osm
526	Библиотеки	Культура	525	yes	csv	csv_norm shp osm
527	Выставочные залы	Культура	26	yes	csv	csv_norm shp osm
528	Концертные организации	Культура	87	yes	csv	csv_norm shp osm
529	Музеи	Культура	329	yes	csv	csv_norm shp osm
530	Объекты культурного наследия и Выявленные объекты культурного наследия	Культура	6104	yes	csv	csv_norm shp osm
531	Театры	Культура	239	yes	csv	csv_norm shp osm
532	Детские музыкальные школы	Образование	108	yes	csv	csv_norm shp osm
533	Детские художественные школы	Образование	19	yes	csv	csv_norm shp osm
534	Детские школы искусств	Образование	49	yes	csv	csv_norm shp osm
535	Вечерние школы	Образование	7	yes	csv	csv_norm shp osm
536	Военно-патриотическое направление	Образование	9	yes	csv	csv_norm shp osm
537	Учреждения высшего профессионального образования	Образование	10	yes	csv	csv_norm shp osm
538	Гимназия	Образование	84	yes	csv	csv_norm shp osm
539	Детские сады в составе школ (образовательные комплексы)	Образование	132	yes	csv	csv_norm shp osm
540	Детские сады	Образование	1155	yes	csv	csv_norm shp osm
541	Детский сад комбинированного вида	Образование	405	yes	csv	csv_norm shp osm
542	Детский сад компенсирующего вида	Образование	190	yes	csv	csv_norm shp osm
543	Естественнонаучное направление	Образование	6	yes	csv	csv_norm shp osm
544	Кадетские школы	Образование	8	yes	csv	csv_norm shp osm
545	Кадетские школы-интернаты	Образование	11	yes	csv	csv_norm shp osm
546	Колледжи	Образование	107	yes	csv	csv_norm shp osm
547	Коррекционная начальная школа-детский сад	Образование	5	yes	csv	csv_norm shp osm
548	Коррекционная общеобразовательная школа	Образование	25	yes	csv	csv_norm shp osm
549	Коррекционная общеобразовательная школа-интернат	Образование	29	yes	csv	csv_norm shp osm
550	Коррекционная школа-интернат для детей-сирот и детей, оставшихся без попечения родителей	Образование	4	yes	csv	csv_norm shp osm
551	Культурологическое направление	Образование	60	yes	csv	csv_norm shp osm
552	Лицей	Образование	40	yes	csv	csv_norm shp osm
553	Научно-техническое направление	Образование	10	yes	csv	csv_norm shp osm
554	Начальная школа - десткий сад компенсирующего вида	Образование	14	yes	csv	csv_norm shp osm
555	Начальная школа - детский сад	Образование	13	yes	csv	csv_norm shp osm
556	Образовательные учреждения города Москвы, реализующие программы среднего профессионального образования. Техникумы	Образование	9	yes	csv	csv_norm shp osm
557	Прогимназия	Образование	24	yes	csv	csv_norm shp osm
559	Санаторная школа-интернат	Образование	5	yes	csv	csv_norm shp osm
560	Санаторно-лесная школа	Образование	5	yes	csv	csv_norm shp osm
561	Социально-педагогическое направление	Образование	41	yes	csv	csv_norm shp osm
562	Социально-экономическое направление	Образование	2	yes	csv	csv_norm shp osm
563	Специальная общеобразовательная школа для детей и подростков с девиантным поведением	Образование	7	yes	csv	csv_norm shp osm
564	Спортивно-техническое направление	Образование	2	yes	csv	csv_norm shp osm
565	Средняя образовательная школа	Образование	786	yes	csv	csv_norm shp osm
566	Средняя образовательная школа "Школа Здоровья"	Образование	59	yes	csv	csv_norm shp osm
567	Средняя образовательная школа с углубленным изучением отдельных предметов	Образование	169	yes	csv	csv_norm shp osm
568	Средняя общеобразовательная школа с этнокультурным (национальным) компонентом образования	Образование	22	yes	csv	csv_norm shp osm
569	Туристко-краеведческое направление	Образование	9	yes	csv	csv_norm shp osm
570	Учебно-производственные комбинаты	Образование	3	yes	csv	csv_norm shp osm
571	Учреждения для детей-сирот и детей, оставшихся без попечения родителей	Образование	29	yes	csv	csv_norm shp osm
572	Физкультурно-спортивное направление	Образование	14	yes	csv	csv_norm shp osm
573	Художественно-эстетическое направление	Образование	74	yes	csv	csv_norm shp osm
574	Центр диагностики и консультирования	Образование	6	yes	csv	csv_norm shp osm
575	Центр лечебной педагогики и дифференцированного обучения	Образование	4	yes	csv	csv_norm shp osm
576	Центр образования	Образование	180	yes	csv	csv_norm shp osm
577	Центр психолого-педагогической реабилитации и коррекции	Образование	16	yes	csv	csv_norm shp osm
578	Центры повышения квалификации	Образование	3	yes	csv	csv_norm shp osm
579	Центры психолого-медико-социального сопровождения	Образование	25	yes	csv	csv_norm shp osm
580	Школа-интернат для детей-сирот и детей, оставшихся без попечения родителей	Образование	3	yes	csv	csv_norm shp osm
581	Школы надомного обучения	Образование	13	yes	csv	csv_norm shp osm
582	Школы, имеющие в своем составе детские сады (образовательные комплексы)	Образование	132	yes	csv	csv_norm shp osm
583	Школы-интернаты	Образование	6	yes	csv	csv_norm shp osm
584	Школы-интернаты с углубленным изучением отдельных предметов	Образование	4	yes	csv	csv_norm shp osm
585	Эколого-биологическое направление	Образование	4	yes	csv	csv_norm shp osm
586	Объекты розничной торговли и общественного питания, имеющие лицензию на розничную продажу алкогольной продукции с указанием срока ее дейст	Общественное питание	10874	yes	csv	csv_norm shp osm
587	Сезонные кафе при стационарных объектах общественного питания	Общественное питание	1633	yes	csv	csv_norm shp osm
588	Объекты гаражного назначения по программе «Народный гараж»	Объекты общегородских программ	172	yes	csv	csv_norm shp osm
589	Органы ЗАГС Москвы	Органы государственной власти города Москвы	38	yes	csv	csv_norm shp osm
590	Судебные участки мировых судей города Москвы	Органы государственной власти города Москвы	439	yes	csv	csv_norm shp osm
591	Перечень выданных субсидий организациям промышленности, науки и инновационной инфраструктуры города	Реестр справочной информации	52	no	csv	csv_norm
593	Перечень приоритетных продуктов и технологий, используемых в отраслях городского хозяйства	Реестр справочной информации	336	no	csv	csv_norm
594	Городские отделы жилищных субсидий	Социальная сфера	130	yes	csv	csv_norm shp osm
596	Центры социально-трудовой адаптации и профориентации	Социальная сфера	4	yes	csv	csv_norm shp osm
597	Городской центр - Дети улиц	Социальная сфера	32	yes	csv	csv_norm shp osm
598	Детские дома	Социальная сфера	29	yes	csv	csv_norm shp osm
599	Объекты инфраструктуры приспособленные для инвалидов	Социальная сфера	203	yes	csv	csv_norm shp osm
600	Пансионаты для ветеранов	Социальная сфера	14	yes	csv	csv_norm shp osm
601	Психоневрологические интернаты	Социальная сфера	18	yes	csv	csv_norm shp osm
602	Территориальные центры социального обслуживания и филиалы	Социальная сфера	131	yes	csv	csv_norm shp osm
603	Управления социальной защиты населения	Социальная сфера	126	yes	csv	csv_norm shp osm
604	Центр социальной помощи семье и детям	Социальная сфера	37	yes	csv	csv_norm shp osm
605	Центры психологической помощи	Социальная сфера	13	yes	csv	csv_norm shp osm
606	Центры реабилитации	Социальная сфера	16	yes	csv	csv_norm shp osm
607	Объекты ритуального обслуживания	Социальная сфера	137	yes	csv	csv_norm shp osm
608	Отделы трудоустройства	Социальная сфера	52	yes	csv	csv_norm shp osm
609	Специализированные центры труда и занятости населения города Москвы	Социальная сфера	29	yes	csv	csv_norm shp osm
610	Центры занятости населения	Социальная сфера	11	yes	csv	csv_norm shp osm
611	Многофункциональные центры	Социальная сфера	54	yes	csv	csv_norm shp osm
612	Расположение мест приема документов ДЗР	Территориальное планирование	12	yes	csv	csv_norm shp osm
613	Границы зон охраны объектов культурного наследия	Территориальное планирование	456	yes	csv	csv_norm shp osm
614	Границы территорий объектов культурного наследия	Территориальное планирование	1483	yes	csv	csv_norm shp osm
615	Границы административных округов г. Москвы	Территориальное планирование	12	yes	csv	csv_norm shp osm
616	Границы внутригородских муницип обр в г Москве	Территориальное планирование	150	yes	csv	csv_norm shp osm
617	Границы районов города Москвы	Территориальное планирование	129	yes	csv	csv_norm shp osm
618	Границы территорий, по которым утверждены проекты планировок	Территориальное планирование	287	yes	csv	csv_norm shp osm
619	Нестационарные торговые объекты	Торговля	11795	yes	csv	csv_norm shp osm
620	Ярмарки выходного дня	Торговля	136	yes	csv	csv_norm shp osm
621	Парковки такси	Транспорт	226	yes	csv	csv_norm shp osm
622	Перехватывающие парковки	Транспорт	62	yes	csv	csv_norm shp osm
623	Платные парковки на улично-дорожной сети	Транспорт	9	yes	csv	csv_norm shp osm
624	Станции метрополитена	Транспорт	623	yes	csv	csv_norm shp osm
625	Объекты капитального ремонта улично-дорожной сети	Улично-дорожная сеть	379	yes	csv	csv_norm shp osm
626	Горнолыжные склоны Москвы	Физическая культура и спорт	8	yes	csv	csv_norm shp osm
627	Лыжные трассы города Москвы	Физическая культура и спорт	197	yes	csv	csv_norm shp osm
628	Открытые ледовые катки города Москвы	Физическая культура и спорт	123	yes	csv	csv_norm shp osm
629	Спортивные объекты города Москвы	Физическая культура и спорт	2645	yes	csv	csv_norm shp osm
630	Спортивные секции города Москвы	Физическая культура и спорт	1761	yes	csv	csv_norm shp osm
651	Государственные казенные учреждения дирекции ЖКХ и благоустройства административных округов города Москвы	Жилищно-коммунальное хозяйство	16	yes	csv	csv_norm shp osm
652	Инфраструктура поддержки малого и среднего предпринимательства	Объекты общегородских программ	10	yes	csv	csv_norm shp osm
653	Региональные ярмарки	Торговля	39	yes	csv	csv_norm shp osm
654	Розничные рынки	Торговля	58	yes	csv	csv_norm shp osm
655	Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси	Транспорт	25667	no	csv	csv_norm
658	Тарифы на проезд в городском пассажирском транспорте	Транспорт	283	no	csv	csv_norm
671	Продажа билетов на пригородные поезда	Транспорт	45638	no	csv	csv_norm
672	Реестр стационарных объектов наблюдения	Транспорт	601	yes	csv	csv_norm shp osm
673	Точки продажи билетов для проезда на наземном городском пассажирском транспорте	Транспорт	643	yes	csv	csv_norm shp osm
674	Реестр искусственных неровностей	Улично-дорожная сеть	3452	yes	csv	csv_norm shp osm
744	Перечень приютов для бродячих животных (включая приюты префектур АО)	Жилищно-коммунальное хозяйство	17	no	csv	csv_norm
745	Пешеходные тоннели и фонтаны	Жилищно-коммунальное хозяйство	450	no	csv	csv_norm
746	Реестр образовательных учреждений. Дополнительное образование	Образование	36621	no	csv	csv_norm
747	Реестр образовательных учреждений. Общие сведения	Образование	3492	no	csv	csv_norm
749	Специализированные службы по вопросам похоронного дела	Социальная сфера	22	yes	csv	csv_norm shp osm
750	Список аккредитованных социальных магазинов	Торговля	451	yes	csv	csv_norm shp osm
751	Маршруты мобильных комплексов фиксации нарушений	Транспорт	208	yes	csv	csv_norm shp osm
752	Остановки НГПТ	Транспорт	12342	yes	csv	csv_norm shp osm
753	Список АЗС города Москвы, реализующих моторное топливо, соответствующее установленным экологическим требованиям	Экология	82	no	csv	csv_norm
754	Список АЗС города Москвы, реализующих моторное топливо, несоответствующее установленным экологическим требованиям	Экология	7	no	csv	csv_norm
758	Межрегиональные маршруты пассажирских перевозок	Транспорт	722	yes	csv	csv_norm shp osm
759	Нарушения ПДД выявляемые с использованием автоматической системы фотовидеофиксации нарушений ПДД	Транспорт	85	no	csv	csv_norm
760	Согласованные маршруты пассажирских перевозок коммерческими перевозчиками	Транспорт	608	yes	csv	csv_norm shp osm
761	Данные по проверкам Госинспекции по недвижимости с нарушениями за 2012 год	Имущество и земля города Москвы	5042	no	csv	csv_norm
781	Перечень выданных субсидий и льгот субъектам малого и среднего предпринимательства	Реестр справочной информации	551	no	csv	csv_norm
782	Итоги размещения госзаказа в сфере городской информатизации за 2012 год	Реестр справочной информации	363	no	csv	csv_norm
801	График отключения горячей воды	Жилищно-коммунальное хозяйство	50496	no	csv	csv_norm

Использованные скрипты и сопутствующие файлы, процесс обновления

Язык - Python. Все скрипты можно взять на Github.

По шагам:

1. items.py,datamosru.py - конфиги Scrapy для получения списка наборов данных. Запускаем:

 mkdir datamosscrapy
 cp items.py datamosscrapy/datamosscrapy
 cp datamosru.py datamosscrapy/datamosscrapy/spiders
 cd datamosscrapy
 scrapy crawl datamosru -o list.csv -t csv

• list.csv - список слоёв в формате CSV, создается после выполнения паука Scrapy

2. batch_download.py - Загружаем данные, скрипт использует list.csv как источник кодов для ссылок

 python download.py

3. Архивируем всё для истории

 for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i

и выгружаем на FTP в качестве исходников.

4. batch_field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов

 python batch_field_sanitizer_read.py data\ fields.csv yes yes

• fields.csv - все названия полей данных
• yes - обновлять существующий файл замен имен полей
• yes - использовать транслит для новых полей

5. Вручную редактируем файл fields.csv добавляя замены
6. batch_field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv

 python batch_field_sanitizer_write.py data\ data-norm fields.csv

7. batch_process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует prj.prj.

 python batch_process.py

• wgs84.prj - файл описания исходной проекции данных

8. batch_table.py - Формируем таблицу в вики-формате (для этой страницы), использует _general.csv

 python batch_table.py > table.wiki