Нормализованные данные с портала открытых данных Москвы

Эта страница опубликована в основном списке статей сайта
по адресу http://gis-lab.info/qa/data-mos.html

Описание данных и копия данных в более удобном для ГИС формате

Источник данных: Портал открытых данных г. Москва http://data.mos.ru

Об исходных данных

Системы координат данных:

• EPSG: 4326 (latlon/WGS84)
• EPSG: 3857 (Web Mercator/WGS84)
• Местная московская система координат (ПМСК 1, 2)

Формат данных: CSV
Кодировка: UTF-8
Формат хранения геометрий: WKT или пара полей с координатами.

Лицензия данных разрешает любое использование (включая коммерческое) при условии наличия ссылки на первоисточник.

Условия использования набора данных не предполагают ограничений использования набора данных в некоммерческих и коммерческих целях.

Лицензия не указывает явным образом согласие с CT OpenStreetMap.

Сомнительные места организации исходных данных

Уровень проблемности этих пунктов разный. Некоторые из них не позволят даже начать работу с данными, многие улучшили бы данные, но не помешают их использовать специалисту. Пометка "-> исправлено" означает, что данная проблема исправлена в производной версии данных представленной в этом описании ниже.

1. Служебная информация в названиях полей -> исправлено
2. Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено
3. Исходные данные в системе координат: ПМСК (местная система координат г. Москвы) (ужасная СК для распространения векторных данных) -> исправлено
4. Смешивание данных в разных системах координат в одних и тех же столбцах в одном наборе данных -> исправлено
5. Непоследовательное применение WKT представлений координат, то используется, то не используется.
6. Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено
7. Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено
8. Названия полей содержат спецсимволы (например "№", "/", "," - проблемы с конвертацией) -> исправлено
9. Одни и те же названия полей то в кавычках, то без (просто некрасиво) -> исправлено
10. Одни и те же названия полей то с пробелами, то с "_" вместо пробелов (просто некрасиво) -> исправлено
11. Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено
12. Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено
13. Отсутствуют вспомогательные файлы описания системы координат данных -> исправлено
14. Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено
15. Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено
16. Многочисленные неоправданные последовательности символов "пробел" в атрибутике -> исправлено
17. Пустые поля. ";" в конце заголовка и ";" в конце каждой записи (пример: 619), иногда нерегулярно встречается "; " -> исправлено
18. На данный момент (20130609) многие наборы данных, ранее имевшие геопривязку, ее потеряли - используйте архивные версии.
19. Неоправданные разрывы строк в записях (например: 493.csv от 20130611, форум) -> исправлено

TODO

• *.csvt файлы пока рассматривают все поля как тип String(255). Нужно пройтись по всем полям и выяснить их тип, добавив его в fields.csv
• создать *.qml
• сконвертировать все в GeoJSON
• обновлять только обновившееся, дату можно взять из метаданных, (но вдруг нас обманут? :) либо побайтово сравнивать с пред.версией CSV

Актуальность производных данных и архив

Текущая версия данных расположенная здесь: 22 мая 2013.

Чтобы посмотреть архивную версию данных, возьмите ссылку из таблице ниже и добавьте дату в формате YYYYMMDD. Например:
Актуальная версия:

 http://gis-lab.info/data/mos.ru/493_shp.7z

Архивная:

 http://gis-lab.info/data/mos.ru/20130213/493_shp.7z

Доступны архивы за следующие числа:
20130213,20130222,20130503,20130522,20130611

Вы можете также воспользоваться специальным сервисом, который следит за обновлениями исходных данных на data.mos.ru и архивирует все версии. Пока этот сервис не занимается нормализацией данных. Планируется объединить эти два сервиса.

Что делать если в свежей версии поломаны данные?

ДИТ периодически "ломает" выкладываемые данные (см. перечень проблем выше). Возможно данные или геоданные не поломаны в архивной версии. Соответственно, чтобы восстановить данные, нужно взять их предыдущую версию. Для этого нужно:

1. Выбрать одну из архивных версий выше, например 20130222.
2. Определить старый номер набора данных (да, у ДИТа нестабильные номера наборов данных), посмотрев в файл _list.csv лежащий в папке архива. Если такого файла не, то нужно посмотреть список наборов по этой ссылке.
3. Определить старый номер этого набора (если он изменился) и скачать соответствующий набор из папки архива.

Нормализованные данные

О нормализованных данных

Все данные - в UTF-8, геометрии - в EPSG:4326. Дополнительно 2 поля: LAT, LON содержащие координаты исходно хранящиеся в 3 разных системах (см. выше), приведенные в эту систему координат в преобразованных данных.

В таблице в поле Источник и Данные данные для скачивания:

• csv - исходные данные 'как есть' на data.mos.ru.
• csv-norm - данные в формате CSV, с нормализованными названиями полей, *.csvt, *.prj, *.vrt файлами.
• shp - данные в формате ESRI Shape (максимальная длина строк 255 символов).
• osm - данные в формате OSM XML, без обрезки атрибутики.

Полный перечень названий полей и их замен для нормализованых данных.

Скачать данные

Код	Описание набора	Категория	Объектов	Геоданные	Оригинал	Данные
493	Дома культуры и клубы	Досуг и отдых	279	yes	csv	csv_norm shp osm
494	Парки (включая парки не подведомственные)	Досуг и отдых	80	yes	csv	csv_norm shp osm
495	Кинотеатры	Досуг и отдых	204	yes	csv	csv_norm shp osm
496	Молодежные центры	Досуг и отдых	15	yes	csv	csv_norm shp osm
497	Учреждения семейной и молодежной политики	Досуг и отдых	5	yes	csv	csv_norm shp osm
498	Аттракционная техника с механическим приводом, установленная в скверах и парках	Досуг и отдых	355	yes	csv	csv_norm shp osm
499	Государственные учреждения, подведомственные Департаменту жилищно-коммунального хозяйства и благоустройства города Москвы	Жилищно-коммунальное хозяйство	27	yes	csv	csv_norm shp osm
500	Районные инженерные службы	Жилищно-коммунальное хозяйство	119	yes	csv	csv_norm shp osm
501	Аптеки	Здравоохранение	4123	yes	csv	csv_norm shp osm
502	Больницы города Москвы	Здравоохранение	100	yes	csv	csv_norm shp osm
503	Городские поликлиники	Здравоохранение	265	yes	csv	csv_norm shp osm
504	Госпитали всех наименований, учредителем которых является город Москва	Здравоохранение	4	yes	csv	csv_norm shp osm
505	Детские поликлиники	Здравоохранение	172	yes	csv	csv_norm shp osm
506	Детские стоматологические поликлиники	Здравоохранение	25	yes	csv	csv_norm shp osm
507	Диспансеры	Здравоохранение	54	yes	csv	csv_norm shp osm
508	Дома ребенка, в том числе специалзированные	Здравоохранение	19	yes	csv	csv_norm shp osm
509	Женские консультации	Здравоохранение	13	yes	csv	csv_norm shp osm
510	Здравоохранение. Санатории	Здравоохранение	42	yes	csv	csv_norm shp osm
511	Консультативно диагностические центры	Здравоохранение	19	yes	csv	csv_norm shp osm
512	Молочные кухни	Здравоохранение	181	yes	csv	csv_norm shp osm
513	Научно-практические медицинские центры, учредителем которых является город Москва	Здравоохранение	66	yes	csv	csv_norm shp osm
514	Родильные дома г. Москвы	Здравоохранение	19	yes	csv	csv_norm shp osm
515	Станции переливания крови	Здравоохранение	1	yes	csv	csv_norm shp osm
516	Станции скорой и неотложной медицинской помощи	Здравоохранение	1	yes	csv	csv_norm shp osm
517	Стационары	Здравоохранение	50	yes	csv	csv_norm shp osm
518	Стоматологические поликлиники	Здравоохранение	39	yes	csv	csv_norm shp osm
519	Хосписы	Здравоохранение	8	yes	csv	csv_norm shp osm
520	Паспортизация квартир в домах-новостройках, строительство которых выполнено за счет городского бюджета и по инвестиционным проектам	Имущество и земля города Москвы	1048	yes	csv	csv_norm shp osm
521	Земельные участки, находящиеся в собственности г. Москвы	Имущество и земля города Москвы	1000	no	csv	csv_norm
522	Рейтинг топ-100 должников арендной платы	Имущество и земля города Москвы	100	no	csv	csv_norm
523	Нежилые помещения, зарегистрированные в собственность г. Москвы	Имущество и земля города Москвы	37849	yes	csv	csv_norm shp osm
524	Ремонтируемые объекты жилищного фонда	Имущество и земля города Москвы	1050	no	csv	csv_norm
525	Ремонтируемые объекты нежилого фонда	Имущество и земля города Москвы	41	yes	csv	csv_norm shp osm
526	Библиотеки	Культура	524	yes	csv	csv_norm shp osm
527	Выставочные залы	Культура	26	yes	csv	csv_norm shp osm
528	Концертные организации	Культура	87	yes	csv	csv_norm shp osm
529	Музеи	Культура	288	yes	csv	csv_norm shp osm
530	Объекты культурного наследия и Выявленные объекты культурного наследия	Культура	6104	yes	csv	csv_norm shp osm
531	Театры	Культура	237	yes	csv	csv_norm shp osm
532	Детские музыкальные школы	Образование	107	yes	csv	csv_norm shp osm
533	Детские художественные школы	Образование	19	yes	csv	csv_norm shp osm
534	Детские школы искусств	Образование	47	yes	csv	csv_norm shp osm
535	Вечерние школы	Образование	7	yes	csv	csv_norm shp osm
536	Военно-патриотическое направление	Образование	9	yes	csv	csv_norm shp osm
537	Учреждения высшего профессионального образования	Образование	10	yes	csv	csv_norm shp osm
538	Гимназия	Образование	84	yes	csv	csv_norm shp osm
539	Детские сады в составе школ (образовательные комплексы)	Образование	132	yes	csv	csv_norm shp osm
540	Детские сады	Образование	1155	yes	csv	csv_norm shp osm
541	Детский сад комбинированного вида	Образование	405	yes	csv	csv_norm shp osm
542	Детский сад компенсирующего вида	Образование	190	yes	csv	csv_norm shp osm
543	Естественнонаучное направление	Образование	6	yes	csv	csv_norm shp osm
544	Кадетские школы	Образование	8	yes	csv	csv_norm shp osm
545	Кадетские школы-интернаты	Образование	11	yes	csv	csv_norm shp osm
546	Колледжи	Образование	107	yes	csv	csv_norm shp osm
547	Коррекционная начальная школа-детский сад	Образование	5	yes	csv	csv_norm shp osm
548	Коррекционная общеобразовательная школа	Образование	25	yes	csv	csv_norm shp osm
549	Коррекционная общеобразовательная школа-интернат	Образование	29	yes	csv	csv_norm shp osm
550	Коррекционная школа-интернат для детей-сирот и детей, оставшихся без попечения родителей	Образование	4	yes	csv	csv_norm shp osm
551	Культурологическое направление	Образование	60	yes	csv	csv_norm shp osm
552	Лицей	Образование	40	yes	csv	csv_norm shp osm
553	Научно-техническое направление	Образование	10	yes	csv	csv_norm shp osm
554	Начальная школа - десткий сад компенсирующего вида	Образование	14	yes	csv	csv_norm shp osm
555	Начальная школа - детский сад	Образование	13	yes	csv	csv_norm shp osm
556	Образовательные учреждения города Москвы, реализующие программы среднего профессионального образования. Техникумы	Образование	9	yes	csv	csv_norm shp osm
557	Прогимназия	Образование	24	yes	csv	csv_norm shp osm
559	Санаторная школа-интернат	Образование	5	yes	csv	csv_norm shp osm
560	Санаторно-лесная школа	Образование	5	yes	csv	csv_norm shp osm
561	Социально-педагогическое направление	Образование	41	yes	csv	csv_norm shp osm
562	Социально-экономическое направление	Образование	2	yes	csv	csv_norm shp osm
563	Специальная общеобразовательная школа для детей и подростков с девиантным поведением	Образование	7	yes	csv	csv_norm shp osm
564	Спортивно-техническое направление	Образование	2	yes	csv	csv_norm shp osm
565	Средняя образовательная школа	Образование	786	yes	csv	csv_norm shp osm
566	Средняя образовательная школа "Школа Здоровья"	Образование	59	yes	csv	csv_norm shp osm
567	Средняя образовательная школа с углубленным изучением отдельных предметов	Образование	169	yes	csv	csv_norm shp osm
568	Средняя общеобразовательная школа с этнокультурным (национальным) компонентом образования	Образование	22	yes	csv	csv_norm shp osm
569	Туристко-краеведческое направление	Образование	9	yes	csv	csv_norm shp osm
570	Учебно-производственные комбинаты	Образование	3	yes	csv	csv_norm shp osm
571	Учреждения для детей-сирот и детей, оставшихся без попечения родителей	Образование	29	yes	csv	csv_norm shp osm
572	Физкультурно-спортивное направление	Образование	14	yes	csv	csv_norm shp osm
573	Художественно-эстетическое направление	Образование	74	yes	csv	csv_norm shp osm
574	Центр диагностики и консультирования	Образование	6	yes	csv	csv_norm shp osm
575	Центр лечебной педагогики и дифференцированного обучения	Образование	4	yes	csv	csv_norm shp osm
576	Центр образования	Образование	180	yes	csv	csv_norm shp osm
577	Центр психолого-педагогической реабилитации и коррекции	Образование	16	yes	csv	csv_norm shp osm
578	Центры повышения квалификации	Образование	3	yes	csv	csv_norm shp osm
579	Центры психолого-медико-социального сопровождения	Образование	25	yes	csv	csv_norm shp osm
580	Школа-интернат для детей-сирот и детей, оставшихся без попечения родителей	Образование	3	yes	csv	csv_norm shp osm
581	Школы надомного обучения	Образование	13	yes	csv	csv_norm shp osm
582	Школы, имеющие в своем составе детские сады (образовательные комплексы)	Образование	132	yes	csv	csv_norm shp osm
583	Школы-интернаты	Образование	6	yes	csv	csv_norm shp osm
584	Школы-интернаты с углубленным изучением отдельных предметов	Образование	4	yes	csv	csv_norm shp osm
585	Эколого-биологическое направление	Образование	4	yes	csv	csv_norm shp osm
586	Объекты розничной торговли и общественного питания, имеющие лицензию на розничную продажу алкогольной продукции с указанием срока ее дейст	Общественное питание	10874	yes	csv	csv_norm shp osm
587	Сезонные кафе при стационарных объектах общественного питания	Общественное питание	1633	yes	csv	csv_norm shp osm
588	Объекты гаражного назначения по программе «Народный гараж»	Объекты общегородских программ	172	yes	csv	csv_norm shp osm
589	Органы ЗАГС Москвы	Органы государственной власти города Москвы	38	yes	csv	csv_norm shp osm
590	Судебные участки мировых судей города Москвы	Органы государственной власти города Москвы	438	yes	csv	csv_norm shp osm
591	Перечень выданных субсидий организациям промышленности, науки и инновационной инфраструктуры города	Реестр справочной информации	52	no	csv	csv_norm
593	Перечень приоритетных продуктов и технологий, используемых в отраслях городского хозяйства	Реестр справочной информации	336	no	csv	csv_norm
594	Городские отделы жилищных субсидий	Социальная сфера	130	yes	csv	csv_norm shp osm
596	Центры социально-трудовой адаптации и профориентации	Социальная сфера	4	yes	csv	csv_norm shp osm
597	Городской центр - Дети улиц	Социальная сфера	17	yes	csv	csv_norm shp osm
598	Детские дома	Социальная сфера	29	yes	csv	csv_norm shp osm
599	Объекты инфраструктуры приспособленные для инвалидов	Социальная сфера	203	yes	csv	csv_norm shp osm
600	Пансионаты для ветеранов	Социальная сфера	14	yes	csv	csv_norm shp osm
601	Психоневрологические интернаты	Социальная сфера	18	yes	csv	csv_norm shp osm
602	Территориальные центры социального обслуживания и филиалы	Социальная сфера	131	yes	csv	csv_norm shp osm
603	Управления социальной защиты населения	Социальная сфера	126	yes	csv	csv_norm shp osm
604	Центр социальной помощи семье и детям	Социальная сфера	37	yes	csv	csv_norm shp osm
605	Центры психологической помощи	Социальная сфера	13	yes	csv	csv_norm shp osm
606	Центры реабилитации	Социальная сфера	16	yes	csv	csv_norm shp osm
607	Объекты ритуального обслуживания	Социальная сфера	137	yes	csv	csv_norm shp osm
608	Отделы трудоустройства	Социальная сфера	52	yes	csv	csv_norm shp osm
609	Специализированные центры труда и занятости населения города Москвы	Социальная сфера	29	yes	csv	csv_norm shp osm
610	Центры занятости населения	Социальная сфера	11	yes	csv	csv_norm shp osm
611	Многофункциональные центры	Социальная сфера	55	yes	csv	csv_norm shp osm
612	Расположение мест приема документов ДЗР	Территориальное планирование	12	yes	csv	csv_norm shp osm
613	Границы зон охраны объектов культурного наследия	Территориальное планирование	456	yes	csv	csv_norm shp osm
614	Границы территорий объектов культурного наследия	Территориальное планирование	1483	yes	csv	csv_norm shp osm
615	Границы административных округов г. Москвы	Территориальное планирование	12	yes	csv	csv_norm shp osm
616	Границы внутригородских муницип обр в г Москве	Территориальное планирование	150	yes	csv	csv_norm shp osm
617	Границы районов города Москвы	Территориальное планирование	129	yes	csv	csv_norm shp osm
618	Границы территорий, по которым утверждены проекты планировок	Территориальное планирование	287	yes	csv	csv_norm shp osm
619	Нестационарные торговые объекты	Торговля	11795	yes	csv	csv_norm shp osm
620	Ярмарки выходного дня	Торговля	122	yes	csv	csv_norm shp osm
621	Парковки такси	Транспорт	226	yes	csv	csv_norm shp osm
622	Перехватывающие парковки	Транспорт	62	yes	csv	csv_norm shp osm
623	Платные парковки на улично-дорожной сети	Транспорт	485	yes	csv	csv_norm shp osm
624	Станции метрополитена	Транспорт	579	yes	csv	csv_norm shp osm
625	Объекты капитального ремонта улично-дорожной сети	Улично-дорожная сеть	379	yes	csv	csv_norm shp osm
626	Горнолыжные склоны Москвы	Физическая культура и спорт	8	yes	csv	csv_norm shp osm
627	Лыжные трассы города Москвы	Физическая культура и спорт	197	yes	csv	csv_norm shp osm
628	Открытые ледовые катки города Москвы	Физическая культура и спорт	123	yes	csv	csv_norm shp osm
629	Спортивные объекты города Москвы	Физическая культура и спорт	2645	yes	csv	csv_norm shp osm
630	Спортивные секции города Москвы	Физическая культура и спорт	1761	yes	csv	csv_norm shp osm
651	Государственные казенные учреждения дирекции ЖКХ и благоустройства административных округов города Москвы	Жилищно-коммунальное хозяйство	16	yes	csv	csv_norm shp osm
652	Инфраструктура поддержки малого и среднего предпринимательства	Объекты общегородских программ	10	yes	csv	csv_norm shp osm
653	Региональные ярмарки	Торговля	39	yes	csv	csv_norm shp osm
654	Розничные рынки	Торговля	51	yes	csv	csv_norm shp osm
655	Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси	Транспорт	25667	no	csv	csv_norm
658	Тарифы на проезд в городском пассажирском транспорте	Транспорт	283	no	csv	csv_norm
671	Продажа билетов на пригородные поезда	Транспорт	85498	no	csv	csv_norm
672	Реестр стационарных объектов наблюдения	Транспорт	601	yes	csv	csv_norm shp osm
673	Точки продажи билетов для проезда на наземном городском пассажирском транспорте	Транспорт	643	yes	csv	csv_norm shp osm
674	Реестр искусственных неровностей	Улично-дорожная сеть	3452	yes	csv	csv_norm shp osm
744	Перечень приютов для бродячих животных (включая приюты префектур АО)	Жилищно-коммунальное хозяйство	17	no	csv	csv_norm
745	Пешеходные тоннели и фонтаны	Жилищно-коммунальное хозяйство	450	no	csv	csv_norm
746	Реестр образовательных учреждений. Дополнительное образование	Образование	36535	no	csv	csv_norm
747	Реестр образовательных учреждений. Общие сведения	Образование	3492	no	csv	csv_norm
749	Специализированные службы по вопросам похоронного дела	Социальная сфера	22	yes	csv	csv_norm shp osm
750	Список аккредитованных социальных магазинов	Торговля	451	yes	csv	csv_norm shp osm
751	Маршруты мобильных комплексов фиксации нарушений	Транспорт	205	yes	csv	csv_norm shp osm
752	Остановки НГПТ	Транспорт	11935	yes	csv	csv_norm shp osm
753	Список АЗС города Москвы, реализующих моторное топливо, соответствующее установленным экологическим требованиям	Экология	82	no	csv	csv_norm
754	Список АЗС города Москвы, реализующих моторное топливо, несоответствующее установленным экологическим требованиям	Экология	7	no	csv	csv_norm
758	Межрегиональные маршруты пассажирских перевозок	Транспорт	660	yes	csv	csv_norm shp osm
759	Нарушения ПДД выявляемые с использованием автоматической системы фотовидеофиксации нарушений ПДД	Транспорт	85	no	csv	csv_norm
760	Согласованные маршруты пассажирских перевозок коммерческими перевозчиками	Транспорт	608	yes	csv	csv_norm shp osm
761	Данные по проверкам Госинспекции по недвижимости с нарушениями за 2012 год	Имущество и земля города Москвы	5042	no	csv	csv_norm
781	Перечень выданных субсидий и льгот субъектам малого и среднего предпринимательства	Реестр справочной информации	551	no	csv	csv_norm
782	Итоги размещения госзаказа в сфере городской информатизации за 2012 год	Реестр справочной информации	362	no	csv	csv_norm
801	График отключения горячей воды	Жилищно-коммунальное хозяйство	50506	no	csv	csv_norm
821	Ремонтируемые объекты жилищного фонда	Имущество и земля города Москвы	1050		csv	csv_norm shp osm

Известные проблемы нормализации

1. Закавыченные строки с "разделителем" слепятся, например (исходник, результат 529.csv #64):

 ;"www.tretyakovgallery.ru;tretyakov.ru"; -> ;www.tretyakovgallery.rutretyakov.ru;

Использованные скрипты и сопутствующие файлы, процесс обновления

Язык - Python. Все скрипты можно взять на Github.

По шагам:

1. batch_download.py - Загружаем данные, скрипт использует http://gis-lab.info/data/mos.ru/data/_listings/_general.csv как источник кодов для ссылок

 python download.py

2. Архивируем всё для истории

 for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i

и выгружаем на FTP в качестве исходников.

3. batch_field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов

 python batch_field_sanitizer_read.py data\ fields.csv yes yes

• fields.csv - все названия полей данных
• yes - обновлять существующий файл замен имен полей
• yes - использовать транслит для новых полей

4. Вручную редактируем файл fields.csv добавляя замены
5. batch_field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv

 python batch_field_sanitizer_write.py data\ data-norm fields.csv

6. batch_process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует wgs84.prj.

 python batch_process.py

• wgs84.prj - файл описания результирующей нормализованной системы координат

7. batch_table.py - Формируем таблицу в вики-формате (для этой страницы), использует http://gis-lab.info/data/mos.ru/data/_listings/_general.csv

 python batch_table.py > table.wiki