Нормализованные данные с портала открытых данных Москвы

Эта страница опубликована в основном списке статей сайта
по адресу http://gis-lab.info/qa/data-mos.html

Описание данных и копия данных в более удобном для ГИС формате

Источник данных: Портал открытых данных г. Москва http://data.mos.ru

Об исходных данных

Системы координат данных:

• EPSG: 4326 (latlon/WGS84)
• EPSG: 3857 (Web Mercator/WGS84)
• Местная московская система координат (ПМСК 1, 2)

Формат данных: CSV
Кодировка: UTF-8
Формат хранения геометрий: WKT или пара полей с координатами.

Лицензия данных разрешает любое использование (включая коммерческое) при условии наличия ссылки на первоисточник.

Условия использования набора данных не предполагают ограничений использования набора данных в некоммерческих и коммерческих целях.

Лицензия не указывает явным образом согласие с CT OpenStreetMap.

Сомнительные места организации исходных данных

Уровень проблемности этих пунктов разный. Некоторые из них не позволят даже начать работу с данными, многие улучшили бы данные, но не помешают их использовать специалисту. Пометка "-> исправлено" означает, что данная проблема исправлена в производной версии данных представленной в этом описании ниже.

1. Служебная информация в названиях полей -> исправлено
2. Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено
3. Исходные данные в системе координат: ПМСК (местная система координат г. Москвы) (ужасная СК для распространения векторных данных) -> исправлено
4. Смешивание данных в разных системах координат в одних и тех же столбцах в одном наборе данных -> исправлено
5. Непоследовательное применение WKT представлений координат, то используется, то не используется.
6. Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено
7. Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено
8. Названия полей содержат спецсимволы (например "№", "/", "," - проблемы с конвертацией) -> исправлено
9. Названия полей содержат разрывы строк (например: 782.csv от 20130806) -> исправлено
10. Одни и те же названия полей то в кавычках, то без (просто некрасиво) -> исправлено
11. Одни и те же названия полей то с пробелами, то с "_" вместо пробелов (просто некрасиво) -> исправлено
12. Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено
13. Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено
14. Отсутствуют вспомогательные файлы описания системы координат данных -> исправлено
15. Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено
16. Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено
17. Многочисленные неоправданные последовательности символов "пробел" в атрибутике -> исправлено
18. Пустые поля. ";" в конце заголовка и ";" в конце каждой записи (пример: 619), иногда нерегулярно встречается "; " -> исправлено
19. На данный момент (20130609) многие наборы данных, ранее имевшие геопривязку, ее потеряли - используйте архивные версии.
20. Неоправданные разрывы строк в записях (например: 493.csv от 20130806, форум) -> исправлено
21. Названия полей отсутствующие в принципе (например пропавшее поле WKT 562.csv от 20130806) -> исправлено
22. Различные переносы строк - Windows, UNIX (сравнить например 493.csv и 914.csv от 20130806) -> исправлено
23. Поля с координатами называются так, что невозможно понять, что там координаты (например: поля X,Y 501.csv от 201309029 называются "0_Тип Выходного" и "0_Доп информация") -> исправлено

TODO

• *.csvt файлы пока рассматривают все поля как тип String(255). Нужно пройтись по всем полям и выяснить их тип, добавив его в fields.csv
• создать *.qml
• сконвертировать все в GeoJSON
• обновлять только обновившееся, дату можно взять из метаданных, (но вдруг нас обманут? :) либо побайтово сравнивать с пред.версией CSV

Актуальность производных данных и архив

Текущая версия данных расположенная здесь: 6 августа 2013.

Чтобы посмотреть архивную версию данных, возьмите ссылку из таблице ниже и добавьте дату в формате YYYYMMDD. Например:
Актуальная версия:

 http://gis-lab.info/data/mos.ru/493_shp.7z

Архивная:

 http://gis-lab.info/data/mos.ru/20130213/493_shp.7z

Доступны архивы за следующие числа:
20130213,20130222,20130503,20130522,20130611,20130626,20130806

Вы можете также воспользоваться специальным сервисом, который следит за обновлениями исходных данных на data.mos.ru и архивирует все версии. Пока этот сервис не занимается нормализацией данных. Планируется объединить эти два сервиса.

Что делать если в свежей версии поломаны данные?

ДИТ периодически "ломает" выкладываемые данные (см. перечень проблем выше). Возможно данные или геоданные не поломаны в архивной версии. Соответственно, чтобы восстановить данные, нужно взять их предыдущую версию. Для этого нужно:

1. Выбрать одну из архивных версий выше, например 20130222.
2. Определить старый номер набора данных (да, у ДИТа нестабильные номера наборов данных), посмотрев в файл _list.csv лежащий в папке архива. Если такого файла нет, то нужно посмотреть список наборов по этой ссылке.
3. Определить старый номер этого набора (если он изменился) и скачать соответствующий набор из папки архива.

Нормализованные данные

О нормализованных данных

Все данные - в UTF-8, геометрии - в EPSG:4326. Дополнительно 2 поля: LAT, LON содержащие координаты исходно хранящиеся в 3 разных системах (см. выше), приведенные в эту систему координат в преобразованных данных.

В таблице в поле Источник и Данные данные для скачивания:

• csv - исходные данные 'как есть' на data.mos.ru.
• csv-norm - данные в формате CSV, с нормализованными названиями полей, *.csvt, *.prj, *.vrt файлами.
• shp - данные в формате ESRI Shape (максимальная длина строк 255 символов).
• osm - данные в формате OSM XML, без обрезки атрибутики.

Полный перечень названий полей и их замен для нормализованых данных.

Скачать данные

Поля:

• "Изменение" - сравнение с версией от 20130806. Цветами показаны: увеличение или уменьшение количества объектов, новый набор (отсутствовавший 20130806)
• "Геоданные, официально" - значится ли, что это геоданные на официальном портале.
• "Геоданные, реально" - есть ли геоданные в последней версии данных, если нет, см. также тут.

Код	Описание набора	Категория	Объектов	Изменение	Геоданные официально	Геоданные реально	Оригинал	Версии	Данные
	Все данные	Все					csv		csv_norm shp osm
493	Дома культуры и клубы	Досуг и отдых	279	0	yes	yes	csv	csv log	csv_norm shp osm
494	Парки (включая парки не подведомственные)	Досуг и отдых	80	0	yes	yes	csv	csv log	csv_norm shp osm
495	Кинотеатры	Досуг и отдых	204	0	yes	yes	csv	csv log	csv_norm shp osm
496	Молодежные центры	Досуг и отдых	15	0	yes	yes	csv	csv log	csv_norm shp osm
497	Учреждения семейной и молодежной политики	Досуг и отдых	5	0	yes	yes	csv	csv log	csv_norm shp osm
498	Аттракционная техника с механическим приводом, установленная в скверах и парках	Досуг и отдых	388	0	yes	no	csv	csv log	csv_norm
499	Государственные учреждения, подведомственные Департаменту жилищно-коммунального хозяйства и благоустройства города Москвы	Жилищно-коммунальное хозяйство	27	0	yes	yes	csv	csv log	csv_norm shp osm
500	Районные инженерные службы	Жилищно-коммунальное хозяйство	119	0	yes	yes	csv	csv log	csv_norm shp osm
501	Аптеки	Здравоохранение	4121	0	yes	yes	csv	csv log	csv_norm shp osm
502	Больницы города Москвы	Здравоохранение	100	0	yes	yes	csv	csv log	csv_norm shp osm
503	Городские поликлиники	Здравоохранение	186	0	yes	yes	csv	csv log	csv_norm shp osm
504	Госпитали всех наименований, учредителем которых является город Москва	Здравоохранение	4	0	yes	yes	csv	csv log	csv_norm shp osm
505	Детские поликлиники	Здравоохранение	172	0	yes	yes	csv	csv log	csv_norm shp osm
506	Детские стоматологические поликлиники	Здравоохранение	25	0	yes	yes	csv	csv log	csv_norm shp osm
507	Диспансеры	Здравоохранение	54	0	yes	yes	csv	csv log	csv_norm shp osm
508	Дома ребенка, в том числе специалзированные	Здравоохранение	16	0	yes	yes	csv	csv log	csv_norm shp osm
509	Женские консультации	Здравоохранение	18	0	yes	yes	csv	csv log	csv_norm shp osm
510	Здравоохранение. Санатории	Здравоохранение	42	0	yes	yes	csv	csv log	csv_norm shp osm
511	Консультативно диагностические центры	Здравоохранение	18	0	yes	yes	csv	csv log	csv_norm shp osm
512	Молочные кухни	Здравоохранение	145	0	yes	yes	csv	csv log	csv_norm shp osm
513	Научно-практические медицинские центры, учредителем которых является город Москва	Здравоохранение	36	0	yes	yes	csv	csv log	csv_norm shp osm
514	Родильные дома г. Москвы	Здравоохранение	23	0	yes	no	csv	csv log	csv_norm
515	Станции переливания крови	Здравоохранение	1	0	yes	yes	csv	csv log	csv_norm shp osm
516	Станции скорой и неотложной медицинской помощи	Здравоохранение	1	0	yes	yes	csv	csv log	csv_norm shp osm
517	Стационары	Здравоохранение	59	0	yes	yes	csv	csv log	csv_norm shp osm
518	Стоматологические поликлиники	Здравоохранение	37	0	yes	yes	csv	csv log	csv_norm shp osm
519	Хосписы	Здравоохранение	8	0	yes	yes	csv	csv log	csv_norm shp osm
520	Паспортизация квартир в домах-новостройках, строительство которых выполнено за счет городского бюджета и по инвестиционным проектам	Имущество и земля города Москвы	1037	-11	yes	no	csv	csv log	csv_norm
521	Земельные участки, находящиеся в собственности г. Москвы	Имущество и земля города Москвы	1000	0	no	no	csv	csv log	csv_norm
522	Рейтинг топ-100 должников арендной платы	Имущество и земля города Москвы	100	0	no	no	csv	csv log	csv_norm
523	Нежилые помещения, зарегистрированные в собственность г. Москвы	Имущество и земля города Москвы	37849	0	yes	yes	csv	csv log	csv_norm shp osm
524	Ремонтируемые объекты жилищного фонда	Имущество и земля города Москвы	1050	0	no	yes	csv	csv log	csv_norm shp osm
525	Ремонтируемые объекты нежилого фонда	Имущество и земля города Москвы	41	0	yes	yes	csv	csv log	csv_norm shp osm
526	Библиотеки	Культура	524	0	yes	yes	csv	csv log	csv_norm shp osm
527	Выставочные залы	Культура	26	0	yes	yes	csv	csv log	csv_norm shp osm
528	Концертные организации	Культура	87	0	yes	yes	csv	csv log	csv_norm shp osm
529	Музеи	Культура	288	0	yes	yes	csv	csv log	csv_norm shp osm
530	Объекты культурного наследия и Выявленные объекты культурного наследия	Культура	6104	0	yes	no	csv	csv log	csv_norm
531	Театры	Культура	237	0	yes	yes	csv	csv log	csv_norm shp osm
532	Детские музыкальные школы	Образование	107	0	yes	yes	csv	csv log	csv_norm shp osm
533	Детские художественные школы	Образование	19	0	yes	yes	csv	csv log	csv_norm shp osm
534	Детские школы искусств	Образование	47	0	yes	yes	csv	csv log	csv_norm shp osm
535	Вечерние школы	Образование	7	0	yes	yes	csv	csv log	csv_norm shp osm
536	Военно-патриотическое направление	Образование	9	0	yes	yes	csv	csv log	csv_norm shp osm
537	Учреждения высшего профессионального образования	Образование	10	0	yes	yes	csv	csv log	csv_norm shp osm
538	Гимназия	Образование	84	0	yes	yes	csv	csv log	csv_norm shp osm
539	Детские сады в составе школ (образовательные комплексы)	Образование	132	0	yes	yes	csv	csv log	csv_norm shp osm
540	Детские сады	Образование	1155	0	yes	yes	csv	csv log	csv_norm shp osm
541	Детский сад комбинированного вида	Образование	405	0	yes	yes	csv	csv log	csv_norm shp osm
542	Детский сад компенсирующего вида	Образование	190	0	yes	yes	csv	csv log	csv_norm shp osm
543	Естественнонаучное направление	Образование	6	0	yes	yes	csv	csv log	csv_norm shp osm
544	Кадетские школы	Образование	8	0	yes	yes	csv	csv log	csv_norm shp osm
545	Кадетские школы-интернаты	Образование	11	0	yes	yes	csv	csv log	csv_norm shp osm
546	Колледжи	Образование	107	0	yes	yes	csv	csv log	csv_norm shp osm
547	Коррекционная начальная школа-детский сад	Образование	5	0	yes	yes	csv	csv log	csv_norm shp osm
548	Коррекционная общеобразовательная школа	Образование	25	0	yes	yes	csv	csv log	csv_norm shp osm
549	Коррекционная общеобразовательная школа-интернат	Образование	29	0	yes	yes	csv	csv log	csv_norm shp osm
550	Коррекционная школа-интернат для детей-сирот и детей, оставшихся без попечения родителей	Образование	4	0	yes	yes	csv	csv log	csv_norm shp osm
551	Культурологическое направление	Образование	60	0	yes	yes	csv	csv log	csv_norm shp osm
552	Лицей	Образование	40	0	yes	yes	csv	csv log	csv_norm shp osm
553	Научно-техническое направление	Образование	10	0	yes	yes	csv	csv log	csv_norm shp osm
554	Начальная школа - десткий сад компенсирующего вида	Образование	14	0	yes	yes	csv	csv log	csv_norm shp osm
555	Начальная школа - детский сад	Образование	13	0	yes	yes	csv	csv log	csv_norm shp osm
556	Образовательные учреждения города Москвы, реализующие программы среднего профессионального образования. Техникумы	Образование	9	0	yes	yes	csv	csv log	csv_norm shp osm
557	Прогимназия	Образование	24	0	yes	yes	csv	csv log	csv_norm shp osm
559	Санаторная школа-интернат	Образование	5	0	yes	yes	csv	csv log	csv_norm shp osm
560	Санаторно-лесная школа	Образование	5	0	yes	yes	csv	csv log	csv_norm shp osm
561	Социально-педагогическое направление	Образование	41	0	yes	yes	csv	csv log	csv_norm shp osm
562	Социально-экономическое направление	Образование	2	0	yes	yes	csv	csv log	csv_norm shp osm
563	Специальная общеобразовательная школа для детей и подростков с девиантным поведением	Образование	7	0	yes	yes	csv	csv log	csv_norm shp osm
564	Спортивно-техническое направление	Образование	2	0	yes	yes	csv	csv log	csv_norm shp osm
565	Средняя образовательная школа	Образование	786	0	yes	yes	csv	csv log	csv_norm shp osm
566	Средняя образовательная школа "Школа Здоровья"	Образование	59	0	yes	yes	csv	csv log	csv_norm shp osm
567	Средняя образовательная школа с углубленным изучением отдельных предметов	Образование	169	0	yes	yes	csv	csv log	csv_norm shp osm
568	Средняя общеобразовательная школа с этнокультурным (национальным) компонентом образования	Образование	22	0	yes	yes	csv	csv log	csv_norm shp osm
569	Туристко-краеведческое направление	Образование	9	0	yes	yes	csv	csv log	csv_norm shp osm
570	Учебно-производственные комбинаты	Образование	3	0	yes	yes	csv	csv log	csv_norm shp osm
571	Учреждения для детей-сирот и детей, оставшихся без попечения родителей	Образование	29	0	yes	yes	csv	csv log	csv_norm shp osm
572	Физкультурно-спортивное направление	Образование	14	0	yes	yes	csv	csv log	csv_norm shp osm
573	Художественно-эстетическое направление	Образование	74	0	yes	yes	csv	csv log	csv_norm shp osm
574	Центр диагностики и консультирования	Образование	6	0	yes	yes	csv	csv log	csv_norm shp osm
575	Центр лечебной педагогики и дифференцированного обучения	Образование	4	0	yes	yes	csv	csv log	csv_norm shp osm
576	Центр образования	Образование	180	0	yes	yes	csv	csv log	csv_norm shp osm
577	Центр психолого-педагогической реабилитации и коррекции	Образование	16	0	yes	yes	csv	csv log	csv_norm shp osm
578	Центры повышения квалификации	Образование	3	0	yes	yes	csv	csv log	csv_norm shp osm
579	Центры психолого-медико-социального сопровождения	Образование	25	0	yes	yes	csv	csv log	csv_norm shp osm
580	Школа-интернат для детей-сирот и детей, оставшихся без попечения родителей	Образование	3	0	yes	yes	csv	csv log	csv_norm shp osm
581	Школы надомного обучения	Образование	13	0	yes	yes	csv	csv log	csv_norm shp osm
582	Школы, имеющие в своем составе детские сады (образовательные комплексы)	Образование	132	0	yes	yes	csv	csv log	csv_norm shp osm
583	Школы-интернаты	Образование	6	0	yes	yes	csv	csv log	csv_norm shp osm
584	Школы-интернаты с углубленным изучением отдельных предметов	Образование	4	0	yes	yes	csv	csv log	csv_norm shp osm
585	Эколого-биологическое направление	Образование	4	0	yes	yes	csv	csv log	csv_norm shp osm
586	Объекты розничной торговли и общественного питания, имеющие лицензию на розничную продажу алкогольной продукции с указанием срока ее дейст	Общественное питание	10874	0	yes	yes	csv	csv log	csv_norm shp osm
587	Сезонные кафе при стационарных объектах общественного питания	Общественное питание	1610	-23	yes	no	csv	csv log	csv_norm
588	Объекты гаражного назначения по программе «Народный гараж»	Объекты общегородских программ	172	0	yes	yes	csv	csv log	csv_norm shp osm
589	Органы ЗАГС Москвы	Органы государственной власти города Москвы	38	0	yes	no	csv	csv log	csv_norm
590	Судебные участки мировых судей города Москвы	Органы государственной власти города Москвы	438	0	yes	no	csv	csv log	csv_norm
591	Перечень выданных субсидий организациям промышленности, науки и инновационной инфраструктуры города	Реестр справочной информации	52	0	no	no	csv	csv log	csv_norm
593	Перечень приоритетных продуктов и технологий, используемых в отраслях городского хозяйства	Реестр справочной информации	363	0	no	no	csv	csv log	csv_norm
594	Городские отделы жилищных субсидий	Социальная сфера	130	0	yes	yes	csv	csv log	csv_norm shp osm
596	Центры социально-трудовой адаптации и профориентации	Социальная сфера	4	0	yes	yes	csv	csv log	csv_norm shp osm
597	Городской центр - Дети улиц	Социальная сфера	17	0	yes	yes	csv	csv log	csv_norm shp osm
598	Детские дома	Социальная сфера	27	0	yes	yes	csv	csv log	csv_norm shp osm
599	Объекты инфраструктуры приспособленные для инвалидов	Социальная сфера	203	0	yes	yes	csv	csv log	csv_norm shp osm
600	Пансионаты для ветеранов	Социальная сфера	14	0	yes	yes	csv	csv log	csv_norm shp osm
601	Психоневрологические интернаты	Социальная сфера	18	0	yes	yes	csv	csv log	csv_norm shp osm
602	Территориальные центры социального обслуживания и филиалы	Социальная сфера	131	0	yes	yes	csv	csv log	csv_norm shp osm
603	Управления социальной защиты населения	Социальная сфера	126	0	yes	yes	csv	csv log	csv_norm shp osm
604	Центр социальной помощи семье и детям	Социальная сфера	37	0	yes	yes	csv	csv log	csv_norm shp osm
605	Центры психологической помощи	Социальная сфера	13	0	yes	yes	csv	csv log	csv_norm shp osm
606	Центры реабилитации	Социальная сфера	16	0	yes	yes	csv	csv log	csv_norm shp osm
607	Объекты ритуального обслуживания	Социальная сфера	77	-60	yes	yes	csv	csv log	csv_norm shp osm
608	Отделы трудоустройства	Социальная сфера	52	0	yes	no	csv	csv log	csv_norm
609	Специализированные центры труда и занятости населения города Москвы	Социальная сфера	29	0	yes	no	csv	csv log	csv_norm
610	Центры занятости населения	Социальная сфера	11	0	yes	no	csv	csv log	csv_norm
611	Многофункциональные центры	Социальная сфера	65	+8	yes	no	csv	csv log	csv_norm
612	Расположение мест приема документов ДЗР	Территориальное планирование	12	0	yes	no	csv	csv log	csv_norm
613	Границы зон охраны объектов культурного наследия	Территориальное планирование	456	0	yes	no	csv	csv log	csv_norm
614	Границы территорий объектов культурного наследия	Территориальное планирование	1483	0	yes	no	csv	csv log	csv_norm
615	Границы административных округов г. Москвы	Территориальное планирование	12	0	yes	no	csv	csv log	csv_norm
616	Границы внутригородских муницип обр в г Москве	Территориальное планирование	150	0	yes	no	csv	csv log	csv_norm
617	Границы районов города Москвы	Территориальное планирование	129	0	yes	no	csv	csv log	csv_norm
618	Границы территорий, по которым утверждены проекты планировок	Территориальное планирование	287	0	yes	no	csv	csv log	csv_norm
619	Нестационарные торговые объекты	Торговля	10216	+3	yes	no	csv	csv log	csv_norm
620	Ярмарки выходного дня	Торговля	118	-4	yes	no	csv	csv log	csv_norm
621	Парковки такси	Транспорт	226	0	yes	yes	csv	csv log	csv_norm shp osm
622	Перехватывающие парковки	Транспорт	62	0	yes	yes	csv	csv log	csv_norm shp osm
623	Платные парковки на улично-дорожной сети	Транспорт	485	0	yes	no	csv	csv log	csv_norm
624	Станции метрополитена	Транспорт	579	0	yes	yes	csv	csv log	csv_norm shp osm
625	Объекты капитального ремонта улично-дорожной сети	Улично-дорожная сеть	379	0	yes	yes	csv	csv log	csv_norm shp osm
626	Горнолыжные склоны Москвы	Физическая культура и спорт	8	0	yes	yes	csv	csv log	csv_norm shp osm
627	Лыжные трассы города Москвы	Физическая культура и спорт	197	0	yes	yes	csv	csv log	csv_norm shp osm
628	Открытые ледовые катки города Москвы	Физическая культура и спорт	123	0	yes	yes	csv	csv log	csv_norm shp osm
629	Спортивные объекты города Москвы	Физическая культура и спорт	3986	0	yes	yes	csv	csv log	csv_norm shp osm
630	Спортивные секции города Москвы	Физическая культура и спорт	1761	0	yes	yes	csv	csv log	csv_norm shp osm
651	Государственные казенные учреждения дирекции ЖКХ и благоустройства административных округов города Москвы	Жилищно-коммунальное хозяйство	16	0	yes	yes	csv	csv log	csv_norm shp osm
652	Инфраструктура поддержки малого и среднего предпринимательства	Объекты общегородских программ	11	+1	yes	no	csv	csv log	csv_norm
653	Региональные ярмарки	Торговля	29	-10	yes	no	csv	csv log	csv_norm
654	Розничные рынки	Торговля	51	0	yes	no	csv	csv log	csv_norm
655	Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси	Транспорт	28818	0	no	no	csv	csv log	csv_norm
658	Тарифы на проезд в городском пассажирском транспорте	Транспорт	283	0	no	no	csv	csv log	csv_norm
671	Продажа билетов на пригородные поезда	Транспорт	85498	0	no	no	csv	csv log	csv_norm
672	Реестр стационарных объектов наблюдения	Транспорт	601	0	yes	yes	csv	csv log	csv_norm shp osm
673	Точки продажи билетов для проезда на наземном городском пассажирском транспорте	Транспорт	643	0	yes	yes	csv	csv log	csv_norm shp osm
674	Реестр искусственных неровностей	Улично-дорожная сеть	3452	0	yes	yes	csv	csv log	csv_norm shp osm
744	Перечень приютов для бродячих животных (включая приюты префектур АО)	Жилищно-коммунальное хозяйство	17	0	no	no	csv	csv log	csv_norm
745	Пешеходные тоннели и фонтаны	Жилищно-коммунальное хозяйство	413	-37	no	no	csv	csv log	csv_norm
746	Реестр образовательных учреждений. Дополнительное образование	Образование	36535	0	no	no	csv	csv log	csv_norm
747	Реестр образовательных учреждений. Общие сведения	Образование	3492	0	no	no	csv	csv log	csv_norm
749	Специализированные службы по вопросам похоронного дела	Социальная сфера	21	-1	yes	yes	csv	csv log	csv_norm shp osm
750	Список аккредитованных социальных магазинов	Торговля	451	0	yes	yes	csv	csv log	csv_norm shp osm
751	Маршруты мобильных комплексов фиксации нарушений	Транспорт	205	0	yes	no	csv	csv log	csv_norm
752	Остановки НГПТ	Транспорт	11935	0	yes	yes	csv	csv log	csv_norm shp osm
753	Список АЗС города Москвы, реализующих моторное топливо, соответствующее установленным экологическим требованиям	Экология	47	0	no	no	csv	csv log	csv_norm
754	Список АЗС города Москвы, реализующих моторное топливо, несоответствующее установленным экологическим требованиям	Экология	12	0	no	no	csv	csv log	csv_norm
758	Межрегиональные маршруты пассажирских перевозок	Транспорт	660	0	no	no	csv	csv log	csv_norm
759	Нарушения ПДД выявляемые с использованием автоматической системы фотовидеофиксации нарушений ПДД	Транспорт	85	0	no	no	csv	csv log	csv_norm
760	Согласованные маршруты пассажирских перевозок коммерческими перевозчиками	Транспорт	608	0	no	no	csv	csv log	csv_norm
761	Данные по проверкам Госинспекции по недвижимости с нарушениями за 2012 год	Имущество и земля города Москвы	5042	0	no	no	csv	csv log	csv_norm
781	Перечень выданных субсидий и льгот субъектам малого и среднего предпринимательства	Реестр справочной информации	106652	+106101	no	no	csv	csv log	csv_norm
782	Итоги размещения госзаказа в сфере городской информатизации за 2012 год	Реестр справочной информации	362	0	no	no	csv	csv log	csv_norm
801	График отключения горячей воды	Жилищно-коммунальное хозяйство	50506	0	no	no	csv	csv log	csv_norm
821	Ремонтируемые объекты жилищного фонда	Имущество и земля города Москвы	1050	0	yes	yes	csv	csv log	csv_norm shp osm
841	Таксофоны МГТС	Связь	3033	0	yes	yes	csv	csv log	csv_norm shp osm
842	Стационарные общественные туалеты	Социальная сфера	215	0	yes	no	csv	csv log	csv_norm
861	Wi-Fi в парках	Связь	132	0	yes	yes	csv	csv log	csv_norm shp osm
883	Поля для гольфа	Физическая культура и спорт	4	0	yes	yes	csv	csv log	csv_norm shp osm
884	Площадки для пляжных видов спорта	Физическая культура и спорт	17	0	yes	yes	csv	csv log	csv_norm shp osm
885	Поля регбийные	Физическая культура и спорт	5	0	yes	yes	csv	csv log	csv_norm shp osm
886	Поля футбольные	Физическая культура и спорт	749	0	yes	yes	csv	csv log	csv_norm shp osm
887	Прокаты спортивного инвентаря (отдельностоящие)	Физическая культура и спорт	22	0	yes	yes	csv	csv log	csv_norm shp osm
888	Стрелковые тиры	Физическая культура и спорт	31	0	yes	yes	csv	csv log	csv_norm shp osm
889	Стрельбища	Физическая культура и спорт	1	0	yes	yes	csv	csv log	csv_norm shp osm
890	Бассейны плавательные крытые	Физическая культура и спорт	208	0	yes	yes	csv	csv log	csv_norm shp osm
891	Теннисные корты	Физическая культура и спорт	79	0	yes	yes	csv	csv log	csv_norm shp osm
892	Поля для мини-гольфа	Физическая культура и спорт	3	0	yes	yes	csv	csv log	csv_norm shp osm
893	Площадки спортивные универсальные	Физическая культура и спорт	5090	0	yes	yes	csv	csv log	csv_norm shp osm
894	Бассейны плавательные открытые	Физическая культура и спорт	5	0	yes	yes	csv	csv log	csv_norm shp osm
895	Площадки пейнтбольные	Физическая культура и спорт	17	0	yes	yes	csv	csv log	csv_norm shp osm
896	Городки тренажерные (воркауты)	Физическая культура и спорт	74	0	yes	yes	csv	csv log	csv_norm shp osm
897	Дорожки велосипедные	Физическая культура и спорт	1	0	yes	yes	csv	csv log	csv_norm shp osm
898	Городки тренажерные универсальные	Физическая культура и спорт	742	0	yes	yes	csv	csv log	csv_norm shp osm
899	Дорожки беговые-прогулочные	Физическая культура и спорт	156	0	yes	yes	csv	csv log	csv_norm shp osm
900	Скалодромы	Физическая культура и спорт	15	0	yes	yes	csv	csv log	csv_norm shp osm
901	Гребные базы и каналы	Физическая культура и спорт	1	0	yes	yes	csv	csv log	csv_norm shp osm
902	Поля конно-спортивные для конкура и выездки	Физическая культура и спорт	6	0	yes	yes	csv	csv log	csv_norm shp osm
903	Автодромы спортивные	Физическая культура и спорт	18	0	yes	yes	csv	csv log	csv_norm shp osm
904	Площадки детские игровые	Отдых	669	0	yes	yes	csv	csv log	csv_norm shp osm
905	Детские развивающие центры	Образование	5	0	yes	yes	csv	csv log	csv_norm shp osm
906	Летние эстрады, сцены	Отдых	11	0	yes	yes	csv	csv log	csv_norm shp osm
907	Лодочные станции	Отдых	5	0	yes	yes	csv	csv log	csv_norm shp osm
908	Роллердромы, скейтпарки	Отдых	19	0	yes	yes	csv	csv log	csv_norm shp osm
909	Места для летнего купания	Отдых	8	0	yes	yes	csv	csv log	csv_norm shp osm
910	Мини-зоопарки	Отдых	6	0	yes	yes	csv	csv log	csv_norm shp osm
911	Городки веревочные	Отдых	3	0	yes	yes	csv	csv log	csv_norm shp osm
912	Площадки для пикника	Отдых	9	0	yes	yes	csv	csv log	csv_norm shp osm
913	Площадки для настольных игр	Отдых	31	0	yes	yes	csv	csv log	csv_norm shp osm
914	Автодромы аттракционные	Отдых	4	0	yes	yes	csv	csv log	csv_norm shp osm
915	Автодромы детские учебные	Образование	34	0	yes	yes	csv	csv log	csv_norm shp osm
916	Велопарковки	Физическая культура и спорт	97	0	yes	yes	csv	csv log	csv_norm shp osm
917	Площадки для городошного спорта	Физическая культура и спорт	1	0	yes	yes	csv	csv log	csv_norm shp osm
918	Станции проката велосипедов	Физическая культура и спорт	30	0	yes	yes	csv	csv log	csv_norm shp osm
919	Зоны отдыха у воды	Отдых	16	0	yes	yes	csv	csv log	csv_norm shp osm
920	Пешеходные зоны	Улично-дорожная сеть	16	0	yes	yes	csv	csv log	csv_norm shp osm
921	Гарантированный перечень услуг по погребению	Справочная информация	12	0	yes	no	csv	csv log	csv_norm
941	Реестр контрольных мероприятий (по выявленным нарушениям)	Справочная информация	2227	0	no	no	csv	csv log	csv_norm
961	Избирательные участки города Москвы	Выборы	3597		yes	no	csv	csv log	csv_norm
981	Фонтаны	Жилищно-коммунальное хозяйство	37		yes	no	csv	csv log	csv_norm

Известные проблемы нормализации

1. Закавыченные строки с "разделителем" слепятся, например (исходник, результат 529.csv #64):

 ;"www.tretyakovgallery.ru;tretyakov.ru"; -> ;www.tretyakovgallery.rutretyakov.ru;

2. Пока не обрабатываются значения вида (пример 821.csv)

 55.735571:37.616719,55.735571:37.61672,55.735572:37.616719

Использованные скрипты и сопутствующие файлы, процесс обновления

Язык - Python. Все скрипты можно взять на Github.

По шагам:

1. batch_download.py - Загружаем данные в папку data. Скрипт использует http://gis-lab.info/data/mos.ru/data/_listings/_general.csv как источник кодов для ссылок:

 env\Scripts\python batch_download.py

2. Архивируем всё для истории

 for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i

и выгружаем на FTP в качестве исходников.

3. batch_field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов

 env\Scripts\python batch_field_sanitizer_read.py data\ fields.csv yes yes

• fields.csv - все названия полей данных
• yes - обновлять существующий файл замен имен полей
• yes - использовать транслит для новых полей

4. Вручную редактируем файл fields.csv добавляя замены
5. batch_field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv

 env\Scripts\python batch_field_sanitizer_write.py data\ data-norm fields.csv

6. batch_process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует wgs84.prj.

 python batch_process.py

• wgs84.prj - файл описания результирующей нормализованной системы координат

7. batch_table.py - Формируем таблицу в вики-формате (для этой страницы), использует http://gis-lab.info/data/mos.ru/data/_listings/_general.csv

 env\Scripts\python batch_table.py > table.wiki