Нормализованные данные с портала открытых данных Москвы

Эта страница опубликована в основном списке статей сайта
по адресу http://gis-lab.info/qa/data-mos.html

Описание данных и копия данных в более удобном для ГИС формате

Источник данных: Портал открытых данных г. Москва http://data.mos.ru

Об исходных данных

Системы координат данных:

• EPSG: 4326 (latlon/WGS84)
• EPSG: 3857 (Web Mercator/WGS84)
• Местная московская система координат (ПМСК 1, 2)

Формат данных: CSV
Кодировка: UTF-8
Формат хранения геометрий: WKT или пара полей с координатами.

Лицензия данных разрешает любое использование (включая коммерческое) при условии наличия ссылки на первоисточник.

Условия использования набора данных не предполагают ограничений использования набора данных в некоммерческих и коммерческих целях.

Лицензия не указывает явным образом согласие с CT OpenStreetMap.

Сомнительные места организации и ошибки в исходных данных

Уровень проблемности этих пунктов разный. Некоторые из них не позволят даже начать работу с данными, многие улучшили бы данные, но не помешают их использовать специалисту. Пометка "-> исправлено" означает, что данная проблема исправлена в нормализованной версии данных представленных в этом проекте.

1. Служебная информация в названиях полей -> исправлено
2. Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено
3. Исходные данные в системе координат: ПМСК (местная система координат г. Москвы) (ужасная СК для распространения векторных данных) -> исправлено
4. Смешивание данных в разных системах координат в одних и тех же столбцах в одном наборе данных -> исправлено
5. Непоследовательное применение WKT представлений координат, то используется, то не используется.
6. Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено
7. Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено
8. Названия полей содержат спецсимволы (например "№", "/", "," - проблемы с конвертацией) -> исправлено
9. Названия полей содержат разрывы строк (например: 782.csv от 20130806) -> исправлено
10. Одни и те же названия полей то в кавычках, то без (просто некрасиво) -> исправлено
11. Одни и те же названия полей то с пробелами, то с "_" вместо пробелов (просто некрасиво) -> исправлено
12. Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено
13. Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено
14. Отсутствуют вспомогательные файлы описания системы координат данных -> исправлено
15. Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено
16. Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено
17. Многочисленные неоправданные последовательности символов "пробел" в атрибутике -> исправлено
18. Пустые поля. ";" в конце заголовка и ";" в конце каждой записи (пример: 619), иногда нерегулярно встречается "; " -> исправлено
19. На данный момент (20130609) многие наборы данных, ранее имевшие геопривязку, ее потеряли - используйте архивные версии.
20. Неоправданные разрывы строк в записях (например: 493.csv от 20130806, форум) -> исправлено
21. Названия полей отсутствующие в принципе (например пропавшее поле WKT 562.csv от 20130806) -> исправлено
22. Различные переносы строк - Windows, UNIX (сравнить например 493.csv и 914.csv от 20130806) -> исправлено
23. Поля с координатами называются так, что невозможно понять, что там координаты (например: поля X,Y 501.csv от 201309029 называются "0_Тип Выходного" и "0_Доп информация") -> исправлено
24. Поля с координатами называются так, как будто они в одной СК, когда на самом деле они в другой (например: поля X,Y [589.7z 589.csv] от 2013???? называются "X_MSK77;Y_MSK77")
25. Поля с координатами неправильно указаны в заголовке (например: поля X,Y 591.csv или 673.csv от 20131212 соответствуют телефону и времени работы) -> исправлено

TODO

Мы будем рады если кто-то подключится и поможет со следующими делами.

1. *.csvt файлы пока рассматривают все поля как тип String(255). Нужно пройтись по всем полям и выяснить их тип, добавив его в fields.csv <- вручную
2. создать *.qml <- вручную
3. сконвертировать все в GeoJSON <- скриптом (пока скрипта нет)
4. обновлять только обновившееся, дату можно взять из метаданных, (но вдруг нас обманут? :) либо побайтово сравнивать с пред.версией CSV <- плохая идея
5. добавить поле CODE_OLD показывающее как набор данных назывался в предыдущих версиях <- вручную
6. добавить отдельную таблицу удаленных (unavailable) наборов данных <- скриптом (доделать batch_table.py)
7. добавить поле "Геоданные, вообще" - показывающее есть ли геоданные в любой версии набора <- вручную
8. переделать таблицу замен имен полей <- скриптом + вручную

Актуальность производных данных и архив

Текущая версия данных расположенная здесь: 12 декабря 2013.

Чтобы посмотреть архивную версию данных, возьмите ссылку из таблице ниже и добавьте дату в формате YYYYMMDD. Например:
Актуальная версия:

 http://gis-lab.info/data/mos.ru/493_shp.7z

Архивная:

 http://gis-lab.info/data/mos.ru/20130213/493_shp.7z

Доступны архивы за следующие числа:
20130213,20130222,20130503,20130522,20130611,20130626,20130806,20130929,20131212

Вы можете также воспользоваться специальным сервисом, который следит за обновлениями исходных данных на data.mos.ru и архивирует все версии. Пока этот сервис не занимается нормализацией данных. Планируется объединить эти два сервиса.

Что делать если в свежей версии поломаны данные?

ДИТ периодически "ломает" выкладываемые данные (см. перечень проблем выше). Возможно данные или геоданные не поломаны в архивной версии. Соответственно, чтобы восстановить данные, нужно взять их предыдущую версию. Для этого нужно:

1. Выбрать одну из архивных версий выше, например 20130222.
2. Определить старый номер набора данных (да, у ДИТа нестабильные номера наборов данных), посмотрев в файл _list.csv лежащий в папке архива. Если такого файла нет, то нужно посмотреть список наборов по этой ссылке.
3. Определить старый номер этого набора (если он изменился) и скачать соответствующий набор из папки архива.

Нормализованные данные

О нормализованных данных

Все данные - в UTF-8, геометрии - в EPSG:4326. Дополнительно 2 поля: LAT, LON содержащие координаты исходно хранящиеся в 3 разных системах (см. выше), приведенные в эту систему координат в преобразованных данных.

В таблице в поле Источник и Данные данные для скачивания:

• csv - исходные данные 'как есть' на data.mos.ru.
• csv-norm - данные в формате CSV, с нормализованными названиями полей, *.csvt, *.prj, *.vrt файлами.
• shp - данные в формате ESRI Shape (максимальная длина строк 255 символов).
• osm - данные в формате OSM XML, без обрезки атрибутики.

Полный перечень названий полей и их замен для нормализованых данных.

Скачать данные

Поля:

• "Изменение" - сравнение с версией от 20130929. Цветами показаны: увеличение или уменьшение количества объектов, новый набор (отсутствовавший 20130929)
• "Геоданные, официально" - значится ли, что это геоданные на официальном портале.
• "Геоданные, реально" - есть ли геоданные в последней версии данных, если нет, см. также тут.

Код	Описание набора	Категория	Объектов	Изменение	Геоданные официально	Геоданные реально	Оригинал	Версии	Данные
	Все данные	Все					csv		csv_norm shp osm
493	Дома культуры и клубы	Досуг и отдых	245	-34	да	да	csv	csv log	csv_norm shp osm
494	Парки (включая парки не подведомственные)	Досуг и отдых	80	0	да	да	csv	csv log	csv_norm shp osm
495	Кинотеатры	Досуг и отдых	159	-45	да	да	csv	csv log	csv_norm shp osm
496	Молодежные центры	Досуг и отдых	15	0	да	да	csv	csv log	csv_norm shp osm
497	Учреждения семейной и молодежной политики	Досуг и отдых	5	0	да	да	csv	csv log	csv_norm shp osm
498	Аттракционная техника с механическим приводом, установленная в скверах и парках	Досуг и отдых	462	+74	да	да	csv	csv log	csv_norm shp osm
499	Государственные учреждения, подведомственные Департаменту жилищно-коммунального хозяйства и благоустройства города Москвы	Жилищно-коммунальное хозяйство	27	0	да	да	csv	csv log	csv_norm shp osm
500	Районные инженерные службы	Жилищно-коммунальное хозяйство	119	0	да	да	csv	csv log	csv_norm shp osm
501	Аптеки	Здравоохранение	4119	-2	да	да	csv	csv log	csv_norm shp osm
502	Больницы города Москвы	Здравоохранение	23	-77	да	да	csv	csv log	csv_norm shp osm
503	Городские поликлиники	Здравоохранение	274	+88	да	да	csv	csv log	csv_norm shp osm
504	Госпитали всех наименований, учредителем которых является город Москва	Здравоохранение	4	0	да	да	csv	csv log	csv_norm shp osm
505	Детские поликлиники	Здравоохранение	185	+13	да	да	csv	csv log	csv_norm shp osm
506	Детские стоматологические поликлиники	Здравоохранение	37	+12	да	да	csv	csv log	csv_norm shp osm
507	Диспансеры	Здравоохранение	91	+37	да	да	csv	csv log	csv_norm shp osm
508	Дома ребенка	Здравоохранение	17	+1	да	да	csv	csv log	csv_norm shp osm
509	Женские консультации	Здравоохранение	92	+74	да	да	csv	csv log	csv_norm shp osm
510	Здравоохранение. Санатории	Здравоохранение	21	-21	да	да	csv	csv log	csv_norm shp osm
511	Консультативно диагностические центры	Здравоохранение	18	0	да	да	csv	csv log	csv_norm shp osm
512	Молочные кухни	Здравоохранение	194	+49	да	да	csv	csv log	csv_norm shp osm
513	Научно-практические медицинские центры, учредителем которых является город Москва	Здравоохранение	36	0	да	да	csv	csv log	csv_norm shp osm
514	Родильные дома г. Москвы	Здравоохранение	28	+5	да	да	csv	csv log	csv_norm shp osm
515	Станции переливания крови	Здравоохранение	18	+17	да	да	csv	csv log	csv_norm shp osm
516	Станции скорой и неотложной медицинской помощи	Здравоохранение	96	+95	да	да	csv	csv log	csv_norm shp osm
517	Стационары	Здравоохранение	63	+4	да	да	csv	csv log	csv_norm shp osm
518	Стоматологические поликлиники	Здравоохранение	97	+60	да	да	csv	csv log	csv_norm shp osm
519	Хосписы	Здравоохранение	8	0	да	да	csv	csv log	csv_norm shp osm
520	Паспортизация квартир в домах-новостройках, строительство которых выполнено за счет городского бюджета и по инвестиционным проектам	Имущество и земля города Москвы	1041	+4	да	да	csv	csv log	csv_norm shp osm
521	Земельные участки, находящиеся в собственности г. Москвы	Имущество и земля города Москвы	1000	0	нет	да	csv	csv log	csv_norm shp osm
522	Рейтинг топ-100 должников арендной платы	Имущество и земля города Москвы	100	0	нет	да	csv	csv log	csv_norm shp osm
523	Нежилые помещения, зарегистрированные в собственность г. Москвы	Имущество и земля города Москвы	37849	0	да	да	csv	csv log	csv_norm shp osm
524	Ремонтируемые объекты жилищного фонда	Имущество и земля города Москвы	1050	0	нет	да	csv	csv log	csv_norm shp osm
525	Ремонтируемые объекты нежилого фонда	Имущество и земля города Москвы	41	0	да	да	csv	csv log	csv_norm shp osm
526	Библиотеки	Культура	470	-54	да	да	csv	csv log	csv_norm shp osm
527	Выставочные залы	Культура	25	-1	да	да	csv	csv log	csv_norm shp osm
528	Концертные организации	Культура	80	-7	да	да	csv	csv log	csv_norm shp osm
529	Музеи	Культура	303	+15	да	да	csv	csv log	csv_norm shp osm
530	Объекты культурного наследия и Выявленные объекты культурного наследия	Культура	6104	0	да	да	csv	csv log	csv_norm shp osm
531	Театры	Культура	237	0	да	да	csv	csv log	csv_norm shp osm
532	Детские музыкальные школы	Образование	107	0	да	да	csv	csv log	csv_norm shp osm
533	Детские художественные школы	Образование	19	0	да	да	csv	csv log	csv_norm shp osm
534	Детские школы искусств	Образование	47	0	да	да	csv	csv log	csv_norm shp osm
535	Вечерние школы	Образование	10	+3	да	да	csv	csv log	csv_norm shp osm
536	Военно-патриотическое направление	Образование	92	+83	да	да	csv	csv log	csv_norm shp osm
537	Учреждения высшего профессионального образования	Образование	46	+36	да	да	csv	csv log	csv_norm shp osm
538	Гимназия	Образование	169	+85	да	да	csv	csv log	csv_norm shp osm
539	Детские сады в составе школ (образовательные комплексы)	Образование	876	+744	да	да	csv	csv log	csv_norm shp osm
540	Детские сады	Образование	1925	+770	да	да	csv	csv log	csv_norm shp osm
541	Детский сад комбинированного вида	Образование	481	+76	да	да	csv	csv log	csv_norm shp osm
542	Детский сад компенсирующего вида	Образование	191	+1	да	да	csv	csv log	csv_norm shp osm
543	Естественнонаучное направление	Образование	72	+66	да	да	csv	csv log	csv_norm shp osm
544	Кадетские школы	Образование	9	+1	да	да	csv	csv log	csv_norm shp osm
545	Кадетские школы-интернаты	Образование	25	+14	да	да	csv	csv log	csv_norm shp osm
546	Колледжи	Образование	285	+178	да	да	csv	csv log	csv_norm shp osm
547	Коррекционная начальная школа-детский сад	Образование	8	+3	да	да	csv	csv log	csv_norm shp osm
548	Коррекционная общеобразовательная школа	Образование	29	+4	да	да	csv	csv log	csv_norm shp osm
549	Коррекционная общеобразовательная школа-интернат	Образование	57	+28	да	да	csv	csv log	csv_norm shp osm
550	Коррекционная школа-интернат для детей-сирот и детей, оставшихся без попечения родителей	Образование	4	0	да	да	csv	csv log	csv_norm shp osm
551	Культурологическое направление	Образование	179	+119	да	да	csv	csv log	csv_norm shp osm
552	Лицей	Образование	91	+51	да	да	csv	csv log	csv_norm shp osm
553	Научно-техническое направление	Образование	147	+137	да	да	csv	csv log	csv_norm shp osm
554	Начальная школа - десткий сад компенсирующего вида	Образование	21	+7	да	да	csv	csv log	csv_norm shp osm
555	Начальная школа - детский сад	Образование	21	+8	да	да	csv	csv log	csv_norm shp osm
556	Образовательные учреждения города Москвы, реализующие программы среднего профессионального образования. Техникумы	Образование	27	+18	да	да	csv	csv log	csv_norm shp osm
557	Прогимназия	Образование	28	+4	да	да	csv	csv log	csv_norm shp osm
559	Санаторная школа-интернат	Образование	11	+6	да	да	csv	csv log	csv_norm shp osm
560	Санаторно-лесная школа	Образование	5	0	да	да	csv	csv log	csv_norm shp osm
561	Социально-педагогическое направление	Образование	195	+154	да	да	csv	csv log	csv_norm shp osm
562	Социально-экономическое направление	Образование	28	+26	да	да	csv	csv log	csv_norm shp osm
563	Специальная общеобразовательная школа для детей и подростков с девиантным поведением	Образование	6	-1	да	да	csv	csv log	csv_norm shp osm
564	Спортивно-техническое направление	Образование	93	+91	да	да	csv	csv log	csv_norm shp osm
565	Средняя образовательная школа	Образование	1230	+444	да	да	csv	csv log	csv_norm shp osm
566	Средняя образовательная школа "Школа Здоровья"	Образование	65	+6	да	да	csv	csv log	csv_norm shp osm
567	Средняя образовательная школа с углубленным изучением отдельных предметов	Образование	267	+98	да	да	csv	csv log	csv_norm shp osm
568	Средняя общеобразовательная школа с этнокультурным (национальным) компонентом образования	Образование	24	+2	да	да	csv	csv log	csv_norm shp osm
569	Туристко-краеведческое направление	Образование	136	+127	да	да	csv	csv log	csv_norm shp osm
570	Учебно-производственные комбинаты	Образование	6	+3	да	да	csv	csv log	csv_norm shp osm
571	Учреждения для детей-сирот и детей, оставшихся без попечения родителей	Образование	29	0	да	да	csv	csv log	csv_norm shp osm
572	Физкультурно-спортивное направление	Образование	199	+185	да	да	csv	csv log	csv_norm shp osm
573	Художественно-эстетическое направление	Образование	206	+132	да	да	csv	csv log	csv_norm shp osm
574	Центр диагностики и консультирования	Образование	69	+63	да	да	csv	csv log	csv_norm shp osm
575	Центр лечебной педагогики и дифференцированного обучения	Образование	4	0	да	да	csv	csv log	csv_norm shp osm
576	Центр образования	Образование	255	+75	да	да	csv	csv log	csv_norm shp osm
577	Центр психолого-педагогической реабилитации и коррекции	Образование	17	+1	да	да	csv	csv log	csv_norm shp osm
578	Центры повышения квалификации	Образование	2	-1	да	да	csv	csv log	csv_norm shp osm
579	Центры психолого-медико-социального сопровождения	Образование	39	+14	да	да	csv	csv log	csv_norm shp osm
580	Школа-интернат для детей-сирот и детей, оставшихся без попечения родителей	Образование	3	0	да	да	csv	csv log	csv_norm shp osm
581	Школы надомного обучения	Образование	13	0	да	да	csv	csv log	csv_norm shp osm
582	Школы, имеющие в своем составе детские сады (образовательные комплексы)	Образование	876	+744	да	да	csv	csv log	csv_norm shp osm
583	Школы-интернаты	Образование	22	+16	да	да	csv	csv log	csv_norm shp osm
584	Школы-интернаты с углубленным изучением отдельных предметов	Образование	8	+4	да	да	csv	csv log	csv_norm shp osm
585	Эколого-биологическое направление	Образование	116	+112	да	да	csv	csv log	csv_norm shp osm
586	Объекты розничной торговли и общественного питания, имеющие лицензию на розничную продажу алкогольной продукции с указанием срока ее дейст	Общественное питание	10874	0	да	да	csv	csv log	csv_norm shp osm
587	Сезонные кафе при стационарных объектах общественного питания	Общественное питание	1610	0	да	да	csv	csv log	csv_norm shp osm
588	Объекты гаражного назначения по программе «Народный гараж»	Объекты общегородских программ	172	0	да	да	csv	csv log	csv_norm shp osm
589	Органы ЗАГС Москвы	Органы государственной власти города Москвы	38	0	да	да	csv	csv log	csv_norm shp osm
590	Судебные участки мировых судей города Москвы	Органы государственной власти города Москвы	438	0	да	да	csv	csv log	csv_norm shp osm
591	Перечень выданных субсидий организациям промышленности, науки и инновационной инфраструктуры города	Реестр справочной информации	87	+35	нет	да	csv	csv log	csv_norm shp osm
593	Перечень приоритетных продуктов и технологий, используемых в отраслях городского хозяйства	Реестр справочной информации	580	+217	нет	да	csv	csv log	csv_norm shp osm
594	Городские отделы жилищных субсидий	Социальная сфера	130	0	да	да	csv	csv log	csv_norm shp osm
596	Центры социально-трудовой адаптации и профориентации	Социальная сфера	5	+1	да	да	csv	csv log	csv_norm shp osm
597	Городской центр - Дети улиц	Социальная сфера	12	-5	да	да	csv	csv log	csv_norm shp osm
598	Детские дома	Социальная сфера	27	0	да	да	csv	csv log	csv_norm shp osm
599	Объекты инфраструктуры приспособленные для инвалидов	Социальная сфера	203	0	да	да	csv	csv log	csv_norm shp osm
600	Пансионаты для ветеранов	Социальная сфера	9	-5	да	да	csv	csv log	csv_norm shp osm
601	Психоневрологические интернаты	Социальная сфера	12	-6	да	да	csv	csv log	csv_norm shp osm
602	Территориальные центры социального обслуживания и филиалы	Социальная сфера	127	-4	да	да	csv	csv log	csv_norm shp osm
603	Управления социальной защиты населения	Социальная сфера	127	+1	да	да	csv	csv log	csv_norm shp osm
604	Центр социальной помощи семье и детям	Социальная сфера	36	-1	да	да	csv	csv log	csv_norm shp osm
605	Центры психологической помощи	Социальная сфера	13	0	да	да	csv	csv log	csv_norm shp osm
606	Центры реабилитации	Социальная сфера	20	+4	да	да	csv	csv log	csv_norm shp osm
607	Объекты ритуального обслуживания	Социальная сфера	77	0	да	да	csv	csv log	csv_norm shp osm
608	Отделы трудоустройства	Социальная сфера	57	+5	да	да	csv	csv log	csv_norm shp osm
609	Специализированные центры труда и занятости населения города Москвы	Социальная сфера	30	+1	да	да	csv	csv log	csv_norm shp osm
610	Центры занятости населения	Социальная сфера	11	0	да	да	csv	csv log	csv_norm shp osm
611	Многофункциональные центры	Социальная сфера	69	+4	да	да	csv	csv log	csv_norm shp osm
612	Расположение мест приема документов ДЗР	Территориальное планирование	12	0	да	да	csv	csv log	csv_norm shp osm
613	Границы зон охраны объектов культурного наследия	Территориальное планирование	456	0	да	да	csv	csv log	csv_norm shp osm
614	Границы территорий объектов культурного наследия	Территориальное планирование	1483	0	да	да	csv	csv log	csv_norm shp osm
615	Границы административных округов г. Москвы	Территориальное планирование	12	0	да	да	csv	csv log	csv_norm shp osm
616	Границы внутригородских муницип обр в г Москве	Территориальное планирование	151	+1	да	да	csv	csv log	csv_norm shp osm
617	Границы районов города Москвы	Территориальное планирование	129	0	да	да	csv	csv log	csv_norm shp osm
618	Границы территорий, по которым утверждены проекты планировок	Территориальное планирование	287	0	да	да	csv	csv log	csv_norm shp osm
619	Нестационарные торговые объекты	Торговля	10216	0	да	да	csv	csv log	csv_norm shp osm
620	Ярмарки выходного дня	Торговля	118	0	да	да	csv	csv log	csv_norm shp osm
621	Парковки такси	Транспорт	226	0	да	да	csv	csv log	csv_norm shp osm
622	Перехватывающие парковки	Транспорт	62	0	да	да	csv	csv log	csv_norm shp osm
623	Платные парковки на улично-дорожной сети	Транспорт	485	0	да	да	csv	csv log	csv_norm shp osm
624	Станции метрополитена	Транспорт	579	0	да	да	csv	csv log	csv_norm shp osm
625	Объекты капитального ремонта улично-дорожной сети	Улично-дорожная сеть	379	0	да	да	csv	csv log	csv_norm shp osm
626	Горнолыжные склоны Москвы	Физическая культура и спорт	8	0	да	да	csv	csv log	csv_norm shp osm
627	Лыжные трассы города Москвы	Физическая культура и спорт	197	0	да	да	csv	csv log	csv_norm shp osm
628	Открытые ледовые катки города Москвы	Физическая культура и спорт	123	0	да	да	csv	csv log	csv_norm shp osm
629	Спортивные объекты города Москвы	Физическая культура и спорт	256	-3730	да	да	csv	csv log	csv_norm shp osm
630	Спортивные секции города Москвы	Физическая культура и спорт	1762	+1	да	да	csv	csv log	csv_norm shp osm
651	Государственные казенные учреждения дирекции ЖКХ и благоустройства административных округов города Москвы	Жилищно-коммунальное хозяйство	16	0	да	да	csv	csv log	csv_norm shp osm
652	Инфраструктура поддержки малого и среднего предпринимательства	Объекты общегородских программ	11	0	да	да	csv	csv log	csv_norm shp osm
653	Региональные ярмарки	Торговля	53	+24	да	да	csv	csv log	csv_norm shp osm
654	Розничные рынки	Торговля	51	0	да	да	csv	csv log	csv_norm shp osm
655	Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси	Транспорт	35270	+6452	нет	да	csv	csv log	csv_norm shp osm
658	Тарифы на проезд в городском пассажирском транспорте	Транспорт	131	-152	нет	да	csv	csv log	csv_norm shp osm
671	Продажа билетов на пригородные поезда	Транспорт	252372	+166874	нет	да	csv	csv log	csv_norm shp osm
672	Реестр стационарных объектов наблюдения	Транспорт	702	+101	да	да	csv	csv log	csv_norm shp osm
673	Точки продажи билетов для проезда на наземном городском пассажирском транспорте	Транспорт	684	+41	да	да	csv	csv log	csv_norm shp osm
674	Реестр искусственных неровностей	Улично-дорожная сеть	1389	-2063	да	да	csv	csv log	csv_norm shp osm
744	Перечень приютов для бродячих животных (включая приюты префектур АО)	Жилищно-коммунальное хозяйство	17	0	нет	да	csv	csv log	csv_norm shp osm
745	Пешеходные тоннели и фонтаны	Жилищно-коммунальное хозяйство	413	0	нет	да	csv	csv log	csv_norm shp osm
746	Реестр образовательных учреждений. Дополнительное образование	Образование	36535	0	нет	да	csv	csv log	csv_norm shp osm
747	Реестр образовательных учреждений. Общие сведения	Образование	3492	0	нет	да	csv	csv log	csv_norm shp osm
749	Специализированные службы по вопросам похоронного дела	Социальная сфера	21	0	да	да	csv	csv log	csv_norm shp osm
750	Список аккредитованных социальных магазинов	Торговля	448	-3	да	да	csv	csv log	csv_norm shp osm
751	Маршруты мобильных комплексов фиксации нарушений	Транспорт	205	0	да	да	csv	csv log	csv_norm shp osm
752	Остановки НГПТ	Транспорт	11837	-98	да	да	csv	csv log	csv_norm shp osm
753	Список АЗС города Москвы, реализующих моторное топливо, соответствующее установленным экологическим требованиям	Экология	83	+36	нет	да	csv	csv log	csv_norm shp osm
754	Список АЗС города Москвы, реализующих моторное топливо, несоответствующее установленным экологическим требованиям	Экология	19	+7	нет	да	csv	csv log	csv_norm shp osm
758	Межрегиональные маршруты пассажирских перевозок	Транспорт	660	0	нет	да	csv	csv log	csv_norm shp osm
759	Нарушения ПДД выявляемые с использованием автоматической системы фотовидеофиксации нарушений ПДД	Транспорт	288	+203	нет	да	csv	csv log	csv_norm shp osm
760	Согласованные маршруты пассажирских перевозок коммерческими перевозчиками	Транспорт	608	0	нет	да	csv	csv log	csv_norm shp osm
761	Данные по проверкам Госинспекции по недвижимости с нарушениями за 2012 год	Имущество и земля города Москвы	5043	+1	нет	да	csv	csv log	csv_norm shp osm
781	Перечень выданных субсидий и льгот субъектам малого и среднего предпринимательства	Реестр справочной информации	112337	+5685	нет	да	csv	csv log	csv_norm shp osm
782	Итоги размещения госзаказа в сфере городской информатизации за 2012 год	Реестр справочной информации	362	0	нет	да	csv	csv log	csv_norm shp osm
801	График отключения горячей воды	Жилищно-коммунальное хозяйство	50506	0	нет	да	csv	csv log	csv_norm shp osm
821	Ремонтируемые объекты жилищного фонда	Имущество и земля города Москвы	1050	0	да	да	csv	csv log	csv_norm shp osm
841	Таксофоны МГТС	Связь	3033	0	да	да	csv	csv log	csv_norm shp osm
842	Стационарные общественные туалеты	Социальная сфера	215	0	да	да	csv	csv log	csv_norm shp osm
861	Wi-Fi в парках	Связь	165	+33	да	да	csv	csv log	csv_norm shp osm
883	Поля для гольфа	Физическая культура и спорт	4	0	да	да	csv	csv log	csv_norm shp osm
884	Площадки для пляжных видов спорта	Физическая культура и спорт	17	0	да	да	csv	csv log	csv_norm shp osm
885	Поля регбийные	Физическая культура и спорт	5	0	да	да	csv	csv log	csv_norm shp osm
886	Поля футбольные	Физическая культура и спорт	749	0	да	да	csv	csv log	csv_norm shp osm
887	Прокаты спортивного инвентаря (отдельностоящие)	Физическая культура и спорт	22	0	да	да	csv	csv log	csv_norm shp osm
888	Стрелковые тиры	Физическая культура и спорт	31	0	да	да	csv	csv log	csv_norm shp osm
889	Стрельбища	Физическая культура и спорт	1	0	да	да	csv	csv log	csv_norm shp osm
890	Бассейны плавательные крытые	Физическая культура и спорт	208	0	да	да	csv	csv log	csv_norm shp osm
891	Теннисные корты	Физическая культура и спорт	79	0	да	да	csv	csv log	csv_norm shp osm
892	Поля для мини-гольфа	Физическая культура и спорт	3	0	да	да	csv	csv log	csv_norm shp osm
893	Площадки спортивные универсальные	Физическая культура и спорт	5090	0	да	да	csv	csv log	csv_norm shp osm
894	Бассейны плавательные открытые	Физическая культура и спорт	5	0	да	да	csv	csv log	csv_norm shp osm
895	Площадки пейнтбольные	Физическая культура и спорт	17	0	да	да	csv	csv log	csv_norm shp osm
896	Городки тренажерные (воркауты)	Физическая культура и спорт	74	0	да	да	csv	csv log	csv_norm shp osm
897	Дорожки велосипедные	Физическая культура и спорт	2	+1	да	да	csv	csv log	csv_norm shp osm
898	Городки тренажерные универсальные	Физическая культура и спорт	742	0	да	да	csv	csv log	csv_norm shp osm
899	Дорожки беговые-прогулочные	Физическая культура и спорт	156	0	да	да	csv	csv log	csv_norm shp osm
900	Скалодромы	Физическая культура и спорт	15	0	да	да	csv	csv log	csv_norm shp osm
901	Гребные базы и каналы	Физическая культура и спорт	1	0	да	да	csv	csv log	csv_norm shp osm
902	Поля конно-спортивные для конкура и выездки	Физическая культура и спорт	6	0	да	да	csv	csv log	csv_norm shp osm
903	Автодромы спортивные	Физическая культура и спорт	18	0	да	да	csv	csv log	csv_norm shp osm
904	Площадки детские игровые	Отдых	669	0	да	да	csv	csv log	csv_norm shp osm
905	Детские развивающие центры	Образование	5	0	да	да	csv	csv log	csv_norm shp osm
906	Летние эстрады, сцены	Отдых	11	0	да	да	csv	csv log	csv_norm shp osm
907	Лодочные станции	Отдых	5	0	да	да	csv	csv log	csv_norm shp osm
908	Роллердромы, скейтпарки	Отдых	19	0	да	да	csv	csv log	csv_norm shp osm
909	Места для летнего купания	Отдых	8	0	да	да	csv	csv log	csv_norm shp osm
910	Мини-зоопарки	Отдых	6	0	да	да	csv	csv log	csv_norm shp osm
911	Городки веревочные	Отдых	3	0	да	да	csv	csv log	csv_norm shp osm
912	Площадки для пикника	Отдых	9	0	да	да	csv	csv log	csv_norm shp osm
913	Площадки для настольных игр	Отдых	31	0	да	да	csv	csv log	csv_norm shp osm
914	Автодромы аттракционные	Отдых	4	0	да	да	csv	csv log	csv_norm shp osm
915	Автодромы детские учебные	Образование	34	0	да	да	csv	csv log	csv_norm shp osm
916	Велопарковки	Физическая культура и спорт	97	0	да	да	csv	csv log	csv_norm shp osm
917	Площадки для городошного спорта	Физическая культура и спорт	1	0	да	да	csv	csv log	csv_norm shp osm
918	Станции проката велосипедов	Физическая культура и спорт	78	+48	да	да	csv	csv log	csv_norm shp osm
919	Зоны отдыха у воды	Отдых	16	0	да	да	csv	csv log	csv_norm shp osm
920	Пешеходные зоны	Улично-дорожная сеть	16	0	да	да	csv	csv log	csv_norm shp osm
921	Гарантированный перечень услуг по погребению	Справочная информация	12	0	да	да	csv	csv log	csv_norm shp osm
941	Реестр контрольных мероприятий (по выявленным нарушениям)	Справочная информация	3118	+891	нет	да	csv	csv log	csv_norm shp osm
961	Избирательные участки города Москвы	Выборы	3597	0	да	да	csv	csv log	csv_norm shp osm
981	Фонтаны	Жилищно-коммунальное хозяйство	37	0	да	да	csv	csv log	csv_norm shp osm
1001	Данные о выполнении заданий по мобилизации доходов	Справочная информация	89		нет	да	csv	csv log	csv_norm shp osm
1002	Структура доходов бюджета города Москвы	Справочная информация	25		нет	да	csv	csv log	csv_norm shp osm
1022	Нежилые помещения, зарегистрированные в собственность г. Москвы	Земля и имущество	58119		да	да	csv	csv log	csv_norm shp osm
1025	Структура доходов бюджета города Москвы	Справочная информация	25		нет	да	csv	csv log	csv_norm shp osm
1026	Данные о выполнение заданий по мобилизации доходов	Справочная информация	89		нет	да	csv	csv log	csv_norm shp osm
1033	Парки	Досуг и отдых	98		да	да	csv	csv log	csv_norm shp osm
1034	Реестр учреждений, осуществляющих управленческие функции	Выборы	7		нет	да	csv	csv log	csv_norm shp osm
1043	Перечень пунктов выдачи технических средств реабилитации	Справочная информация	81		да	да	csv	csv log	csv_norm shp osm
1044	Учреждения социальной помощи для бездомных граждан	Социальная среда	8		да	да	csv	csv log	csv_norm shp osm
1046	Ответственные балансодержатели межрельсового покрытия участков трамвайных путей	Дороги и транспорт	253		да	да	csv	csv log	csv_norm shp osm
1051	Эвакуаторные спецстоянки	Дороги и транспорт	12		да	да	csv	csv log	csv_norm shp osm
1096	Зарегистрированное население по районам города Москвы	Социальная среда	125		нет	да	csv	csv log	csv_norm shp osm
1097	Информация о проведенных проверках юридических лиц и индивидуальных предпринимателей и принятых мерах за отчетный период	Справочная информация	530		нет	да	csv	csv log	csv_norm shp osm
1098	Справочник мест приема экзаменов на получение удостоверения на право управления самоходной техникой	Справочная информация	5		да	да	csv	csv log	csv_norm shp osm
1101	Доля города Москвы в хозяйственных обществах	Земля и имущество	340		нет	да	csv	csv log	csv_norm shp osm
1102	Рейтинг топ-100 должников арендной платы по договорам аренды на нежилые помещения	Выборы	100		нет	да	csv	csv log	csv_norm shp osm
1106	Земельные участки, выставляемые на торги, в разрезе этапов прохождения торгов	Земля и имущество	68		да	да	csv	csv log	csv_norm shp osm
1108	Итоги проведения торгов на право заключения договоров по аренде объектов недвижимости	Земля и имущество	88		да	да	csv	csv log	csv_norm shp osm
1110	Итоги проведения торгов по продаже пакетов акций	Предпринимательство	10		нет	да	csv	csv log	csv_norm shp osm
1112	Пакеты акций в собственности города Москвы	Выборы	263		нет	да	csv	csv log	csv_norm shp osm
1113	Перечень объектов на право заключения договоров аренды объектов недвижимости	Земля и имущество	62		да	да	csv	csv log	csv_norm shp osm
1114	Перечень объектов по продаже пакетов акций	Справочная информация	42		нет	да	csv	csv log	csv_norm shp osm
1124	Тарифы на коммунальные услуги для населения города Москвы на 2006 год	Жилищно-коммунальное хозяйство	40		нет	да	csv	csv log	csv_norm shp osm
1125	Тарифы на коммунальные услуги для населения города Москвы на 2007 год	Жилищно-коммунальное хозяйство	39		нет	да	csv	csv log	csv_norm shp osm
1126	Тарифы на коммунальные услуги для населения города Москвы на 2008 год	Жилищно-коммунальное хозяйство	46		нет	да	csv	csv log	csv_norm shp osm
1127	Тарифы на коммунальные услуги для населения города Москвы на 2009 год	Жилищно-коммунальное хозяйство	49		нет	да	csv	csv log	csv_norm shp osm
1128	Тарифы на коммунальные услуги для населения города Москвы на 2010 год	Жилищно-коммунальное хозяйство	48		нет	да	csv	csv log	csv_norm shp osm
1129	Тарифы на коммунальные услуги для населения города Москвы на 2011 год	Жилищно-коммунальное хозяйство	52		нет	да	csv	csv log	csv_norm shp osm
1130	Тарифы на коммунальные услуги для населения города Москвы на 2012 год	Жилищно-коммунальное хозяйство	69		нет	да	csv	csv log	csv_norm shp osm
1131	Тарифы на коммунальные услуги для населения города Москвы на 2013 год	Жилищно-коммунальное хозяйство	373		нет	да	csv	csv log	csv_norm shp osm
1147	Электронная нотная библиотека города Москвы	Культура	300		нет	да	csv	csv log	csv_norm shp osm
1148	Фильмофонд «Московское кино»	Культура	2623		нет	да	csv	csv log	csv_norm shp osm
1181	Образовательные учреждения	Культура	200		да	да	csv	csv log	csv_norm shp osm
1191	Реестр проектов планировок	Территориальное деление	321		нет	да	csv	csv log	csv_norm shp osm
1193	Ветеринарные учреждения	Справочная информация	21		да	да	csv	csv log	csv_norm shp osm
1201	Прогнозируемый общий объем доходов бюджета города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о бюджете города Москвы от 21.11.2012 г. № 59	Справочная информация	1		нет	да	csv	csv log	csv_norm shp osm
1202	Расходы бюджета города Москвы по финансовому обеспечению государственных программ, подпрограмм города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о бюджете города Москвы от 21.11.2012 г. № 59	Справочная информация	106		нет	да	csv	csv log	csv_norm shp osm
1203	Источники финансирования дефицита бюджета города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о бюджете города Москвы от 21.11.2012 г. № 59	Справочная информация	18		нет	да	csv	csv log	csv_norm shp osm
1204	Прогнозируемый общий объем доходов бюджета города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о внесении изменений в закон о бюджете города Москвы от 02.10.2013 г. № 52	Справочная информация	5		нет	да	csv	csv log	csv_norm shp osm
1205	Ведомственная структура расходов бюджета города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о внесении изменений в закон о бюджете города Москвы от 02.10.2013 г. № 52	Справочная информация	7566		нет	да	csv	csv log	csv_norm shp osm
1206	Расходы бюджета города Москвы по финансовому обеспечению государственных программ, подпрограмм города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о внесении изменений в закон о бюджете города Москвы от 02.10.2013 г. № 52	Справочная информация	107		нет	да	csv	csv log	csv_norm shp osm
1207	Источники финансирования дефицита бюджета города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о внесении изменений в закон о бюджете города Москвы от 02.10.2013 г. № 52	Справочная информация	18		нет	да	csv	csv log	csv_norm shp osm
1208	Ведомственная структура расходов бюджета города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о бюджете города Москвы от 21.11.2012 г. № 59	Справочная информация	7200		нет	да	csv	csv log	csv_norm shp osm
1224	Реестр камер городского видеонаблюдения	Справочная информация	24862		да	да	csv	csv log	csv_norm shp osm
1231	Открытые ледовые катки	Физическая культура и спорт	1463		да	да	csv	csv log	csv_norm shp osm
1232	Ледовые поля (крытые)	Физическая культура и спорт	45		да	да	csv	csv log	csv_norm shp osm
1233	Лыжные трассы города Москвы	Физическая культура и спорт	214		да	да	csv	csv log	csv_norm shp osm

Известные проблемы нормализации

1. Закавыченные строки с "разделителем" слепятся, например (исходник, результат 529.csv #64):

 ;"www.tretyakovgallery.ru;tretyakov.ru"; -> ;www.tretyakovgallery.rutretyakov.ru;

2. Пока не обрабатываются значения вида (пример 821.csv)

 55.735571:37.616719,55.735571:37.61672,55.735572:37.616719

Использованные скрипты и сопутствующие файлы, процесс обновления

Язык - Python. Все скрипты можно взять на Github.

По шагам:

1. batch_download.py - Загружаем данные в папку data. Скрипт использует http://gis-lab.info/data/mos.ru/data/_listings/_general.csv как источник кодов для ссылок:

 env\Scripts\python batch_download.py

2. Архивируем всё для истории

 for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i

и выгружаем на FTP в качестве исходников.

3. batch_field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов

 env\Scripts\python batch_field_sanitizer_read.py data\ fields.csv yes yes

• fields.csv - все названия полей данных
• yes - обновлять существующий файл замен имен полей
• yes - использовать транслит для новых полей

4. Вручную редактируем файл fields.csv добавляя замены
5. batch_field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv

 env\Scripts\python batch_field_sanitizer_write.py data\ data-norm fields.csv

6. batch_process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует wgs84.prj.

 python batch_process.py

• wgs84.prj - файл описания результирующей нормализованной системы координат

7. batch_table.py - Формируем таблицу в вики-формате (для этой страницы), использует http://gis-lab.info/data/mos.ru/data/_listings/_general.csv

 env\Scripts\python batch_table.py > table.wiki