Нормализованные данные с портала открытых данных Москвы

Материал из GIS-Lab
Перейти к навигации Перейти к поиску
Эта страница опубликована в основном списке статей сайта
по адресу http://gis-lab.info/qa/data-mos.html


Описание данных и копия данных в более удобном для ГИС формате

Источник данных: Портал открытых данных г. Москва http://data.mos.ru

Об исходных данных

Системы координат данных:

  • EPSG: 4326 (latlon/WGS84)
  • EPSG: 3857 (Web Mercator/WGS84)
  • Местная московская система координат (ПМСК 1, 2)

Формат данных: CSV
Кодировка: UTF-8
Формат хранения геометрий: WKT или пара полей с координатами.

Лицензия данных разрешает любое использование (включая коммерческое) при условии наличия ссылки на первоисточник.

Условия использования набора данных не предполагают ограничений использования набора данных в некоммерческих и коммерческих целях.

Лицензия не указывает явным образом согласие с CT OpenStreetMap.

Сомнительные места организации и ошибки в исходных данных

Уровень проблемности этих пунктов разный. Некоторые из них не позволят даже начать работу с данными, многие улучшили бы данные, но не помешают их использовать специалисту. Пометка "-> исправлено" означает, что данная проблема исправлена в нормализованной версии данных представленных в этом проекте.

  1. Служебная информация в названиях полей -> исправлено
  2. Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено
  3. Исходные данные в системе координат: ПМСК (местная система координат г. Москвы) (ужасная СК для распространения векторных данных) -> исправлено
  4. Смешивание данных в разных системах координат в одних и тех же столбцах в одном наборе данных -> исправлено
  5. Непоследовательное применение WKT представлений координат, то используется, то не используется.
  6. Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено
  7. Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено
  8. Названия полей содержат спецсимволы (например "№", "/", "," - проблемы с конвертацией) -> исправлено
  9. Названия полей содержат разрывы строк (например: 782.csv от 20130806) -> исправлено
  10. Одни и те же названия полей то в кавычках, то без (просто некрасиво) -> исправлено
  11. Одни и те же названия полей то с пробелами, то с "_" вместо пробелов (просто некрасиво) -> исправлено
  12. Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено
  13. Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено
  14. Отсутствуют вспомогательные файлы описания системы координат данных -> исправлено
  15. Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено
  16. Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено
  17. Многочисленные неоправданные последовательности символов "пробел" в атрибутике -> исправлено
  18. Пустые поля. ";" в конце заголовка и ";" в конце каждой записи (пример: 619), иногда нерегулярно встречается "; " -> исправлено
  19. На данный момент (20130609) многие наборы данных, ранее имевшие геопривязку, ее потеряли - используйте архивные версии.
  20. Неоправданные разрывы строк в записях (например: 493.csv от 20130806, форум) -> исправлено
  21. Названия полей отсутствующие в принципе (например пропавшее поле WKT 562.csv от 20130806) -> исправлено
  22. Различные переносы строк - Windows, UNIX (сравнить например 493.csv и 914.csv от 20130806) -> исправлено
  23. Поля с координатами называются так, что невозможно понять, что там координаты (например: поля X,Y 501.csv от 201309029 называются "0_Тип Выходного" и "0_Доп информация") -> исправлено
  24. Поля с координатами называются так, как будто они в одной СК, когда на самом деле они в другой (например: поля X,Y [589.7z 589.csv] от 2013???? называются "X_MSK77;Y_MSK77")
  25. Поля с координатами неправильно указаны в заголовке (например: поля X,Y 591.csv или 673.csv от 20131212 соответствуют телефону и времени работы) -> исправлено

TODO

Мы будем рады если кто-то подключится и поможет со следующими делами.

  1. *.csvt файлы пока рассматривают все поля как тип String(255). Нужно пройтись по всем полям и выяснить их тип, добавив его в fields.csv <- вручную
  2. создать *.qml <- вручную
  3. сконвертировать все в GeoJSON <- скриптом (пока скрипта нет)
  4. обновлять только обновившееся, дату можно взять из метаданных, (но вдруг нас обманут? :) либо побайтово сравнивать с пред.версией CSV <- плохая идея
  5. добавить поле CODE_OLD показывающее как набор данных назывался в предыдущих версиях <- вручную
  6. добавить отдельную таблицу удаленных (unavailable) наборов данных <- скриптом (доделать batch_table.py)
  7. добавить поле "Геоданные, вообще" - показывающее есть ли геоданные в любой версии набора <- вручную
  8. переделать таблицу замен имен полей <- скриптом + вручную

Актуальность производных данных и архив

Текущая версия данных расположенная здесь: 12 декабря 2013.

Чтобы посмотреть архивную версию данных, возьмите ссылку из таблице ниже и добавьте дату в формате YYYYMMDD. Например:
Актуальная версия:

 http://gis-lab.info/data/mos.ru/493_shp.7z

Архивная:

 http://gis-lab.info/data/mos.ru/20130213/493_shp.7z

Доступны архивы за следующие числа:
20130213,20130222,20130503,20130522,20130611,20130626,20130806,20130929,20131212

Вы можете также воспользоваться специальным сервисом, который следит за обновлениями исходных данных на data.mos.ru и архивирует все версии. Пока этот сервис не занимается нормализацией данных. Планируется объединить эти два сервиса.

Что делать если в свежей версии поломаны данные?

ДИТ периодически "ломает" выкладываемые данные (см. перечень проблем выше). Возможно данные или геоданные не поломаны в архивной версии. Соответственно, чтобы восстановить данные, нужно взять их предыдущую версию. Для этого нужно:

  1. Выбрать одну из архивных версий выше, например 20130222.
  2. Определить старый номер набора данных (да, у ДИТа нестабильные номера наборов данных), посмотрев в файл _list.csv лежащий в папке архива. Если такого файла нет, то нужно посмотреть список наборов по этой ссылке.
  3. Определить старый номер этого набора (если он изменился) и скачать соответствующий набор из папки архива.

Нормализованные данные

О нормализованных данных

Все данные - в UTF-8, геометрии - в EPSG:4326. Дополнительно 2 поля: LAT, LON содержащие координаты исходно хранящиеся в 3 разных системах (см. выше), приведенные в эту систему координат в преобразованных данных.

В таблице в поле Источник и Данные данные для скачивания:

  • csv - исходные данные 'как есть' на data.mos.ru.
  • csv-norm - данные в формате CSV, с нормализованными названиями полей, *.csvt, *.prj, *.vrt файлами.
  • shp - данные в формате ESRI Shape (максимальная длина строк 255 символов).
  • osm - данные в формате OSM XML, без обрезки атрибутики.

Полный перечень названий полей и их замен для нормализованых данных.

Скачать данные

Поля:

  • "Изменение" - сравнение с версией от 20130929. Цветами показаны: увеличение или уменьшение количества объектов, новый набор (отсутствовавший 20130929)
  • "Геоданные, официально" - значится ли, что это геоданные на официальном портале.
  • "Геоданные, реально" - есть ли геоданные в последней версии данных, если нет, см. также тут.
Код Описание набора Категория Объектов Изменение Геоданные
официально
Геоданные
реально
Оригинал Версии Данные
Все данные Все csv csv_norm
shp
osm
493 Дома культуры и клубы Досуг и отдых 245 -34 да да csv csv
log
csv_norm
shp
osm
494 Парки (включая парки не подведомственные) Досуг и отдых 80 0 да да csv csv
log
csv_norm
shp
osm
495 Кинотеатры Досуг и отдых 159 -45 да да csv csv
log
csv_norm
shp
osm
496 Молодежные центры Досуг и отдых 15 0 да да csv csv
log
csv_norm
shp
osm
497 Учреждения семейной и молодежной политики Досуг и отдых 5 0 да да csv csv
log
csv_norm
shp
osm
498 Аттракционная техника с механическим приводом, установленная в скверах и парках Досуг и отдых 462 +74 да да csv csv
log
csv_norm
shp
osm
499 Государственные учреждения, подведомственные Департаменту жилищно-коммунального хозяйства и благоустройства города Москвы Жилищно-коммунальное хозяйство 27 0 да да csv csv
log
csv_norm
shp
osm
500 Районные инженерные службы Жилищно-коммунальное хозяйство 119 0 да да csv csv
log
csv_norm
shp
osm
501 Аптеки Здравоохранение 4119 -2 да да csv csv
log
csv_norm
shp
osm
502 Больницы города Москвы Здравоохранение 23 -77 да да csv csv
log
csv_norm
shp
osm
503 Городские поликлиники Здравоохранение 274 +88 да да csv csv
log
csv_norm
shp
osm
504 Госпитали всех наименований, учредителем которых является город Москва Здравоохранение 4 0 да да csv csv
log
csv_norm
shp
osm
505 Детские поликлиники Здравоохранение 185 +13 да да csv csv
log
csv_norm
shp
osm
506 Детские стоматологические поликлиники Здравоохранение 37 +12 да да csv csv
log
csv_norm
shp
osm
507 Диспансеры Здравоохранение 91 +37 да да csv csv
log
csv_norm
shp
osm
508 Дома ребенка Здравоохранение 17 +1 да да csv csv
log
csv_norm
shp
osm
509 Женские консультации Здравоохранение 92 +74 да да csv csv
log
csv_norm
shp
osm
510 Здравоохранение. Санатории Здравоохранение 21 -21 да да csv csv
log
csv_norm
shp
osm
511 Консультативно диагностические центры Здравоохранение 18 0 да да csv csv
log
csv_norm
shp
osm
512 Молочные кухни Здравоохранение 194 +49 да да csv csv
log
csv_norm
shp
osm
513 Научно-практические медицинские центры, учредителем которых является город Москва Здравоохранение 36 0 да да csv csv
log
csv_norm
shp
osm
514 Родильные дома г. Москвы Здравоохранение 28 +5 да да csv csv
log
csv_norm
shp
osm
515 Станции переливания крови Здравоохранение 18 +17 да да csv csv
log
csv_norm
shp
osm
516 Станции скорой и неотложной медицинской помощи Здравоохранение 96 +95 да да csv csv
log
csv_norm
shp
osm
517 Стационары Здравоохранение 63 +4 да да csv csv
log
csv_norm
shp
osm
518 Стоматологические поликлиники Здравоохранение 97 +60 да да csv csv
log
csv_norm
shp
osm
519 Хосписы Здравоохранение 8 0 да да csv csv
log
csv_norm
shp
osm
520 Паспортизация квартир в домах-новостройках, строительство которых выполнено за счет городского бюджета и по инвестиционным проектам Имущество и земля города Москвы 1041 +4 да да csv csv
log
csv_norm
shp
osm
521 Земельные участки, находящиеся в собственности г. Москвы Имущество и земля города Москвы 1000 0 нет да csv csv
log
csv_norm
shp
osm
522 Рейтинг топ-100 должников арендной платы Имущество и земля города Москвы 100 0 нет да csv csv
log
csv_norm
shp
osm
523 Нежилые помещения, зарегистрированные в собственность г. Москвы Имущество и земля города Москвы 37849 0 да да csv csv
log
csv_norm
shp
osm
524 Ремонтируемые объекты жилищного фонда Имущество и земля города Москвы 1050 0 нет да csv csv
log
csv_norm
shp
osm
525 Ремонтируемые объекты нежилого фонда Имущество и земля города Москвы 41 0 да да csv csv
log
csv_norm
shp
osm
526 Библиотеки Культура 470 -54 да да csv csv
log
csv_norm
shp
osm
527 Выставочные залы Культура 25 -1 да да csv csv
log
csv_norm
shp
osm
528 Концертные организации Культура 80 -7 да да csv csv
log
csv_norm
shp
osm
529 Музеи Культура 303 +15 да да csv csv
log
csv_norm
shp
osm
530 Объекты культурного наследия и Выявленные объекты культурного наследия Культура 6104 0 да да csv csv
log
csv_norm
shp
osm
531 Театры Культура 237 0 да да csv csv
log
csv_norm
shp
osm
532 Детские музыкальные школы Образование 107 0 да да csv csv
log
csv_norm
shp
osm
533 Детские художественные школы Образование 19 0 да да csv csv
log
csv_norm
shp
osm
534 Детские школы искусств Образование 47 0 да да csv csv
log
csv_norm
shp
osm
535 Вечерние школы Образование 10 +3 да да csv csv
log
csv_norm
shp
osm
536 Военно-патриотическое направление Образование 92 +83 да да csv csv
log
csv_norm
shp
osm
537 Учреждения высшего профессионального образования Образование 46 +36 да да csv csv
log
csv_norm
shp
osm
538 Гимназия Образование 169 +85 да да csv csv
log
csv_norm
shp
osm
539 Детские сады в составе школ (образовательные комплексы) Образование 876 +744 да да csv csv
log
csv_norm
shp
osm
540 Детские сады Образование 1925 +770 да да csv csv
log
csv_norm
shp
osm
541 Детский сад комбинированного вида Образование 481 +76 да да csv csv
log
csv_norm
shp
osm
542 Детский сад компенсирующего вида Образование 191 +1 да да csv csv
log
csv_norm
shp
osm
543 Естественнонаучное направление Образование 72 +66 да да csv csv
log
csv_norm
shp
osm
544 Кадетские школы Образование 9 +1 да да csv csv
log
csv_norm
shp
osm
545 Кадетские школы-интернаты Образование 25 +14 да да csv csv
log
csv_norm
shp
osm
546 Колледжи Образование 285 +178 да да csv csv
log
csv_norm
shp
osm
547 Коррекционная начальная школа-детский сад Образование 8 +3 да да csv csv
log
csv_norm
shp
osm
548 Коррекционная общеобразовательная школа Образование 29 +4 да да csv csv
log
csv_norm
shp
osm
549 Коррекционная общеобразовательная школа-интернат Образование 57 +28 да да csv csv
log
csv_norm
shp
osm
550 Коррекционная школа-интернат для детей-сирот и детей, оставшихся без попечения родителей Образование 4 0 да да csv csv
log
csv_norm
shp
osm
551 Культурологическое направление Образование 179 +119 да да csv csv
log
csv_norm
shp
osm
552 Лицей Образование 91 +51 да да csv csv
log
csv_norm
shp
osm
553 Научно-техническое направление Образование 147 +137 да да csv csv
log
csv_norm
shp
osm
554 Начальная школа - десткий сад компенсирующего вида Образование 21 +7 да да csv csv
log
csv_norm
shp
osm
555 Начальная школа - детский сад Образование 21 +8 да да csv csv
log
csv_norm
shp
osm
556 Образовательные учреждения города Москвы, реализующие программы среднего профессионального образования. Техникумы Образование 27 +18 да да csv csv
log
csv_norm
shp
osm
557 Прогимназия Образование 28 +4 да да csv csv
log
csv_norm
shp
osm
559 Санаторная школа-интернат Образование 11 +6 да да csv csv
log
csv_norm
shp
osm
560 Санаторно-лесная школа Образование 5 0 да да csv csv
log
csv_norm
shp
osm
561 Социально-педагогическое направление Образование 195 +154 да да csv csv
log
csv_norm
shp
osm
562 Социально-экономическое направление Образование 28 +26 да да csv csv
log
csv_norm
shp
osm
563 Специальная общеобразовательная школа для детей и подростков с девиантным поведением Образование 6 -1 да да csv csv
log
csv_norm
shp
osm
564 Спортивно-техническое направление Образование 93 +91 да да csv csv
log
csv_norm
shp
osm
565 Средняя образовательная школа Образование 1230 +444 да да csv csv
log
csv_norm
shp
osm
566 Средняя образовательная школа "Школа Здоровья" Образование 65 +6 да да csv csv
log
csv_norm
shp
osm
567 Средняя образовательная школа с углубленным изучением отдельных предметов Образование 267 +98 да да csv csv
log
csv_norm
shp
osm
568 Средняя общеобразовательная школа с этнокультурным (национальным) компонентом образования Образование 24 +2 да да csv csv
log
csv_norm
shp
osm
569 Туристко-краеведческое направление Образование 136 +127 да да csv csv
log
csv_norm
shp
osm
570 Учебно-производственные комбинаты Образование 6 +3 да да csv csv
log
csv_norm
shp
osm
571 Учреждения для детей-сирот и детей, оставшихся без попечения родителей Образование 29 0 да да csv csv
log
csv_norm
shp
osm
572 Физкультурно-спортивное направление Образование 199 +185 да да csv csv
log
csv_norm
shp
osm
573 Художественно-эстетическое направление Образование 206 +132 да да csv csv
log
csv_norm
shp
osm
574 Центр диагностики и консультирования Образование 69 +63 да да csv csv
log
csv_norm
shp
osm
575 Центр лечебной педагогики и дифференцированного обучения Образование 4 0 да да csv csv
log
csv_norm
shp
osm
576 Центр образования Образование 255 +75 да да csv csv
log
csv_norm
shp
osm
577 Центр психолого-педагогической реабилитации и коррекции Образование 17 +1 да да csv csv
log
csv_norm
shp
osm
578 Центры повышения квалификации Образование 2 -1 да да csv csv
log
csv_norm
shp
osm
579 Центры психолого-медико-социального сопровождения Образование 39 +14 да да csv csv
log
csv_norm
shp
osm
580 Школа-интернат для детей-сирот и детей, оставшихся без попечения родителей Образование 3 0 да да csv csv
log
csv_norm
shp
osm
581 Школы надомного обучения Образование 13 0 да да csv csv
log
csv_norm
shp
osm
582 Школы, имеющие в своем составе детские сады (образовательные комплексы) Образование 876 +744 да да csv csv
log
csv_norm
shp
osm
583 Школы-интернаты Образование 22 +16 да да csv csv
log
csv_norm
shp
osm
584 Школы-интернаты с углубленным изучением отдельных предметов Образование 8 +4 да да csv csv
log
csv_norm
shp
osm
585 Эколого-биологическое направление Образование 116 +112 да да csv csv
log
csv_norm
shp
osm
586 Объекты розничной торговли и общественного питания, имеющие лицензию на розничную продажу алкогольной продукции с указанием срока ее дейст Общественное питание 10874 0 да да csv csv
log
csv_norm
shp
osm
587 Сезонные кафе при стационарных объектах общественного питания Общественное питание 1610 0 да да csv csv
log
csv_norm
shp
osm
588 Объекты гаражного назначения по программе «Народный гараж» Объекты общегородских программ 172 0 да да csv csv
log
csv_norm
shp
osm
589 Органы ЗАГС Москвы Органы государственной власти города Москвы 38 0 да да csv csv
log
csv_norm
shp
osm
590 Судебные участки мировых судей города Москвы Органы государственной власти города Москвы 438 0 да да csv csv
log
csv_norm
shp
osm
591 Перечень выданных субсидий организациям промышленности, науки и инновационной инфраструктуры города Реестр справочной информации 87 +35 нет да csv csv
log
csv_norm
shp
osm
593 Перечень приоритетных продуктов и технологий, используемых в отраслях городского хозяйства Реестр справочной информации 580 +217 нет да csv csv
log
csv_norm
shp
osm
594 Городские отделы жилищных субсидий Социальная сфера 130 0 да да csv csv
log
csv_norm
shp
osm
596 Центры социально-трудовой адаптации и профориентации Социальная сфера 5 +1 да да csv csv
log
csv_norm
shp
osm
597 Городской центр - Дети улиц Социальная сфера 12 -5 да да csv csv
log
csv_norm
shp
osm
598 Детские дома Социальная сфера 27 0 да да csv csv
log
csv_norm
shp
osm
599 Объекты инфраструктуры приспособленные для инвалидов Социальная сфера 203 0 да да csv csv
log
csv_norm
shp
osm
600 Пансионаты для ветеранов Социальная сфера 9 -5 да да csv csv
log
csv_norm
shp
osm
601 Психоневрологические интернаты Социальная сфера 12 -6 да да csv csv
log
csv_norm
shp
osm
602 Территориальные центры социального обслуживания и филиалы Социальная сфера 127 -4 да да csv csv
log
csv_norm
shp
osm
603 Управления социальной защиты населения Социальная сфера 127 +1 да да csv csv
log
csv_norm
shp
osm
604 Центр социальной помощи семье и детям Социальная сфера 36 -1 да да csv csv
log
csv_norm
shp
osm
605 Центры психологической помощи Социальная сфера 13 0 да да csv csv
log
csv_norm
shp
osm
606 Центры реабилитации Социальная сфера 20 +4 да да csv csv
log
csv_norm
shp
osm
607 Объекты ритуального обслуживания Социальная сфера 77 0 да да csv csv
log
csv_norm
shp
osm
608 Отделы трудоустройства Социальная сфера 57 +5 да да csv csv
log
csv_norm
shp
osm
609 Специализированные центры труда и занятости населения города Москвы Социальная сфера 30 +1 да да csv csv
log
csv_norm
shp
osm
610 Центры занятости населения Социальная сфера 11 0 да да csv csv
log
csv_norm
shp
osm
611 Многофункциональные центры Социальная сфера 69 +4 да да csv csv
log
csv_norm
shp
osm
612 Расположение мест приема документов ДЗР Территориальное планирование 12 0 да да csv csv
log
csv_norm
shp
osm
613 Границы зон охраны объектов культурного наследия Территориальное планирование 456 0 да да csv csv
log
csv_norm
shp
osm
614 Границы территорий объектов культурного наследия Территориальное планирование 1483 0 да да csv csv
log
csv_norm
shp
osm
615 Границы административных округов г. Москвы Территориальное планирование 12 0 да да csv csv
log
csv_norm
shp
osm
616 Границы внутригородских муницип обр в г Москве Территориальное планирование 151 +1 да да csv csv
log
csv_norm
shp
osm
617 Границы районов города Москвы Территориальное планирование 129 0 да да csv csv
log
csv_norm
shp
osm
618 Границы территорий, по которым утверждены проекты планировок Территориальное планирование 287 0 да да csv csv
log
csv_norm
shp
osm
619 Нестационарные торговые объекты Торговля 10216 0 да да csv csv
log
csv_norm
shp
osm
620 Ярмарки выходного дня Торговля 118 0 да да csv csv
log
csv_norm
shp
osm
621 Парковки такси Транспорт 226 0 да да csv csv
log
csv_norm
shp
osm
622 Перехватывающие парковки Транспорт 62 0 да да csv csv
log
csv_norm
shp
osm
623 Платные парковки на улично-дорожной сети Транспорт 485 0 да да csv csv
log
csv_norm
shp
osm
624 Станции метрополитена Транспорт 579 0 да да csv csv
log
csv_norm
shp
osm
625 Объекты капитального ремонта улично-дорожной сети Улично-дорожная сеть 379 0 да да csv csv
log
csv_norm
shp
osm
626 Горнолыжные склоны Москвы Физическая культура и спорт 8 0 да да csv csv
log
csv_norm
shp
osm
627 Лыжные трассы города Москвы Физическая культура и спорт 197 0 да да csv csv
log
csv_norm
shp
osm
628 Открытые ледовые катки города Москвы Физическая культура и спорт 123 0 да да csv csv
log
csv_norm
shp
osm
629 Спортивные объекты города Москвы Физическая культура и спорт 256 -3730 да да csv csv
log
csv_norm
shp
osm
630 Спортивные секции города Москвы Физическая культура и спорт 1762 +1 да да csv csv
log
csv_norm
shp
osm
651 Государственные казенные учреждения дирекции ЖКХ и благоустройства административных округов города Москвы Жилищно-коммунальное хозяйство 16 0 да да csv csv
log
csv_norm
shp
osm
652 Инфраструктура поддержки малого и среднего предпринимательства Объекты общегородских программ 11 0 да да csv csv
log
csv_norm
shp
osm
653 Региональные ярмарки Торговля 53 +24 да да csv csv
log
csv_norm
shp
osm
654 Розничные рынки Торговля 51 0 да да csv csv
log
csv_norm
shp
osm
655 Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси Транспорт 35270 +6452 нет да csv csv
log
csv_norm
shp
osm
658 Тарифы на проезд в городском пассажирском транспорте Транспорт 131 -152 нет да csv csv
log
csv_norm
shp
osm
671 Продажа билетов на пригородные поезда Транспорт 252372 +166874 нет да csv csv
log
csv_norm
shp
osm
672 Реестр стационарных объектов наблюдения Транспорт 702 +101 да да csv csv
log
csv_norm
shp
osm
673 Точки продажи билетов для проезда на наземном городском пассажирском транспорте Транспорт 684 +41 да да csv csv
log
csv_norm
shp
osm
674 Реестр искусственных неровностей Улично-дорожная сеть 1389 -2063 да да csv csv
log
csv_norm
shp
osm
744 Перечень приютов для бродячих животных (включая приюты префектур АО) Жилищно-коммунальное хозяйство 17 0 нет да csv csv
log
csv_norm
shp
osm
745 Пешеходные тоннели и фонтаны Жилищно-коммунальное хозяйство 413 0 нет да csv csv
log
csv_norm
shp
osm
746 Реестр образовательных учреждений. Дополнительное образование Образование 36535 0 нет да csv csv
log
csv_norm
shp
osm
747 Реестр образовательных учреждений. Общие сведения Образование 3492 0 нет да csv csv
log
csv_norm
shp
osm
749 Специализированные службы по вопросам похоронного дела Социальная сфера 21 0 да да csv csv
log
csv_norm
shp
osm
750 Список аккредитованных социальных магазинов Торговля 448 -3 да да csv csv
log
csv_norm
shp
osm
751 Маршруты мобильных комплексов фиксации нарушений Транспорт 205 0 да да csv csv
log
csv_norm
shp
osm
752 Остановки НГПТ Транспорт 11837 -98 да да csv csv
log
csv_norm
shp
osm
753 Список АЗС города Москвы, реализующих моторное топливо, соответствующее установленным экологическим требованиям Экология 83 +36 нет да csv csv
log
csv_norm
shp
osm
754 Список АЗС города Москвы, реализующих моторное топливо, несоответствующее установленным экологическим требованиям Экология 19 +7 нет да csv csv
log
csv_norm
shp
osm
758 Межрегиональные маршруты пассажирских перевозок Транспорт 660 0 нет да csv csv
log
csv_norm
shp
osm
759 Нарушения ПДД выявляемые с использованием автоматической системы фотовидеофиксации нарушений ПДД Транспорт 288 +203 нет да csv csv
log
csv_norm
shp
osm
760 Согласованные маршруты пассажирских перевозок коммерческими перевозчиками Транспорт 608 0 нет да csv csv
log
csv_norm
shp
osm
761 Данные по проверкам Госинспекции по недвижимости с нарушениями за 2012 год Имущество и земля города Москвы 5043 +1 нет да csv csv
log
csv_norm
shp
osm
781 Перечень выданных субсидий и льгот субъектам малого и среднего предпринимательства Реестр справочной информации 112337 +5685 нет да csv csv
log
csv_norm
shp
osm
782 Итоги размещения госзаказа в сфере городской информатизации за 2012 год Реестр справочной информации 362 0 нет да csv csv
log
csv_norm
shp
osm
801 График отключения горячей воды Жилищно-коммунальное хозяйство 50506 0 нет да csv csv
log
csv_norm
shp
osm
821 Ремонтируемые объекты жилищного фонда Имущество и земля города Москвы 1050 0 да да csv csv
log
csv_norm
shp
osm
841 Таксофоны МГТС Связь 3033 0 да да csv csv
log
csv_norm
shp
osm
842 Стационарные общественные туалеты Социальная сфера 215 0 да да csv csv
log
csv_norm
shp
osm
861 Wi-Fi в парках Связь 165 +33 да да csv csv
log
csv_norm
shp
osm
883 Поля для гольфа Физическая культура и спорт 4 0 да да csv csv
log
csv_norm
shp
osm
884 Площадки для пляжных видов спорта Физическая культура и спорт 17 0 да да csv csv
log
csv_norm
shp
osm
885 Поля регбийные Физическая культура и спорт 5 0 да да csv csv
log
csv_norm
shp
osm
886 Поля футбольные Физическая культура и спорт 749 0 да да csv csv
log
csv_norm
shp
osm
887 Прокаты спортивного инвентаря (отдельностоящие) Физическая культура и спорт 22 0 да да csv csv
log
csv_norm
shp
osm
888 Стрелковые тиры Физическая культура и спорт 31 0 да да csv csv
log
csv_norm
shp
osm
889 Стрельбища Физическая культура и спорт 1 0 да да csv csv
log
csv_norm
shp
osm
890 Бассейны плавательные крытые Физическая культура и спорт 208 0 да да csv csv
log
csv_norm
shp
osm
891 Теннисные корты Физическая культура и спорт 79 0 да да csv csv
log
csv_norm
shp
osm
892 Поля для мини-гольфа Физическая культура и спорт 3 0 да да csv csv
log
csv_norm
shp
osm
893 Площадки спортивные универсальные Физическая культура и спорт 5090 0 да да csv csv
log
csv_norm
shp
osm
894 Бассейны плавательные открытые Физическая культура и спорт 5 0 да да csv csv
log
csv_norm
shp
osm
895 Площадки пейнтбольные Физическая культура и спорт 17 0 да да csv csv
log
csv_norm
shp
osm
896 Городки тренажерные (воркауты) Физическая культура и спорт 74 0 да да csv csv
log
csv_norm
shp
osm
897 Дорожки велосипедные Физическая культура и спорт 2 +1 да да csv csv
log
csv_norm
shp
osm
898 Городки тренажерные универсальные Физическая культура и спорт 742 0 да да csv csv
log
csv_norm
shp
osm
899 Дорожки беговые-прогулочные Физическая культура и спорт 156 0 да да csv csv
log
csv_norm
shp
osm
900 Скалодромы Физическая культура и спорт 15 0 да да csv csv
log
csv_norm
shp
osm
901 Гребные базы и каналы Физическая культура и спорт 1 0 да да csv csv
log
csv_norm
shp
osm
902 Поля конно-спортивные для конкура и выездки Физическая культура и спорт 6 0 да да csv csv
log
csv_norm
shp
osm
903 Автодромы спортивные Физическая культура и спорт 18 0 да да csv csv
log
csv_norm
shp
osm
904 Площадки детские игровые Отдых 669 0 да да csv csv
log
csv_norm
shp
osm
905 Детские развивающие центры Образование 5 0 да да csv csv
log
csv_norm
shp
osm
906 Летние эстрады, сцены Отдых 11 0 да да csv csv
log
csv_norm
shp
osm
907 Лодочные станции Отдых 5 0 да да csv csv
log
csv_norm
shp
osm
908 Роллердромы, скейтпарки Отдых 19 0 да да csv csv
log
csv_norm
shp
osm
909 Места для летнего купания Отдых 8 0 да да csv csv
log
csv_norm
shp
osm
910 Мини-зоопарки Отдых 6 0 да да csv csv
log
csv_norm
shp
osm
911 Городки веревочные Отдых 3 0 да да csv csv
log
csv_norm
shp
osm
912 Площадки для пикника Отдых 9 0 да да csv csv
log
csv_norm
shp
osm
913 Площадки для настольных игр Отдых 31 0 да да csv csv
log
csv_norm
shp
osm
914 Автодромы аттракционные Отдых 4 0 да да csv csv
log
csv_norm
shp
osm
915 Автодромы детские учебные Образование 34 0 да да csv csv
log
csv_norm
shp
osm
916 Велопарковки Физическая культура и спорт 97 0 да да csv csv
log
csv_norm
shp
osm
917 Площадки для городошного спорта Физическая культура и спорт 1 0 да да csv csv
log
csv_norm
shp
osm
918 Станции проката велосипедов Физическая культура и спорт 78 +48 да да csv csv
log
csv_norm
shp
osm
919 Зоны отдыха у воды Отдых 16 0 да да csv csv
log
csv_norm
shp
osm
920 Пешеходные зоны Улично-дорожная сеть 16 0 да да csv csv
log
csv_norm
shp
osm
921 Гарантированный перечень услуг по погребению Справочная информация 12 0 да да csv csv
log
csv_norm
shp
osm
941 Реестр контрольных мероприятий (по выявленным нарушениям) Справочная информация 3118 +891 нет да csv csv
log
csv_norm
shp
osm
961 Избирательные участки города Москвы Выборы 3597 0 да да csv csv
log
csv_norm
shp
osm
981 Фонтаны Жилищно-коммунальное хозяйство 37 0 да да csv csv
log
csv_norm
shp
osm
1001 Данные о выполнении заданий по мобилизации доходов Справочная информация 89 нет да csv csv
log
csv_norm
shp
osm
1002 Структура доходов бюджета города Москвы Справочная информация 25 нет да csv csv
log
csv_norm
shp
osm
1022 Нежилые помещения, зарегистрированные в собственность г. Москвы Земля и имущество 58119 да да csv csv
log
csv_norm
shp
osm
1025 Структура доходов бюджета города Москвы Справочная информация 25 нет да csv csv
log
csv_norm
shp
osm
1026 Данные о выполнение заданий по мобилизации доходов Справочная информация 89 нет да csv csv
log
csv_norm
shp
osm
1033 Парки Досуг и отдых 98 да да csv csv
log
csv_norm
shp
osm
1034 Реестр учреждений, осуществляющих управленческие функции Выборы 7 нет да csv csv
log
csv_norm
shp
osm
1043 Перечень пунктов выдачи технических средств реабилитации Справочная информация 81 да да csv csv
log
csv_norm
shp
osm
1044 Учреждения социальной помощи для бездомных граждан Социальная среда 8 да да csv csv
log
csv_norm
shp
osm
1046 Ответственные балансодержатели межрельсового покрытия участков трамвайных путей Дороги и транспорт 253 да да csv csv
log
csv_norm
shp
osm
1051 Эвакуаторные спецстоянки Дороги и транспорт 12 да да csv csv
log
csv_norm
shp
osm
1096 Зарегистрированное население по районам города Москвы Социальная среда 125 нет да csv csv
log
csv_norm
shp
osm
1097 Информация о проведенных проверках юридических лиц и индивидуальных предпринимателей и принятых мерах за отчетный период Справочная информация 530 нет да csv csv
log
csv_norm
shp
osm
1098 Справочник мест приема экзаменов на получение удостоверения на право управления самоходной техникой Справочная информация 5 да да csv csv
log
csv_norm
shp
osm
1101 Доля города Москвы в хозяйственных обществах Земля и имущество 340 нет да csv csv
log
csv_norm
shp
osm
1102 Рейтинг топ-100 должников арендной платы по договорам аренды на нежилые помещения Выборы 100 нет да csv csv
log
csv_norm
shp
osm
1106 Земельные участки, выставляемые на торги, в разрезе этапов прохождения торгов Земля и имущество 68 да да csv csv
log
csv_norm
shp
osm
1108 Итоги проведения торгов на право заключения договоров по аренде объектов недвижимости Земля и имущество 88 да да csv csv
log
csv_norm
shp
osm
1110 Итоги проведения торгов по продаже пакетов акций Предпринимательство 10 нет да csv csv
log
csv_norm
shp
osm
1112 Пакеты акций в собственности города Москвы Выборы 263 нет да csv csv
log
csv_norm
shp
osm
1113 Перечень объектов на право заключения договоров аренды объектов недвижимости Земля и имущество 62 да да csv csv
log
csv_norm
shp
osm
1114 Перечень объектов по продаже пакетов акций Справочная информация 42 нет да csv csv
log
csv_norm
shp
osm
1124 Тарифы на коммунальные услуги для населения города Москвы на 2006 год Жилищно-коммунальное хозяйство 40 нет да csv csv
log
csv_norm
shp
osm
1125 Тарифы на коммунальные услуги для населения города Москвы на 2007 год Жилищно-коммунальное хозяйство 39 нет да csv csv
log
csv_norm
shp
osm
1126 Тарифы на коммунальные услуги для населения города Москвы на 2008 год Жилищно-коммунальное хозяйство 46 нет да csv csv
log
csv_norm
shp
osm
1127 Тарифы на коммунальные услуги для населения города Москвы на 2009 год Жилищно-коммунальное хозяйство 49 нет да csv csv
log
csv_norm
shp
osm
1128 Тарифы на коммунальные услуги для населения города Москвы на 2010 год Жилищно-коммунальное хозяйство 48 нет да csv csv
log
csv_norm
shp
osm
1129 Тарифы на коммунальные услуги для населения города Москвы на 2011 год Жилищно-коммунальное хозяйство 52 нет да csv csv
log
csv_norm
shp
osm
1130 Тарифы на коммунальные услуги для населения города Москвы на 2012 год Жилищно-коммунальное хозяйство 69 нет да csv csv
log
csv_norm
shp
osm
1131 Тарифы на коммунальные услуги для населения города Москвы на 2013 год Жилищно-коммунальное хозяйство 373 нет да csv csv
log
csv_norm
shp
osm
1147 Электронная нотная библиотека города Москвы Культура 300 нет да csv csv
log
csv_norm
shp
osm
1148 Фильмофонд «Московское кино» Культура 2623 нет да csv csv
log
csv_norm
shp
osm
1181 Образовательные учреждения Культура 200 да да csv csv
log
csv_norm
shp
osm
1191 Реестр проектов планировок Территориальное деление 321 нет да csv csv
log
csv_norm
shp
osm
1193 Ветеринарные учреждения Справочная информация 21 да да csv csv
log
csv_norm
shp
osm
1201 Прогнозируемый общий объем доходов бюджета города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о бюджете города Москвы от 21.11.2012 г. № 59 Справочная информация 1 нет да csv csv
log
csv_norm
shp
osm
1202 Расходы бюджета города Москвы по финансовому обеспечению государственных программ, подпрограмм города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о бюджете города Москвы от 21.11.2012 г. № 59 Справочная информация 106 нет да csv csv
log
csv_norm
shp
osm
1203 Источники финансирования дефицита бюджета города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о бюджете города Москвы от 21.11.2012 г. № 59 Справочная информация 18 нет да csv csv
log
csv_norm
shp
osm
1204 Прогнозируемый общий объем доходов бюджета города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о внесении изменений в закон о бюджете города Москвы от 02.10.2013 г. № 52 Справочная информация 5 нет да csv csv
log
csv_norm
shp
osm
1205 Ведомственная структура расходов бюджета города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о внесении изменений в закон о бюджете города Москвы от 02.10.2013 г. № 52 Справочная информация 7566 нет да csv csv
log
csv_norm
shp
osm
1206 Расходы бюджета города Москвы по финансовому обеспечению государственных программ, подпрограмм города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о внесении изменений в закон о бюджете города Москвы от 02.10.2013 г. № 52 Справочная информация 107 нет да csv csv
log
csv_norm
shp
osm
1207 Источники финансирования дефицита бюджета города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о внесении изменений в закон о бюджете города Москвы от 02.10.2013 г. № 52 Справочная информация 18 нет да csv csv
log
csv_norm
shp
osm
1208 Ведомственная структура расходов бюджета города Москвы на 2013 года и плановый период 2014 и 2015 годов в соответствии с законом о бюджете города Москвы от 21.11.2012 г. № 59 Справочная информация 7200 нет да csv csv
log
csv_norm
shp
osm
1224 Реестр камер городского видеонаблюдения Справочная информация 24862 да да csv csv
log
csv_norm
shp
osm
1231 Открытые ледовые катки Физическая культура и спорт 1463 да да csv csv
log
csv_norm
shp
osm
1232 Ледовые поля (крытые) Физическая культура и спорт 45 да да csv csv
log
csv_norm
shp
osm
1233 Лыжные трассы города Москвы Физическая культура и спорт 214 да да csv csv
log
csv_norm
shp
osm

Известные проблемы нормализации

1. Закавыченные строки с "разделителем" слепятся, например (исходник, результат 529.csv #64):

 ;"www.tretyakovgallery.ru;tretyakov.ru"; -> ;www.tretyakovgallery.rutretyakov.ru;

2. Пока не обрабатываются значения вида (пример 821.csv)

 55.735571:37.616719,55.735571:37.61672,55.735572:37.616719

Использованные скрипты и сопутствующие файлы, процесс обновления

Язык - Python. Все скрипты можно взять на Github.

По шагам:

1. batch_download.py - Загружаем данные в папку data. Скрипт использует http://gis-lab.info/data/mos.ru/data/_listings/_general.csv как источник кодов для ссылок:

 env\Scripts\python batch_download.py

2. Архивируем всё для истории

 for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i

и выгружаем на FTP в качестве исходников.

3. batch_field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов

 env\Scripts\python batch_field_sanitizer_read.py data\ fields.csv yes yes
  • fields.csv - все названия полей данных
  • yes - обновлять существующий файл замен имен полей
  • yes - использовать транслит для новых полей

4. Вручную редактируем файл fields.csv добавляя замены
5. batch_field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv

 env\Scripts\python batch_field_sanitizer_write.py data\ data-norm fields.csv

6. batch_process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует wgs84.prj.

 python batch_process.py
  • wgs84.prj - файл описания результирующей нормализованной системы координат

7. batch_table.py - Формируем таблицу в вики-формате (для этой страницы), использует http://gis-lab.info/data/mos.ru/data/_listings/_general.csv

 env\Scripts\python batch_table.py > table.wiki