Нормализованные данные с портала открытых данных Москвы: различия между версиями

Материал из GIS-Lab
Перейти к навигации Перейти к поиску
(пустая запись для отделения всего)
Строка 87: Строка 87:
|  
|  
| yes
| yes
| [http://gis-lab.info/data/mos.ru/сsv.7z csv (6 Mb)]
| [http://gis-lab.info/data/mos.ru/csv.7z csv (6 Mb)]
| [http://gis-lab.info/data/mos.ru/norm.7z csv_norm (5 Mb)] <br>[http://gis-lab.info/data/mos.ru/shp.7z shp (7 Mb)] <br>[http://gis-lab.info/data/mos.ru/osm.7z osm (4 Mb)]  
| [http://gis-lab.info/data/mos.ru/norm.7z csv_norm (5 Mb)] <br>[http://gis-lab.info/data/mos.ru/shp.7z shp (7 Mb)] <br>[http://gis-lab.info/data/mos.ru/osm.7z osm (4 Mb)]  
|-
|-

Версия от 22:08, 23 мая 2013

Эта страница опубликована в основном списке статей сайта
по адресу http://gis-lab.info/qa/data-mos.html


Описание данных и копия данных в более удобном для ГИС формате

Источник данных: Портал открытых данных г. Москва http://data.mos.ru

Об исходных данных

Системы координат данных:

  • EPSG: 4326 (latlon/WGS84)
  • EPSG: 3857 (Web Mercator/WGS84)
  • Местная московская система координат (ПМСК 1, 2)

Формат данных: CSV
Кодировка: UTF-8
Формат хранения геометрий: WKT или пара полей с координатами.

Лицензия данных разрешает любое использование (включая коммерческое) при условии наличия ссылки на первоисточник.

Условия использования набора данных не предполагают ограничений использования набора данных в некоммерческих и коммерческих целях.

Лицензия не указывает явным образом согласие с CT OpenStreetMap.

Сомнительные места организации исходных данных

Уровень проблемности этих пунктов разный. Некоторые из них не позволят даже начать работу с данными, многие улучшили бы данные, но не помешают их использовать специалисту. Пометка "-> исправлено" означает, что данная проблема исправлена в производной версии данных представленной в этом описании ниже.

  1. Служебная информация в названиях полей -> исправлено
  2. Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено
  3. Исходные данные в системе координат: ПМСК (местная система координат г. Москвы) (ужасная СК для распространения векторных данных) -> исправлено
  4. Смешивание данных в разных системах координат в одних и тех же столбцах в одном наборе данных -> исправлено
  5. Непоследовательное применение WKT представлений координат, то используется, то не используется.
  6. Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено
  7. Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено
  8. Названия полей содержат спецсимволы (например "№", "/", "," - проблемы с конвертацией) -> исправлено
  9. Одни и те же названия полей то в кавычках, то без (просто некрасиво) -> исправлено
  10. Одни и те же названия полей то с пробелами, то с "_" вместо пробелов (просто некрасиво) -> исправлено
  11. Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено
  12. Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено
  13. Отсутствуют вспомогательные файлы описания системы координат данных -> исправлено
  14. Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено
  15. Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено
  16. Многочисленные неоправданные последовательности символов "пробел" в атрибутике -> исправлено
  17. Пустые поля. ";" в конце заголовка и ";" в конце каждой записи (пример: 619), иногда нерегулярно встречается "; " -> исправлено

О преобразованных данных

Все данные - в UTF-8, геометрии - в EPSG:4326. Дополнительно 2 поля: LAT, LON содержащие координаты исходно хранящиеся в 3 разных системах (см. выше), приведенные в эту систему координат в преобразованных данных.

В таблице в поле Источник и Данные данные для скачивания:

  • csv - исходные данные 'как есть' на data.mos.ru.
  • csv-norm - данные в формате CSV, с нормализованными названиями полей, *.csvt, *.prj, *.vrt файлами.
  • shp - данные в формате ESRI Shape (максимальная длина строк 255 символов).
  • osm - данные в формате OSM XML, без обрезки атрибутики.

Полный перечень названий полей и их замен для нормализованых данных.

TODO

  • *.csvt файлы пока рассматривают все поля как тип String(255). Нужно пройтись по всем полям и выяснить их тип, добавив его в fields.csv
  • создать *.qml
  • сконвертировать все в GeoJSON
  • обновлять только обновившееся, дату можно взять из метаданных, (но вдруг нас обманут? :) либо побайтово сравнивать с пред.версией CSV

Актуальность производных данных и архив

Текущая версия данных расположенная здесь: 22 мая 2013.

Чтобы посмотреть архивную версию данных, возьмите ссылку из таблице ниже и добавьте дату в формате YYYYMMDD. Например:
Актуальная версия:

 http://gis-lab.info/data/mos.ru/493_shp.7z

Архивная:

 http://gis-lab.info/data/mos.ru/20130213/493_shp.7z

Доступны архивы за следующие числа:
20130213,20130222,20130503,20130522

Вы можете также воспользоваться специальным сервисом, который следит за обновлениями исходных данных на data.mos.ru и архивирует все версии. Пока этот сервис не занимается нормализацией данных. Планируется объединить эти два сервиса.

Нормализованные данные

Код Описание набора Категория Объектов Геоданные Оригинал Данные
Все данные одним архивом Все yes csv (6 Mb) csv_norm (5 Mb)
shp (7 Mb)
osm (4 Mb)
493 Дома культуры и клубы Досуг и отдых 281 yes csv csv_norm
shp
osm
494 Парки (включая парки не подведомственные) Досуг и отдых 80 yes csv csv_norm
shp
osm
495 Кинотеатры Досуг и отдых 235 yes csv csv_norm
shp
osm
496 Молодежные центры Досуг и отдых 17 yes csv csv_norm
shp
osm
497 Учреждения семейной и молодежной политики Досуг и отдых 5 yes csv csv_norm
shp
osm
498 Аттракционная техника с механическим приводом, установленная в скверах и парках Досуг и отдых 430 yes csv csv_norm
shp
osm
499 Государственные учреждения, подведомственные Департаменту жилищно-коммунального хозяйства и благоустройства города Москвы Жилищно-коммунальное хозяйство 27 yes csv csv_norm
shp
osm
500 Районные инженерные службы Жилищно-коммунальное хозяйство 125 yes csv csv_norm
shp
osm
501 Аптеки Здравоохранение 4185 yes csv csv_norm
shp
osm
502 Больницы города Москвы Здравоохранение 100 yes csv csv_norm
shp
osm
503 Городские поликлиники Здравоохранение 273 yes csv csv_norm
shp
osm
504 Госпитали всех наименований, учредителем которых является город Москва Здравоохранение 4 yes csv csv_norm
shp
osm
505 Детские поликлиники Здравоохранение 172 yes csv csv_norm
shp
osm
506 Детские стоматологические поликлиники Здравоохранение 25 yes csv csv_norm
shp
osm
507 Диспансеры Здравоохранение 54 yes csv csv_norm
shp
osm
508 Дома ребенка, в том числе специалзированные Здравоохранение 19 yes csv csv_norm
shp
osm
509 Женские консультации Здравоохранение 14 yes csv csv_norm
shp
osm
510 Здравоохранение. Санатории Здравоохранение 48 yes csv csv_norm
shp
osm
511 Консультативно диагностические центры Здравоохранение 19 yes csv csv_norm
shp
osm
512 Молочные кухни Здравоохранение 181 yes csv csv_norm
shp
osm
513 Научно-практические медицинские центры, учредителем которых является город Москва Здравоохранение 66 yes csv csv_norm
shp
osm
514 Родильные дома г. Москвы Здравоохранение 19 yes csv csv_norm
shp
osm
515 Станции переливания крови Здравоохранение 1 yes csv csv_norm
shp
osm
516 Станции скорой и неотложной медицинской помощи Здравоохранение 1 yes csv csv_norm
shp
osm
517 Стационары Здравоохранение 50 yes csv csv_norm
shp
osm
518 Стоматологические поликлиники Здравоохранение 39 yes csv csv_norm
shp
osm
519 Хосписы Здравоохранение 8 yes csv csv_norm
shp
osm
520 Паспортизация квартир в домах-новостройках, строительство которых выполнено за счет городского бюджета и по инвестиционным проектам Имущество и земля города Москвы 1048 yes csv csv_norm
shp
osm
521 Земельные участки, находящиеся в собственности г. Москвы Имущество и земля города Москвы 1000 no csv csv_norm

522 Рейтинг топ-100 должников арендной платы Имущество и земля города Москвы 100 no csv csv_norm

523 Нежилые помещения, зарегистрированные в собственность г. Москвы Имущество и земля города Москвы 37849 yes csv csv_norm
shp
osm
524 Ремонтируемые объекты жилищного фонда Имущество и земля города Москвы 1050 no csv csv_norm

525 Ремонтируемые объекты нежилого фонда Имущество и земля города Москвы 41 yes csv csv_norm
shp
osm
526 Библиотеки Культура 525 yes csv csv_norm
shp
osm
527 Выставочные залы Культура 26 yes csv csv_norm
shp
osm
528 Концертные организации Культура 87 yes csv csv_norm
shp
osm
529 Музеи Культура 329 yes csv csv_norm
shp
osm
530 Объекты культурного наследия и Выявленные объекты культурного наследия Культура 6104 yes csv csv_norm
shp
osm
531 Театры Культура 239 yes csv csv_norm
shp
osm
532 Детские музыкальные школы Образование 108 yes csv csv_norm
shp
osm
533 Детские художественные школы Образование 19 yes csv csv_norm
shp
osm
534 Детские школы искусств Образование 49 yes csv csv_norm
shp
osm
535 Вечерние школы Образование 7 yes csv csv_norm
shp
osm
536 Военно-патриотическое направление Образование 9 yes csv csv_norm
shp
osm
537 Учреждения высшего профессионального образования Образование 10 yes csv csv_norm
shp
osm
538 Гимназия Образование 84 yes csv csv_norm
shp
osm
539 Детские сады в составе школ (образовательные комплексы) Образование 132 yes csv csv_norm
shp
osm
540 Детские сады Образование 1155 yes csv csv_norm
shp
osm
541 Детский сад комбинированного вида Образование 405 yes csv csv_norm
shp
osm
542 Детский сад компенсирующего вида Образование 190 yes csv csv_norm
shp
osm
543 Естественнонаучное направление Образование 6 yes csv csv_norm
shp
osm
544 Кадетские школы Образование 8 yes csv csv_norm
shp
osm
545 Кадетские школы-интернаты Образование 11 yes csv csv_norm
shp
osm
546 Колледжи Образование 107 yes csv csv_norm
shp
osm
547 Коррекционная начальная школа-детский сад Образование 5 yes csv csv_norm
shp
osm
548 Коррекционная общеобразовательная школа Образование 25 yes csv csv_norm
shp
osm
549 Коррекционная общеобразовательная школа-интернат Образование 29 yes csv csv_norm
shp
osm
550 Коррекционная школа-интернат для детей-сирот и детей, оставшихся без попечения родителей Образование 4 yes csv csv_norm
shp
osm
551 Культурологическое направление Образование 60 yes csv csv_norm
shp
osm
552 Лицей Образование 40 yes csv csv_norm
shp
osm
553 Научно-техническое направление Образование 10 yes csv csv_norm
shp
osm
554 Начальная школа - десткий сад компенсирующего вида Образование 14 yes csv csv_norm
shp
osm
555 Начальная школа - детский сад Образование 13 yes csv csv_norm
shp
osm
556 Образовательные учреждения города Москвы, реализующие программы среднего профессионального образования. Техникумы Образование 9 yes csv csv_norm
shp
osm
557 Прогимназия Образование 24 yes csv csv_norm
shp
osm
559 Санаторная школа-интернат Образование 5 yes csv csv_norm
shp
osm
560 Санаторно-лесная школа Образование 5 yes csv csv_norm
shp
osm
561 Социально-педагогическое направление Образование 41 yes csv csv_norm
shp
osm
562 Социально-экономическое направление Образование 2 yes csv csv_norm
shp
osm
563 Специальная общеобразовательная школа для детей и подростков с девиантным поведением Образование 7 yes csv csv_norm
shp
osm
564 Спортивно-техническое направление Образование 2 yes csv csv_norm
shp
osm
565 Средняя образовательная школа Образование 786 yes csv csv_norm
shp
osm
566 Средняя образовательная школа "Школа Здоровья" Образование 59 yes csv csv_norm
shp
osm
567 Средняя образовательная школа с углубленным изучением отдельных предметов Образование 169 yes csv csv_norm
shp
osm
568 Средняя общеобразовательная школа с этнокультурным (национальным) компонентом образования Образование 22 yes csv csv_norm
shp
osm
569 Туристко-краеведческое направление Образование 9 yes csv csv_norm
shp
osm
570 Учебно-производственные комбинаты Образование 3 yes csv csv_norm
shp
osm
571 Учреждения для детей-сирот и детей, оставшихся без попечения родителей Образование 29 yes csv csv_norm
shp
osm
572 Физкультурно-спортивное направление Образование 14 yes csv csv_norm
shp
osm
573 Художественно-эстетическое направление Образование 74 yes csv csv_norm
shp
osm
574 Центр диагностики и консультирования Образование 6 yes csv csv_norm
shp
osm
575 Центр лечебной педагогики и дифференцированного обучения Образование 4 yes csv csv_norm
shp
osm
576 Центр образования Образование 180 yes csv csv_norm
shp
osm
577 Центр психолого-педагогической реабилитации и коррекции Образование 16 yes csv csv_norm
shp
osm
578 Центры повышения квалификации Образование 3 yes csv csv_norm
shp
osm
579 Центры психолого-медико-социального сопровождения Образование 25 yes csv csv_norm
shp
osm
580 Школа-интернат для детей-сирот и детей, оставшихся без попечения родителей Образование 3 yes csv csv_norm
shp
osm
581 Школы надомного обучения Образование 13 yes csv csv_norm
shp
osm
582 Школы, имеющие в своем составе детские сады (образовательные комплексы) Образование 132 yes csv csv_norm
shp
osm
583 Школы-интернаты Образование 6 yes csv csv_norm
shp
osm
584 Школы-интернаты с углубленным изучением отдельных предметов Образование 4 yes csv csv_norm
shp
osm
585 Эколого-биологическое направление Образование 4 yes csv csv_norm
shp
osm
586 Объекты розничной торговли и общественного питания, имеющие лицензию на розничную продажу алкогольной продукции с указанием срока ее дейст Общественное питание 10874 yes csv csv_norm
shp
osm
587 Сезонные кафе при стационарных объектах общественного питания Общественное питание 1633 yes csv csv_norm
shp
osm
588 Объекты гаражного назначения по программе «Народный гараж» Объекты общегородских программ 172 yes csv csv_norm
shp
osm
589 Органы ЗАГС Москвы Органы государственной власти города Москвы 38 yes csv csv_norm
shp
osm
590 Судебные участки мировых судей города Москвы Органы государственной власти города Москвы 439 yes csv csv_norm
shp
osm
591 Перечень выданных субсидий организациям промышленности, науки и инновационной инфраструктуры города Реестр справочной информации 52 no csv csv_norm

593 Перечень приоритетных продуктов и технологий, используемых в отраслях городского хозяйства Реестр справочной информации 336 no csv csv_norm

594 Городские отделы жилищных субсидий Социальная сфера 130 yes csv csv_norm
shp
osm
596 Центры социально-трудовой адаптации и профориентации Социальная сфера 4 yes csv csv_norm
shp
osm
597 Городской центр - Дети улиц Социальная сфера 32 yes csv csv_norm
shp
osm
598 Детские дома Социальная сфера 29 yes csv csv_norm
shp
osm
599 Объекты инфраструктуры приспособленные для инвалидов Социальная сфера 203 yes csv csv_norm
shp
osm
600 Пансионаты для ветеранов Социальная сфера 14 yes csv csv_norm
shp
osm
601 Психоневрологические интернаты Социальная сфера 18 yes csv csv_norm
shp
osm
602 Территориальные центры социального обслуживания и филиалы Социальная сфера 131 yes csv csv_norm
shp
osm
603 Управления социальной защиты населения Социальная сфера 126 yes csv csv_norm
shp
osm
604 Центр социальной помощи семье и детям Социальная сфера 37 yes csv csv_norm
shp
osm
605 Центры психологической помощи Социальная сфера 13 yes csv csv_norm
shp
osm
606 Центры реабилитации Социальная сфера 16 yes csv csv_norm
shp
osm
607 Объекты ритуального обслуживания Социальная сфера 137 yes csv csv_norm
shp
osm
608 Отделы трудоустройства Социальная сфера 52 yes csv csv_norm
shp
osm
609 Специализированные центры труда и занятости населения города Москвы Социальная сфера 29 yes csv csv_norm
shp
osm
610 Центры занятости населения Социальная сфера 11 yes csv csv_norm
shp
osm
611 Многофункциональные центры Социальная сфера 54 yes csv csv_norm
shp
osm
612 Расположение мест приема документов ДЗР Территориальное планирование 12 yes csv csv_norm
shp
osm
613 Границы зон охраны объектов культурного наследия Территориальное планирование 456 yes csv csv_norm
shp
osm
614 Границы территорий объектов культурного наследия Территориальное планирование 1483 yes csv csv_norm
shp
osm
615 Границы административных округов г. Москвы Территориальное планирование 12 yes csv csv_norm
shp
osm
616 Границы внутригородских муницип обр в г Москве Территориальное планирование 150 yes csv csv_norm
shp
osm
617 Границы районов города Москвы Территориальное планирование 129 yes csv csv_norm
shp
osm
618 Границы территорий, по которым утверждены проекты планировок Территориальное планирование 287 yes csv csv_norm
shp
osm
619 Нестационарные торговые объекты Торговля 11795 yes csv csv_norm
shp
osm
620 Ярмарки выходного дня Торговля 136 yes csv csv_norm
shp
osm
621 Парковки такси Транспорт 226 yes csv csv_norm
shp
osm
622 Перехватывающие парковки Транспорт 62 yes csv csv_norm
shp
osm
623 Платные парковки на улично-дорожной сети Транспорт 9 yes csv csv_norm
shp
osm
624 Станции метрополитена Транспорт 623 yes csv csv_norm
shp
osm
625 Объекты капитального ремонта улично-дорожной сети Улично-дорожная сеть 379 yes csv csv_norm
shp
osm
626 Горнолыжные склоны Москвы Физическая культура и спорт 8 yes csv csv_norm
shp
osm
627 Лыжные трассы города Москвы Физическая культура и спорт 197 yes csv csv_norm
shp
osm
628 Открытые ледовые катки города Москвы Физическая культура и спорт 123 yes csv csv_norm
shp
osm
629 Спортивные объекты города Москвы Физическая культура и спорт 2645 yes csv csv_norm
shp
osm
630 Спортивные секции города Москвы Физическая культура и спорт 1761 yes csv csv_norm
shp
osm
651 Государственные казенные учреждения дирекции ЖКХ и благоустройства административных округов города Москвы Жилищно-коммунальное хозяйство 16 yes csv csv_norm
shp
osm
652 Инфраструктура поддержки малого и среднего предпринимательства Объекты общегородских программ 10 yes csv csv_norm
shp
osm
653 Региональные ярмарки Торговля 39 yes csv csv_norm
shp
osm
654 Розничные рынки Торговля 58 yes csv csv_norm
shp
osm
655 Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси Транспорт 25667 no csv csv_norm

658 Тарифы на проезд в городском пассажирском транспорте Транспорт 283 no csv csv_norm

671 Продажа билетов на пригородные поезда Транспорт 45638 no csv csv_norm

672 Реестр стационарных объектов наблюдения Транспорт 601 yes csv csv_norm
shp
osm
673 Точки продажи билетов для проезда на наземном городском пассажирском транспорте Транспорт 643 yes csv csv_norm
shp
osm
674 Реестр искусственных неровностей Улично-дорожная сеть 3452 yes csv csv_norm
shp
osm
744 Перечень приютов для бродячих животных (включая приюты префектур АО) Жилищно-коммунальное хозяйство 17 no csv csv_norm

745 Пешеходные тоннели и фонтаны Жилищно-коммунальное хозяйство 450 no csv csv_norm

746 Реестр образовательных учреждений. Дополнительное образование Образование 36621 no csv csv_norm

747 Реестр образовательных учреждений. Общие сведения Образование 3492 no csv csv_norm

749 Специализированные службы по вопросам похоронного дела Социальная сфера 22 yes csv csv_norm
shp
osm
750 Список аккредитованных социальных магазинов Торговля 451 yes csv csv_norm
shp
osm
751 Маршруты мобильных комплексов фиксации нарушений Транспорт 208 yes csv csv_norm
shp
osm
752 Остановки НГПТ Транспорт 12342 yes csv csv_norm
shp
osm
753 Список АЗС города Москвы, реализующих моторное топливо, соответствующее установленным экологическим требованиям Экология 82 no csv csv_norm

754 Список АЗС города Москвы, реализующих моторное топливо, несоответствующее установленным экологическим требованиям Экология 7 no csv csv_norm

758 Межрегиональные маршруты пассажирских перевозок Транспорт 722 yes csv csv_norm
shp
osm
759 Нарушения ПДД выявляемые с использованием автоматической системы фотовидеофиксации нарушений ПДД Транспорт 85 no csv csv_norm

760 Согласованные маршруты пассажирских перевозок коммерческими перевозчиками Транспорт 608 yes csv csv_norm
shp
osm
761 Данные по проверкам Госинспекции по недвижимости с нарушениями за 2012 год Имущество и земля города Москвы 5042 no csv csv_norm

781 Перечень выданных субсидий и льгот субъектам малого и среднего предпринимательства Реестр справочной информации 551 no csv csv_norm

782 Итоги размещения госзаказа в сфере городской информатизации за 2012 год Реестр справочной информации 363 no csv csv_norm

801 График отключения горячей воды Жилищно-коммунальное хозяйство 50496 no csv csv_norm

Использованные скрипты и сопутствующие файлы, процесс обновления

Язык - Python. Все скрипты одним архивом.

По шагам:

1. items.py,datamosru.py - конфиги Scrapy для получения списка наборов данных. Запускаем:

 mkdir datamosscrapy
 cp items.py datamosscrapy/datamosscrapy
 cp datamosru.py datamosscrapy/datamosscrapy/spiders
 cd datamosscrapy
 scrapy crawl datamosru -o list.csv -t csv
  • list.csv - список слоёв в формате CSV, создается после выполнения паука Scrapy

2. download.py - Загружаем данные, скрипт использует list.csv как источник кодов для ссылок

 python download.py

3. Архивируем всё для истории

 for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i

и выгружаем на FTP в качестве исходников.

4. field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов

 python field_sanitizer_read.py data\ fields.csv yes yes
  • fields.csv - все названия полей данных
  • yes - обновлять существующий файл замен имен полей
  • yes - использовать транслит для новых полей

5. Вручную редактируем файл fields.csv добавляя замены
6. field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv

 python field_sanitizer_write.py data\ data-norm fields.csv

7. process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует prj.prj.

 python process.py
  • prj.prj - файл описания исходной проекции данных

8. table.py - Формируем таблицу в вики-формате (для этой страницы), использует list.csv

 python table.py > table.wiki