Нормализованные данные с портала открытых данных Москвы

Материал из GIS-Lab
Перейти к навигации Перейти к поиску
Эта страница опубликована в основном списке статей сайта
по адресу http://gis-lab.info/qa/data-mos.html


Описание данных и копия данных в более удобном для ГИС формате

Источник данных: Портал открытых данных г. Москва http://data.mos.ru

Об исходных данных

Система координат данных: EPSG: 3857 (WGS84 Web Mercator)
Формат данных: CSV (на данный момент)
Кодировка: Windows-1251
Формат хранения геометрий: WKT (поле WKT в CSV)

Лицензия данных разрешает любое использование (включая коммерческое) при условии наличия ссылки на первоисточник.

Условия использования набора данных не предполагают ограничений использования набора данных в некоммерческих и коммерческих целях.

Сомнительные места организации исходных данных

Уровень проблемности этих пунктов разный. Некоторые из них не позволят даже начать работу с данными, многие улучшили бы данные, но не помешают их использовать специалисту. Пометка "-> исправлено" означает, что данная проблема исправлена в производной версии данных (см. далее).

  1. Служебная информация в названиях полей
  2. Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено
  3. Исходные данные в системе координат: ПМСК (местная система координат г. Москвы) (ужасная СК для распространения векторных данных)
  4. Смешивание данных в разных системах координат в одних и тех же столбцах в одном наборе данных
  5. Непоследовательное применение WKT представлений координат, то используется, то не используется.
  6. Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено
  7. Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено
  8. Названия полей содержат спецсимволы (например "№", "/", "," - проблемы с конвертацией) -> исправлено
  9. Одни и те же названия полей то в кавычках, то без (просто некрасиво) -> исправлено
  10. Одни и те же названия полей то с пробелами, то с "_" вместо пробелов (просто некрасиво) -> исправлено
  11. Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено
  12. Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено
  13. Отсутствуют вспомогательные файлы описания системы координат данных -> исправлено
  14. Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено
  15. Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено
  16. Многочисленные неоправданные наборы символов "пробел" в атрибутике.

О преобразованных данных

В таблице в поле Данные -0 данные для скачивания:

  • csv - исходные данные 'как есть' на data.mos.ru, формат CSV, геометрии WKT, кодировка Windows-1251
  • csv-norm - данные в формате CSV, с нормализованными названиями полей, *.csvt, *.prj, *.vrt файлами. Кодировка UTF-8
  • shp - данные в формате ESRI Shape (максимальная длина строк 255 символов). Кодировка UTF-8. СК EPSG:4326
  • osm - данные в формате OSM XML, без обрезки атрибутики. Кодировка UTF-8

Полный перечень названий полей и их замен для нормализованых данных.

TODO

  • *.csvt файлы пока рассматривают все поля как тип String(255). Нужно пройтись по всем полям и выяснить их тип, добавив его в fields.csv
  • создать *.qml
  • сконвертировать все в GeoJSON
  • обновлять только обновившееся, дату можно взять из метаданных, (но вдруг нас обманут? :) либо побайтово сравнивать с пред.версией CSV

Актуальность производных данных и архив

Текущая версия данных расположенная здесь: 22 февраля 2013.

Чтобы посмотреть архивную версию данных, возьмите ссылку из таблице ниже и добавьте дату в формате YYYYMMDD. Например: Актуальная версия:

 http://gis-lab.info/data/mos.ru/414_shp.7z

Архивная:

 http://gis-lab.info/data/mos.ru/20130213/414_shp.7z

Доступны архивы за следующие числа:
20130213,20130222

Существует также сервис следящий за исходными данными и архивирующий версии, пока этот сервис не занимается нормализацией данных, планируется объединить эти два сервиса.

Таблица данных

Код Описание набора Категория Объектов Изменение Дата обновления Геоданные Частота обновления Источник Данные
486 Нестационарные торговые объекты Торговля 10231 19 22.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
505 Начальная школа – детский сад Образование 13 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
492 Молочные кухни Здравоохранение 180 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
493 Молодежные центры Досуг и отдых 7 0 18.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
569 Многофункциональные центры Социальная сфера 49 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
474 Лыжные трассы города Москвы Физическая культура и спорт 189 0 01.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
414 Аптеки города Москвы включая неподведомственные Здравоохранение 4123 0 29.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
507 Начальная школа – детский сад компенсирующего вида Образование 14 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
539 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Научно-техническое направление Образование 10 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
420 Научно-практические медицинские центры, учредителем которых является город Москва Здравоохранение 66 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
489 Нежилые помещения, зарегистрированные в собственность города Москвы Имущество и земля города Москвы 58122 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
514 Лицей Образование 40 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
544 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Культурологическое направление Образование 60 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
576 Коррекционная школа-интернат для детей-сирот и детей, оставшихся без попечения родителей Образование 4 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
532 Коррекционная общеобразовательная школа-интернат Образование 29 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
477 Ярмарки выходного дня г. Москвы Торговля 85 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
566 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Эколого-биологическое направление Образование 4 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
524 Школы надомного обучения Образование 13 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
522 Школы-интернаты с углубленным изучением отдельных предметов Образование 4 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
521 Школы-интернаты Образование 6 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
512 Школы, имеющие в своем составе детские сады (образовательные комплексы) Образование 132 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
577 Школа-интернат для детей-сирот и детей, оставшихся без попечения родителей Образование 3 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
429 Центры социальной помощи семье и детям Социальная сфера 35 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
426 Музеи

(включая Музеи неподведомственные)

Культура 281 0 01.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
464 Центры реабилитации Социальная сфера 16 0 26.12.2012 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
559 Центры психолого-педагогической и медико-социальной помощи Образование 25 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
463 Центры психологической помощи Социальная сфера 13 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
535 Центры повышения квалификации Образование 3 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
557 Центры психолого-педагогической и медико-социальной помощи Образование 4 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
510 Центры занятости населения Социальная сфера 11 0 26.12.2012 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
556 Центры психолого-педагогической и медико-социальной помощи Образование 6 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
564 Центр социально-трудовой адаптации и профориентации


Социальная сфера 4 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
558 Центры психолого-педагогической и медико-социальной помощи Образование 16 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
520 Центр образования Образование 180 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
538 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Художественно-эстетическое направление Образование 74 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
422 Хосписы Здравоохранение 8 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
543 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей Физкультурно-спортивное направление Образование 14 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
468 Учреждения семейной и молодежной политики г. Москвы Досуг и отдых 5 0 18.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
469 Учреждения для детей-сирот и детей, оставшихся без попечения родителей Образование 29 0 26.12.2012 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
527 Учреждения высшего профессионального образования Образование 10 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
523 Учебно-производственные комбинаты Образование 3 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
470 Управления социальной защиты населения г. Москвы Социальная сфера 126 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
546 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Туристско-краеведческое направление Образование 9 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
560 Территориальные центры социального обслуживания и филиалы Социальная сфера 130 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
460 Театры г. Москвы Культура 237 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
606 Тарифы на проезд в городском пассажирском транспорте Транспорт 265 0 15.02.2013 нет По мере поступления описание
скачать csv
csv_norm
shp
osm
458 Судебные участки мировых судей города Москвы Органы государственной власти города Москвы 438 0 29.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
443 Стоматологические поликлиники г. Москвы Здравоохранение 39 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
528 Стационары Здравоохранение 54 0 30.01.2013 есть Еженедельная описание
скачать csv
csv_norm
shp
osm
456 Станции скорой и неотложной медицинской помощи г. Москвы Здравоохранение 1 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
457 Станции переливания крови г. Москвы Здравоохранение 1 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
452 Станции метрополитена г. Москвы Транспорт 185 0 27.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
531 Средняя общеобразовательная школа "Школа Здоровья" Образование 59 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
519 Средняя общеобразовательная школа с этнокультурным (национальным) компонентом образования Образование 22 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
518 Средняя общеобразовательная школа с углубленным изучением отдельных предметов Образование 169 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
516 Средняя общеобразовательная школа Образование 786 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
451 Спортивные секции города Москвы Физическая культура и спорт 1761 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
552 Спортивные объекты города Москвы Физическая культура и спорт 3988 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
542 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Спортивно-техническое направление Образование 2 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
530 Специальная общеобразовательная школа для детей и подростков с девиантным поведением Образование 7 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
517 Специализированные центры труда и занятости населения города Москвы Социальная сфера 19 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
547 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Социально-экономическое направление Образование 2 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
541 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Социально-педагогическое направление Образование 41 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
450 Сезонные кафе при стационарных объектах общественного питания г. Москвы. Общественное питание 1621 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
525 Санаторно-лесная школа Образование 5 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
526 Санаторная школа-интернат Образование 5 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
611 Розничные рынки Торговля 53 0 15.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
448 Родильные дома г. Москвы Здравоохранение 19 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
490 Объекты нежилого фонда Имущество и земля города Москвы 41 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
495 Ремонтируемые объекты жилищного фонда (капитальный ремонт) Имущество и земля города Москвы 1726 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
503 Рейтинг топ-100 должников арендной платы по договорам аренды земельных участков Имущество и земля города Москвы 100 0 21.02.2013 нет Ежемесячная описание
скачать csv
csv_norm
shp
osm
610 Региональные ярмарки Торговля 40 0 15.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
581 Расположение мест приёма документов Департамента земельных ресурсов города Москвы Территориальное планирование 12 0 14.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
529 Психоневрологические интернаты Социальная сфера 17 0 26.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
608 Продажа билетов на пригородные поезда Транспорт 25043 0 18.02.2013 нет По мере поступления описание
скачать csv
csv_norm
shp
osm
515 Прогимназия Образование 24 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
506 Прогимназия Образование 15 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
437 Платные парковки на улично-дорожной сети Транспорт 9 0 26.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
601 Перечень приоритетных продуктов и технологий, используемых в отраслях городского хозяйства Реестр справочной информации 336 0 24.01.2013 нет Ежемесячная описание
скачать csv
csv_norm
shp
osm
599 Перечень выданных субсидий организациям промышленности, науки и инновационной инфраструктуры города Реестр справочной информации 52 0 24.01.2013 нет Ежемесячная описание
скачать csv
csv_norm
shp
osm
497 Перехватывающие парковки города Москвы Транспорт 62 0 20.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
439 Паспортизация квартир в домах-новостройках, строительство которых выполнено за счет городского бюджета и по инвестиционным контрактам Имущество и земля города Москвы 1044 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
438 Парковки такси Транспорт 226 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
436 Парки г. Москвы Досуг и отдых 87 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
574 Пансионаты для ветеранов Социальная сфера 10 0 26.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
476 Открытые ледовые катки города Москвы Физическая культура и спорт 1452 -10 22.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
511 Отделы трудоустройства Социальная сфера 52 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
480 Органы ЗАГС Москвы Органы государственной власти города Москвы 38 0 18.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
491 Объекты социальной сферы Социальная сфера 5 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
488 Объекты розничной торговли и общественного питания, имеющие лицензию на розничную продажу алкогольной продукции с указанием срока ее действия Общественное питание 10134 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
487 Объекты ритуального обслуживания Социальная сфера 137 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
561 Объекты капитального ремонта улично-дорожной сети Улично-дорожная сеть 379 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
467 Объекты городской инфраструктуры, приспособленные для инвалидов и лиц с ограничениями жизнедеятельности Социальная сфера 203 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
494 Объекты гаражного назначения по программе «Народный гараж» Объекты общегородских программ 172 0 01.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
445 Образовательные учреждения города Москвы, реализующие программы среднего профессионального образования. Техникумы г. Москвы Образование 9 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
533 Коррекционная общеобразовательная школа Образование 25 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
550 Объекты культурного наследия и Выявленные объекты культурного наследия Культура 6104 0 26.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
534 Коррекционная начальная школа - детский сад Образование 5 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
454 Концертные организации Культура 87 0 01.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
423 Консультативно-диагностические центры Здравоохранение 18 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
555 Колледжи Образование 107 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
465 Кинотеатры (включая учреждения кинофикации неподведомственные) Досуг и отдых 180 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
427 Кадетские школы-интернаты Образование 11 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
428 Кадетские школы Образование 8 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
612 Инфраструктура поддержки малого и среднего предпринимательства Объекты общегородских программ 10 0 15.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
483 Земельные участки в собственности города Москвы Имущество и земля города Москвы 5881 0 08.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
449 Здравоохранение. Санатории г. Москва Здравоохранение 42 0 26.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
447 Жилищно-коммунальное хозяйство. Районные инженерные службы г. Москвы. Жилищно-коммунальное хозяйство 119 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
485 Женские консультации г. Москвы Здравоохранение 15 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
545 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Естественнонаучное направление Образование 6 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
419 Дома ребенка, в том числе специализированные Здравоохранение 19 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
578 Дома культуры и клубы включая дома культуры и клубы неподведомственные Досуг и отдых 270 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
415 Диспансеры Здравоохранение 54 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
504 Детский сад компенсирующего вида Образование 190 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
502 Детский сад комбинированного вида Образование 405 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
537 Детские школы искусств Образование 47 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
536 Детские художественные школы Образование 20 0 01.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
444 Детские стоматологические поликлиники г. Москвы Здравоохранение 25 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
508 Детские сады в составе школ (образовательные комплексы) Образование 132 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
501 Детские сады г. Москвы Образование 767 0 29.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
442 Детские поликлиники г. Москвы Здравоохранение 172 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
430 Детские музыкальные школы Образование 107 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
575 Учреждения для детей-сирот и детей, оставшихся без попечения родителей Социальная сфера 29 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
579 Границы территорий, по которым утверждены проекты планировок Территориальное планирование 287 0 18.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
482 Границы районов города Москвы Территориальное планирование 134 0 21.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
548 Границы зон охраны объектов культурного наследия Территориальное планирование 456 0 26.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
484 Границы внутригородских муниципальных образований в городе Москве Территориальное планирование 150 -5 21.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
481 Границы административных округов города Москвы Территориальное планирование 12 -1 21.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
479 Государственные учреждения, подведомственные Департаменту жилищно-коммунального хозяйства и благоустройства города Москвы Жилищно-коммунальное хозяйство 27 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
549 Границы территорий объектов культурного наследия Территориальное планирование 1483 0 26.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
478 Государственные казенные учреждения дирекции жилищно-коммунального хозяйства и благоустройства административных округов города Москвы Жилищно-коммунальное хозяйство 16 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
421 Госпитали всех наименований, учредителем которых является город Москва Здравоохранение 4 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
466 Городской центр "Дети улиц" Социальная сфера 16 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
441 Городские Поликлиники Здравоохранение 263 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
432 Городские отделы жилищных субсидий Социальная сфера 130 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
473 Горнолыжные склоны Москвы Физическая культура и спорт 8 0 01.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
513 Гимназия Образование 84 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
475 Выставочные залы г. Москвы Культура 26 0 31.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
609 Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси Транспорт 25667 0 15.02.2013 нет По мере поступления описание
скачать csv
csv_norm
shp
osm
58 Вечерние школы г. Москвы Образование 7 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
461 Больницы города Москвы Здравоохранение 100 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
425 Библиотеки города Москвы включая неподведомственные Культура 520 0 01.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
424 Аттракционная техника с механическим приводом, имеющая допуск к эксплуатации, установленная в парках и скверах Досуг и отдых 246 0 31.01.2012 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
540 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Военно-патриотическое направление Образование 9 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm

Использованные скрипты и сопутствующие файлы, процесс обновления

Язык - Python. Все скрипты одним архивом.

По шагам:

1. items.py,datamosru.py - конфиги Scrapy для получения списка наборов данных. Запускаем:

 mkdir datamosscrapy
 cp items.py datamosscrapy/datamosscrapy
 cp datamosru.py datamosscrapy/datamosscrapy/spiders
 cd datamosscrapy
 scrapy crawl datamosru -o list.csv -t csv
  • list.csv - список слоёв в формате CSV, создается после выполнения паука Scrapy

2. download.py - Загружаем данные, скрипт использует list.csv как источник кодов для ссылок

 python download.py

3. Архивируем всё для истории

 for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i

и выгружаем на FTP в качестве исходников.

4. field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов

 python field_sanitizer_read.py data\ fields.csv yes yes
  • fields.csv - все названия полей данных
  • yes - обновлять существующий файл замен имен полей
  • yes - использовать транслит для новых полей

5. Вручную редактируем файл fields.csv добавляя замены
6. field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv

 python field_sanitizer_write.py data\ data-norm fields.csv

7. process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует prj.prj.

 python process.py
  • prj.prj - файл описания исходной проекции данных

8. table.py - Формируем таблицу в вики-формате (для этой страницы), использует list.csv

 python table.py > table.wiki