Нормализованные данные с портала открытых данных Москвы

Материал из GIS-Lab
Перейти к навигации Перейти к поиску
Эта страница опубликована в основном списке статей сайта
по адресу http://gis-lab.info/qa/data-mos.html


Описание данных и копия данных в более удобном для ГИС формате

Источник данных: Портал открытых данных г. Москва http://data.mos.ru

Об исходных данных

Система координат данных: EPSG: 3857 (WGS84 Web Mercator)
Формат данных: CSV (на данный момент)
Кодировка: Windows-1251
Формат хранения геометрий: WKT (поле WKT в CSV)

Лицензия данных разрешает любое использование (включая коммерческое) при условии наличия ссылки на первоисточник.

Условия использования набора данных не предполагают ограничений использования набора данных в некоммерческих и коммерческих целях.

Сомнительные места организации исходных данных

  1. Служебная информация в названиях полей
  2. Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено
  3. Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено
  4. Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено
  5. Названия полей содержат спецсимволы (например "№", "/", "," - проблемы с конвертацией) -> исправлено
  6. Одни и те же названия полей то в кавычках, то без (просто некрасиво) -> исправлено
  7. Одни и те же названия полей то с пробелами, то с "_" вместо пробелов (просто некрасиво) -> исправлено
  8. Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено
  9. Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено
  10. Система координат данных нигде не описана -> исправлено
  11. Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено
  12. Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено

Пометка "-> исправлено" означает, что данная проблема исправлена в производной версии данных (см. далее).

О преобразованных данных

В таблице в поле Данные -0 данные для скачивания:

  • csv - исходные данные 'как есть' на data.mos.ru, формат CSV, геометрии WKT, кодировка Windows-1251
  • csv-norm - данные в формате CSV, с нормализованными названиями полей, *.csvt, *.prj, *.vrt файлами. Кодировка UTF-8
  • shp - данные в формате ESRI Shape (максимальная длина строк 255 символов). Кодировка UTF-8. СК EPSG:4326
  • osm - данные в формате OSM XML, без обрезки атрибутики. Кодировка UTF-8

Полный перечень названий полей и их замен для нормализованых данных.

TODO

  • *.csvt файлы пока рассматривают все поля как тип String(255). Нужно пройтись по всем полям и выяснить их тип, добавив его в fields.csv
  • создать *.qml
  • сконвертировать все в GeoJSON
  • обновлять только обновившееся, дату можно взять из метаданных, (но вдруг нас обманут? :) либо побайтово сравнивать с пред.версией CSV

Актуальность производных данных и архив

Текущая версия данных на: 22 февраля 2013.

Чтобы посмотреть архивную версию данных, возьмите ссылку из таблице ниже и добавьте дату в формате YYYYMMDD. Например: Актуальная версия:

 http://gis-lab.info/data/mos.ru/414_shp.7z

Архивная:

 http://gis-lab.info/data/mos.ru/20130213/414_shp.7z

Доступны архивы за следующие числа:
20130213,20130222

Таблица данных

Код Описание набора Категория Объектов Изменение Дата обновления Геоданные Частота обновления Источник Данные
486 Нестационарные торговые объекты Торговля 10231 19 22.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
505 Начальная школа – детский сад Образование 13 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
492 Молочные кухни Здравоохранение 180 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
493 Молодежные центры Досуг и отдых 7 0 18.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
569 Многофункциональные центры Социальная сфера 49 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
474 Лыжные трассы города Москвы Физическая культура и спорт 189 0 01.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
414 Аптеки города Москвы включая неподведомственные Здравоохранение 4123 0 29.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
507 Начальная школа – детский сад компенсирующего вида Образование 14 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
539 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Научно-техническое направление Образование 10 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
420 Научно-практические медицинские центры, учредителем которых является город Москва Здравоохранение 66 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
489 Нежилые помещения, зарегистрированные в собственность города Москвы Имущество и земля города Москвы 58122 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
514 Лицей Образование 40 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
544 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Культурологическое направление Образование 60 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
576 Коррекционная школа-интернат для детей-сирот и детей, оставшихся без попечения родителей Образование 4 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
532 Коррекционная общеобразовательная школа-интернат Образование 29 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
477 Ярмарки выходного дня г. Москвы Торговля 85 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
566 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Эколого-биологическое направление Образование 4 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
524 Школы надомного обучения Образование 13 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
522 Школы-интернаты с углубленным изучением отдельных предметов Образование 4 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
521 Школы-интернаты Образование 6 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
512 Школы, имеющие в своем составе детские сады (образовательные комплексы) Образование 132 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
577 Школа-интернат для детей-сирот и детей, оставшихся без попечения родителей Образование 3 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
429 Центры социальной помощи семье и детям Социальная сфера 35 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
426 Музеи

(включая Музеи неподведомственные)

Культура 281 0 01.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
464 Центры реабилитации Социальная сфера 16 0 26.12.2012 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
559 Центры психолого-педагогической и медико-социальной помощи Образование 25 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
463 Центры психологической помощи Социальная сфера 13 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
535 Центры повышения квалификации Образование 3 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
557 Центры психолого-педагогической и медико-социальной помощи Образование 4 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
510 Центры занятости населения Социальная сфера 11 0 26.12.2012 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
556 Центры психолого-педагогической и медико-социальной помощи Образование 6 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
564 Центр социально-трудовой адаптации и профориентации


Социальная сфера 4 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
558 Центры психолого-педагогической и медико-социальной помощи Образование 16 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
520 Центр образования Образование 180 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
538 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Художественно-эстетическое направление Образование 74 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
422 Хосписы Здравоохранение 8 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
543 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей Физкультурно-спортивное направление Образование 14 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
468 Учреждения семейной и молодежной политики г. Москвы Досуг и отдых 5 0 18.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
469 Учреждения для детей-сирот и детей, оставшихся без попечения родителей Образование 29 0 26.12.2012 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
527 Учреждения высшего профессионального образования Образование 10 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
523 Учебно-производственные комбинаты Образование 3 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
470 Управления социальной защиты населения г. Москвы Социальная сфера 126 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
546 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Туристско-краеведческое направление Образование 9 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
560 Территориальные центры социального обслуживания и филиалы Социальная сфера 130 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
460 Театры г. Москвы Культура 237 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
606 Тарифы на проезд в городском пассажирском транспорте Транспорт 265 0 15.02.2013 нет По мере поступления описание
скачать csv
csv_norm
shp
osm
458 Судебные участки мировых судей города Москвы Органы государственной власти города Москвы 438 0 29.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
443 Стоматологические поликлиники г. Москвы Здравоохранение 39 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
528 Стационары Здравоохранение 54 0 30.01.2013 есть Еженедельная описание
скачать csv
csv_norm
shp
osm
456 Станции скорой и неотложной медицинской помощи г. Москвы Здравоохранение 1 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
457 Станции переливания крови г. Москвы Здравоохранение 1 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
452 Станции метрополитена г. Москвы Транспорт 185 0 27.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
531 Средняя общеобразовательная школа "Школа Здоровья" Образование 59 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
519 Средняя общеобразовательная школа с этнокультурным (национальным) компонентом образования Образование 22 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
518 Средняя общеобразовательная школа с углубленным изучением отдельных предметов Образование 169 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
516 Средняя общеобразовательная школа Образование 786 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
451 Спортивные секции города Москвы Физическая культура и спорт 1761 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
552 Спортивные объекты города Москвы Физическая культура и спорт 3988 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
542 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Спортивно-техническое направление Образование 2 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
530 Специальная общеобразовательная школа для детей и подростков с девиантным поведением Образование 7 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
517 Специализированные центры труда и занятости населения города Москвы Социальная сфера 19 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
547 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Социально-экономическое направление Образование 2 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
541 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Социально-педагогическое направление Образование 41 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
450 Сезонные кафе при стационарных объектах общественного питания г. Москвы. Общественное питание 1621 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
525 Санаторно-лесная школа Образование 5 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
526 Санаторная школа-интернат Образование 5 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
611 Розничные рынки Торговля 53 0 15.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
448 Родильные дома г. Москвы Здравоохранение 19 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
490 Объекты нежилого фонда Имущество и земля города Москвы 41 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
495 Ремонтируемые объекты жилищного фонда (капитальный ремонт) Имущество и земля города Москвы 1726 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
503 Рейтинг топ-100 должников арендной платы по договорам аренды земельных участков Имущество и земля города Москвы 100 0 21.02.2013 нет Ежемесячная описание
скачать csv
csv_norm
shp
osm
610 Региональные ярмарки Торговля 40 0 15.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
581 Расположение мест приёма документов Департамента земельных ресурсов города Москвы Территориальное планирование 12 0 14.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
529 Психоневрологические интернаты Социальная сфера 17 0 26.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
608 Продажа билетов на пригородные поезда Транспорт 25043 0 18.02.2013 нет По мере поступления описание
скачать csv
csv_norm
shp
osm
515 Прогимназия Образование 24 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
506 Прогимназия Образование 15 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
437 Платные парковки на улично-дорожной сети Транспорт 9 0 26.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
601 Перечень приоритетных продуктов и технологий, используемых в отраслях городского хозяйства Реестр справочной информации 336 0 24.01.2013 нет Ежемесячная описание
скачать csv
csv_norm
shp
osm
599 Перечень выданных субсидий организациям промышленности, науки и инновационной инфраструктуры города Реестр справочной информации 52 0 24.01.2013 нет Ежемесячная описание
скачать csv
csv_norm
shp
osm
497 Перехватывающие парковки города Москвы Транспорт 62 0 20.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
439 Паспортизация квартир в домах-новостройках, строительство которых выполнено за счет городского бюджета и по инвестиционным контрактам Имущество и земля города Москвы 1044 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
438 Парковки такси Транспорт 226 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
436 Парки г. Москвы Досуг и отдых 87 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
574 Пансионаты для ветеранов Социальная сфера 10 0 26.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
476 Открытые ледовые катки города Москвы Физическая культура и спорт 1452 -10 22.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
511 Отделы трудоустройства Социальная сфера 52 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
480 Органы ЗАГС Москвы Органы государственной власти города Москвы 38 0 18.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
491 Объекты социальной сферы Социальная сфера 5 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
488 Объекты розничной торговли и общественного питания, имеющие лицензию на розничную продажу алкогольной продукции с указанием срока ее действия Общественное питание 10134 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
487 Объекты ритуального обслуживания Социальная сфера 137 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
561 Объекты капитального ремонта улично-дорожной сети Улично-дорожная сеть 379 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
467 Объекты городской инфраструктуры, приспособленные для инвалидов и лиц с ограничениями жизнедеятельности Социальная сфера 203 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
494 Объекты гаражного назначения по программе «Народный гараж» Объекты общегородских программ 172 0 01.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
445 Образовательные учреждения города Москвы, реализующие программы среднего профессионального образования. Техникумы г. Москвы Образование 9 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
533 Коррекционная общеобразовательная школа Образование 25 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
550 Объекты культурного наследия и Выявленные объекты культурного наследия Культура 6104 0 26.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
534 Коррекционная начальная школа - детский сад Образование 5 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
454 Концертные организации Культура 87 0 01.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
423 Консультативно-диагностические центры Здравоохранение 18 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
555 Колледжи Образование 107 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
465 Кинотеатры (включая учреждения кинофикации неподведомственные) Досуг и отдых 180 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
427 Кадетские школы-интернаты Образование 11 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
428 Кадетские школы Образование 8 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
612 Инфраструктура поддержки малого и среднего предпринимательства Объекты общегородских программ 10 0 15.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
483 Земельные участки в собственности города Москвы Имущество и земля города Москвы 5881 0 08.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
449 Здравоохранение. Санатории г. Москва Здравоохранение 42 0 26.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
447 Жилищно-коммунальное хозяйство. Районные инженерные службы г. Москвы. Жилищно-коммунальное хозяйство 119 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
485 Женские консультации г. Москвы Здравоохранение 15 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
545 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Естественнонаучное направление Образование 6 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
419 Дома ребенка, в том числе специализированные Здравоохранение 19 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
578 Дома культуры и клубы включая дома культуры и клубы неподведомственные Досуг и отдых 270 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
415 Диспансеры Здравоохранение 54 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
504 Детский сад компенсирующего вида Образование 190 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
502 Детский сад комбинированного вида Образование 405 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
537 Детские школы искусств Образование 47 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
536 Детские художественные школы Образование 20 0 01.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
444 Детские стоматологические поликлиники г. Москвы Здравоохранение 25 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
508 Детские сады в составе школ (образовательные комплексы) Образование 132 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
501 Детские сады г. Москвы Образование 767 0 29.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
442 Детские поликлиники г. Москвы Здравоохранение 172 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
430 Детские музыкальные школы Образование 107 0 01.02.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
575 Учреждения для детей-сирот и детей, оставшихся без попечения родителей Социальная сфера 29 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
579 Границы территорий, по которым утверждены проекты планировок Территориальное планирование 287 0 18.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
482 Границы районов города Москвы Территориальное планирование 134 0 21.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
548 Границы зон охраны объектов культурного наследия Территориальное планирование 456 0 26.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
484 Границы внутригородских муниципальных образований в городе Москве Территориальное планирование 150 -5 21.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
481 Границы административных округов города Москвы Территориальное планирование 12 -1 21.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
479 Государственные учреждения, подведомственные Департаменту жилищно-коммунального хозяйства и благоустройства города Москвы Жилищно-коммунальное хозяйство 27 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
549 Границы территорий объектов культурного наследия Территориальное планирование 1483 0 26.12.2012 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
478 Государственные казенные учреждения дирекции жилищно-коммунального хозяйства и благоустройства административных округов города Москвы Жилищно-коммунальное хозяйство 16 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
421 Госпитали всех наименований, учредителем которых является город Москва Здравоохранение 4 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
466 Городской центр "Дети улиц" Социальная сфера 16 0 30.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
441 Городские Поликлиники Здравоохранение 263 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
432 Городские отделы жилищных субсидий Социальная сфера 130 0 30.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
473 Горнолыжные склоны Москвы Физическая культура и спорт 8 0 01.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
513 Гимназия Образование 84 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
475 Выставочные залы г. Москвы Культура 26 0 31.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
609 Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси Транспорт 25667 0 15.02.2013 нет По мере поступления описание
скачать csv
csv_norm
shp
osm
58 Вечерние школы г. Москвы Образование 7 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm
461 Больницы города Москвы Здравоохранение 100 0 28.01.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
425 Библиотеки города Москвы включая неподведомственные Культура 520 0 01.02.2013 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
424 Аттракционная техника с механическим приводом, имеющая допуск к эксплуатации, установленная в парках и скверах Досуг и отдых 246 0 31.01.2012 есть Ежемесячная описание
скачать csv
csv_norm
shp
osm
540 Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Военно-патриотическое направление Образование 9 0 28.01.2013 есть По мере поступления описание
скачать csv
csv_norm
shp
osm

Использованные скрипты и сопутствующие файлы, процесс обновления

Язык - Python. Все скрипты одним архивом.

По шагам:

1. items.py,datamosru.py - конфиги Scrapy для получения списка наборов данных. Запускаем:

 mkdir datamosscrapy
 cp items.py datamosscrapy/datamosscrapy
 cp datamosru.py datamosscrapy/datamosscrapy/spiders
 scrapy crawl datamosru -o list.csv -t csv
  • list.csv - список слоёв в формате CSV, создается после выполнения паука Scrapy

2. download.py - Загружаем данные, скрипт использует list.csv как источник кодов для ссылок

 python download.py

3. Архивируем всё для истории, выгружаем на FTP в качестве исходников

 for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i

4. field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов

 python field_sanitizer_read.py d:\Programming\Python\data.mos.ru\data\ fields.csv yes yes
  • fields.csv - все названия полей данных

5. Вручную редактируем файл fields.csv добавляя замены
6. field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv

 python field_sanitizer_write.py d:\Programming\Python\data.mos.ru\data\ d:\Programming\Python\data.mos.ru\data-norm\ fields.csv

7. process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует prj.prj.

 python process.py
  • prj.prj - файл описания исходной проекции данных

8. table.py - Формируем таблицу в вики-формате (для этой страницы), использует list.csv

 python table.py > table.wiki