Нормализованные данные с портала открытых данных Москвы
по адресу http://gis-lab.info/qa/data-mos.html
Описание данных и копия данных в более удобном для ГИС формате
Источник данных: Портал открытых данных г. Москва http://data.mos.ru
Об исходных данных
Система координат данных: EPSG: 3857 (WGS84 Web Mercator)
Формат данных: CSV (на данный момент)
Кодировка: Windows-1251
Формат хранения геометрий: WKT (поле WKT в CSV)
Существует также сервис следящий за исходными данными и архивирующий версии.
Лицензия данных разрешает любое использование (включая коммерческое) при условии наличия ссылки на первоисточник.
Условия использования набора данных не предполагают ограничений использования набора данных в некоммерческих и коммерческих целях.
Сомнительные места организации исходных данных
- Служебная информация в названиях полей
- Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено
- Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено
- Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено
- Названия полей содержат спецсимволы (например "№", "/", "," - проблемы с конвертацией) -> исправлено
- Одни и те же названия полей то в кавычках, то без (просто некрасиво) -> исправлено
- Одни и те же названия полей то с пробелами, то с "_" вместо пробелов (просто некрасиво) -> исправлено
- Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено
- Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено
- Система координат данных нигде не описана -> исправлено
- Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено
- Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено
Пометка "-> исправлено" означает, что данная проблема исправлена в производной версии данных (см. далее).
О преобразованных данных
В таблице в поле Данные -0 данные для скачивания:
- csv - исходные данные 'как есть' на data.mos.ru, формат CSV, геометрии WKT, кодировка Windows-1251
- csv-norm - данные в формате CSV, с нормализованными названиями полей, *.csvt, *.prj, *.vrt файлами. Кодировка UTF-8
- shp - данные в формате ESRI Shape (максимальная длина строк 255 символов). Кодировка UTF-8. СК EPSG:4326
- osm - данные в формате OSM XML, без обрезки атрибутики. Кодировка UTF-8
Полный перечень названий полей и их замен для нормализованых данных.
TODO
- *.csvt файлы пока рассматривают все поля как тип String(255). Нужно пройтись по всем полям и выяснить их тип, добавив его в fields.csv
- создать *.qml
- сконвертировать все в GeoJSON
- обновлять только обновившееся, дату можно взять из метаданных, (но вдруг нас обманут? :) либо побайтово сравнивать с пред.версией CSV
Актуальность производных данных и архив
Текущая версия данных на: 22 февраля 2013.
Чтобы посмотреть архивную версию данных, возьмите ссылку из таблице ниже и добавьте дату в формате YYYYMMDD. Например: Актуальная версия:
http://gis-lab.info/data/mos.ru/414_shp.7z
Архивная:
http://gis-lab.info/data/mos.ru/20130213/414_shp.7z
Доступны архивы за следующие числа:
20130213,20130222
Таблица данных
Код | Описание набора | Категория | Объектов | Изменение | Дата обновления | Геоданные | Частота обновления | Источник | Данные |
---|---|---|---|---|---|---|---|---|---|
486 | Нестационарные торговые объекты | Торговля | 10231 | 19 | 22.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
505 | Начальная школа – детский сад | Образование | 13 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
492 | Молочные кухни | Здравоохранение | 180 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
493 | Молодежные центры | Досуг и отдых | 7 | 0 | 18.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
569 | Многофункциональные центры | Социальная сфера | 49 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
474 | Лыжные трассы города Москвы | Физическая культура и спорт | 189 | 0 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
414 | Аптеки города Москвы включая неподведомственные | Здравоохранение | 4123 | 0 | 29.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
507 | Начальная школа – детский сад компенсирующего вида | Образование | 14 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
539 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Научно-техническое направление | Образование | 10 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
420 | Научно-практические медицинские центры, учредителем которых является город Москва | Здравоохранение | 66 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
489 | Нежилые помещения, зарегистрированные в собственность города Москвы | Имущество и земля города Москвы | 58122 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
514 | Лицей | Образование | 40 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
544 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Культурологическое направление | Образование | 60 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
576 | Коррекционная школа-интернат для детей-сирот и детей, оставшихся без попечения родителей | Образование | 4 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
532 | Коррекционная общеобразовательная школа-интернат | Образование | 29 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
477 | Ярмарки выходного дня г. Москвы | Торговля | 85 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
566 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Эколого-биологическое направление | Образование | 4 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
524 | Школы надомного обучения | Образование | 13 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
522 | Школы-интернаты с углубленным изучением отдельных предметов | Образование | 4 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
521 | Школы-интернаты | Образование | 6 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
512 | Школы, имеющие в своем составе детские сады (образовательные комплексы) | Образование | 132 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
577 | Школа-интернат для детей-сирот и детей, оставшихся без попечения родителей | Образование | 3 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
429 | Центры социальной помощи семье и детям | Социальная сфера | 35 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
426 | Музеи
(включая Музеи неподведомственные) |
Культура | 281 | 0 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
464 | Центры реабилитации | Социальная сфера | 16 | 0 | 26.12.2012 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
559 | Центры психолого-педагогической и медико-социальной помощи | Образование | 25 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
463 | Центры психологической помощи | Социальная сфера | 13 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
535 | Центры повышения квалификации | Образование | 3 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
557 | Центры психолого-педагогической и медико-социальной помощи | Образование | 4 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
510 | Центры занятости населения | Социальная сфера | 11 | 0 | 26.12.2012 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
556 | Центры психолого-педагогической и медико-социальной помощи | Образование | 6 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
564 | Центр социально-трудовой адаптации и профориентации
|
Социальная сфера | 4 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
558 | Центры психолого-педагогической и медико-социальной помощи | Образование | 16 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
520 | Центр образования | Образование | 180 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
538 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Художественно-эстетическое направление | Образование | 74 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
422 | Хосписы | Здравоохранение | 8 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
543 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей Физкультурно-спортивное направление | Образование | 14 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
468 | Учреждения семейной и молодежной политики г. Москвы | Досуг и отдых | 5 | 0 | 18.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
469 | Учреждения для детей-сирот и детей, оставшихся без попечения родителей | Образование | 29 | 0 | 26.12.2012 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
527 | Учреждения высшего профессионального образования | Образование | 10 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
523 | Учебно-производственные комбинаты | Образование | 3 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
470 | Управления социальной защиты населения г. Москвы | Социальная сфера | 126 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
546 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Туристско-краеведческое направление | Образование | 9 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
560 | Территориальные центры социального обслуживания и филиалы | Социальная сфера | 130 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
460 | Театры г. Москвы | Культура | 237 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
606 | Тарифы на проезд в городском пассажирском транспорте | Транспорт | 265 | 0 | 15.02.2013 | нет | По мере поступления | описание скачать csv |
csv_norm shp osm |
458 | Судебные участки мировых судей города Москвы | Органы государственной власти города Москвы | 438 | 0 | 29.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
443 | Стоматологические поликлиники г. Москвы | Здравоохранение | 39 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
528 | Стационары | Здравоохранение | 54 | 0 | 30.01.2013 | есть | Еженедельная | описание скачать csv |
csv_norm shp osm |
456 | Станции скорой и неотложной медицинской помощи г. Москвы | Здравоохранение | 1 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
457 | Станции переливания крови г. Москвы | Здравоохранение | 1 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
452 | Станции метрополитена г. Москвы | Транспорт | 185 | 0 | 27.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
531 | Средняя общеобразовательная школа "Школа Здоровья" | Образование | 59 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
519 | Средняя общеобразовательная школа с этнокультурным (национальным) компонентом образования | Образование | 22 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
518 | Средняя общеобразовательная школа с углубленным изучением отдельных предметов | Образование | 169 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
516 | Средняя общеобразовательная школа | Образование | 786 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
451 | Спортивные секции города Москвы | Физическая культура и спорт | 1761 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
552 | Спортивные объекты города Москвы | Физическая культура и спорт | 3988 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
542 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Спортивно-техническое направление | Образование | 2 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
530 | Специальная общеобразовательная школа для детей и подростков с девиантным поведением | Образование | 7 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
517 | Специализированные центры труда и занятости населения города Москвы | Социальная сфера | 19 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
547 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Социально-экономическое направление | Образование | 2 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
541 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Социально-педагогическое направление | Образование | 41 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
450 | Сезонные кафе при стационарных объектах общественного питания г. Москвы. | Общественное питание | 1621 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
525 | Санаторно-лесная школа | Образование | 5 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
526 | Санаторная школа-интернат | Образование | 5 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
611 | Розничные рынки | Торговля | 53 | 0 | 15.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
448 | Родильные дома г. Москвы | Здравоохранение | 19 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
490 | Объекты нежилого фонда | Имущество и земля города Москвы | 41 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
495 | Ремонтируемые объекты жилищного фонда (капитальный ремонт) | Имущество и земля города Москвы | 1726 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
503 | Рейтинг топ-100 должников арендной платы по договорам аренды земельных участков | Имущество и земля города Москвы | 100 | 0 | 21.02.2013 | нет | Ежемесячная | описание скачать csv |
csv_norm shp osm |
610 | Региональные ярмарки | Торговля | 40 | 0 | 15.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
581 | Расположение мест приёма документов Департамента земельных ресурсов города Москвы | Территориальное планирование | 12 | 0 | 14.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
529 | Психоневрологические интернаты | Социальная сфера | 17 | 0 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
608 | Продажа билетов на пригородные поезда | Транспорт | 25043 | 0 | 18.02.2013 | нет | По мере поступления | описание скачать csv |
csv_norm shp osm |
515 | Прогимназия | Образование | 24 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
506 | Прогимназия | Образование | 15 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
437 | Платные парковки на улично-дорожной сети | Транспорт | 9 | 0 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
601 | Перечень приоритетных продуктов и технологий, используемых в отраслях городского хозяйства | Реестр справочной информации | 336 | 0 | 24.01.2013 | нет | Ежемесячная | описание скачать csv |
csv_norm shp osm |
599 | Перечень выданных субсидий организациям промышленности, науки и инновационной инфраструктуры города | Реестр справочной информации | 52 | 0 | 24.01.2013 | нет | Ежемесячная | описание скачать csv |
csv_norm shp osm |
497 | Перехватывающие парковки города Москвы | Транспорт | 62 | 0 | 20.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
439 | Паспортизация квартир в домах-новостройках, строительство которых выполнено за счет городского бюджета и по инвестиционным контрактам | Имущество и земля города Москвы | 1044 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
438 | Парковки такси | Транспорт | 226 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
436 | Парки г. Москвы | Досуг и отдых | 87 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
574 | Пансионаты для ветеранов | Социальная сфера | 10 | 0 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
476 | Открытые ледовые катки города Москвы | Физическая культура и спорт | 1452 | -10 | 22.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
511 | Отделы трудоустройства | Социальная сфера | 52 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
480 | Органы ЗАГС Москвы | Органы государственной власти города Москвы | 38 | 0 | 18.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
491 | Объекты социальной сферы | Социальная сфера | 5 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
488 | Объекты розничной торговли и общественного питания, имеющие лицензию на розничную продажу алкогольной продукции с указанием срока ее действия | Общественное питание | 10134 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
487 | Объекты ритуального обслуживания | Социальная сфера | 137 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
561 | Объекты капитального ремонта улично-дорожной сети | Улично-дорожная сеть | 379 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
467 | Объекты городской инфраструктуры, приспособленные для инвалидов и лиц с ограничениями жизнедеятельности | Социальная сфера | 203 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
494 | Объекты гаражного назначения по программе «Народный гараж» | Объекты общегородских программ | 172 | 0 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
445 | Образовательные учреждения города Москвы, реализующие программы среднего профессионального образования. Техникумы г. Москвы | Образование | 9 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
533 | Коррекционная общеобразовательная школа | Образование | 25 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
550 | Объекты культурного наследия и Выявленные объекты культурного наследия | Культура | 6104 | 0 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
534 | Коррекционная начальная школа - детский сад | Образование | 5 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
454 | Концертные организации | Культура | 87 | 0 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
423 | Консультативно-диагностические центры | Здравоохранение | 18 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
555 | Колледжи | Образование | 107 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
465 | Кинотеатры (включая учреждения кинофикации неподведомственные) | Досуг и отдых | 180 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
427 | Кадетские школы-интернаты | Образование | 11 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
428 | Кадетские школы | Образование | 8 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
612 | Инфраструктура поддержки малого и среднего предпринимательства | Объекты общегородских программ | 10 | 0 | 15.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
483 | Земельные участки в собственности города Москвы | Имущество и земля города Москвы | 5881 | 0 | 08.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
449 | Здравоохранение. Санатории г. Москва | Здравоохранение | 42 | 0 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
447 | Жилищно-коммунальное хозяйство. Районные инженерные службы г. Москвы. | Жилищно-коммунальное хозяйство | 119 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
485 | Женские консультации г. Москвы | Здравоохранение | 15 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
545 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Естественнонаучное направление | Образование | 6 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
419 | Дома ребенка, в том числе специализированные | Здравоохранение | 19 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
578 | Дома культуры и клубы включая дома культуры и клубы неподведомственные | Досуг и отдых | 270 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
415 | Диспансеры | Здравоохранение | 54 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
504 | Детский сад компенсирующего вида | Образование | 190 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
502 | Детский сад комбинированного вида | Образование | 405 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
537 | Детские школы искусств | Образование | 47 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
536 | Детские художественные школы | Образование | 20 | 0 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
444 | Детские стоматологические поликлиники г. Москвы | Здравоохранение | 25 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
508 | Детские сады в составе школ (образовательные комплексы) | Образование | 132 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
501 | Детские сады г. Москвы | Образование | 767 | 0 | 29.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
442 | Детские поликлиники г. Москвы | Здравоохранение | 172 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
430 | Детские музыкальные школы | Образование | 107 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
575 | Учреждения для детей-сирот и детей, оставшихся без попечения родителей | Социальная сфера | 29 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
579 | Границы территорий, по которым утверждены проекты планировок | Территориальное планирование | 287 | 0 | 18.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
482 | Границы районов города Москвы | Территориальное планирование | 134 | 0 | 21.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
548 | Границы зон охраны объектов культурного наследия | Территориальное планирование | 456 | 0 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
484 | Границы внутригородских муниципальных образований в городе Москве | Территориальное планирование | 150 | -5 | 21.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
481 | Границы административных округов города Москвы | Территориальное планирование | 12 | -1 | 21.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
479 | Государственные учреждения, подведомственные Департаменту жилищно-коммунального хозяйства и благоустройства города Москвы | Жилищно-коммунальное хозяйство | 27 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
549 | Границы территорий объектов культурного наследия | Территориальное планирование | 1483 | 0 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
478 | Государственные казенные учреждения дирекции жилищно-коммунального хозяйства и благоустройства административных округов города Москвы | Жилищно-коммунальное хозяйство | 16 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
421 | Госпитали всех наименований, учредителем которых является город Москва | Здравоохранение | 4 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
466 | Городской центр "Дети улиц" | Социальная сфера | 16 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
441 | Городские Поликлиники | Здравоохранение | 263 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
432 | Городские отделы жилищных субсидий | Социальная сфера | 130 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
473 | Горнолыжные склоны Москвы | Физическая культура и спорт | 8 | 0 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
513 | Гимназия | Образование | 84 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
475 | Выставочные залы г. Москвы | Культура | 26 | 0 | 31.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
609 | Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси | Транспорт | 25667 | 0 | 15.02.2013 | нет | По мере поступления | описание скачать csv |
csv_norm shp osm |
58 | Вечерние школы г. Москвы | Образование | 7 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
461 | Больницы города Москвы | Здравоохранение | 100 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
425 | Библиотеки города Москвы включая неподведомственные | Культура | 520 | 0 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
424 | Аттракционная техника с механическим приводом, имеющая допуск к эксплуатации, установленная в парках и скверах | Досуг и отдых | 246 | 0 | 31.01.2012 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
540 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Военно-патриотическое направление | Образование | 9 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
Использованные скрипты и сопутствующие файлы, процесс обновления
Язык - Python. Все скрипты одним архивом.
По шагам:
1. items.py,datamosru.py - конфиги Scrapy для получения списка наборов данных. Запускаем:
mkdir datamosscrapy cp items.py datamosscrapy/datamosscrapy cp datamosru.py datamosscrapy/datamosscrapy/spiders cd datamosscrapy scrapy crawl datamosru -o list.csv -t csv
- list.csv - список слоёв в формате CSV, создается после выполнения паука Scrapy
2. download.py - Загружаем данные, скрипт использует list.csv как источник кодов для ссылок
python download.py
3. Архивируем всё для истории
for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i
и выгружаем на FTP в качестве исходников.
4. field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов
python field_sanitizer_read.py data\ fields.csv yes yes
- fields.csv - все названия полей данных
- yes - обновлять существующий файл замен имен полей
- yes - использовать транслит для новых полей
5. Вручную редактируем файл fields.csv добавляя замены
6. field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv
python field_sanitizer_write.py data\ data-norm fields.csv
7. process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует prj.prj.
python process.py
- prj.prj - файл описания исходной проекции данных
8. table.py - Формируем таблицу в вики-формате (для этой страницы), использует list.csv
python table.py > table.wiki