Нормализованные данные с портала открытых данных Москвы: различия между версиями
Перейти к навигации
Перейти к поиску
| Строка 15: | Строка 15: | ||
==Сомнительные места организации исходных данных== | ==Сомнительные места организации исходных данных== | ||
Пометка "-> исправлено" означает, что данная проблема исправлена в производной версии данных (см. далее). | |||
#Служебная информация в названиях полей | #Служебная информация в названиях полей | ||
#Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено | #Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено | ||
#Исходные данные в системе координат: ПМСК (местная система координат г. Москвы) (ужасная СК для распространения векторных данных) | |||
#Смешивание данных в разных системах координат в одних и тех же столбцах в одном наборе данных | |||
#Непоследовательное применение WKT представлений координат, то используется, то не используется. | |||
#Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено | #Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено | ||
#Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено | #Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено | ||
| Строка 24: | Строка 29: | ||
#Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено | #Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено | ||
#Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено | #Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено | ||
# | #Отсутствуют вспомогательные файлы описания системы координат данных -> исправлено | ||
#Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено | #Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено | ||
#Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено | #Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено | ||
==О преобразованных данных== | ==О преобразованных данных== | ||
Версия от 23:52, 19 мая 2013
Эта страница опубликована в основном списке статей сайта
по адресу http://gis-lab.info/qa/data-mos.html
по адресу http://gis-lab.info/qa/data-mos.html
Описание данных и копия данных в более удобном для ГИС формате
Источник данных: Портал открытых данных г. Москва http://data.mos.ru
Об исходных данных
Система координат данных: EPSG: 3857 (WGS84 Web Mercator)
Формат данных: CSV (на данный момент)
Кодировка: Windows-1251
Формат хранения геометрий: WKT (поле WKT в CSV)
Лицензия данных разрешает любое использование (включая коммерческое) при условии наличия ссылки на первоисточник.
Условия использования набора данных не предполагают ограничений использования набора данных в некоммерческих и коммерческих целях.
Сомнительные места организации исходных данных
Пометка "-> исправлено" означает, что данная проблема исправлена в производной версии данных (см. далее).
- Служебная информация в названиях полей
- Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено
- Исходные данные в системе координат: ПМСК (местная система координат г. Москвы) (ужасная СК для распространения векторных данных)
- Смешивание данных в разных системах координат в одних и тех же столбцах в одном наборе данных
- Непоследовательное применение WKT представлений координат, то используется, то не используется.
- Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено
- Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено
- Названия полей содержат спецсимволы (например "№", "/", "," - проблемы с конвертацией) -> исправлено
- Одни и те же названия полей то в кавычках, то без (просто некрасиво) -> исправлено
- Одни и те же названия полей то с пробелами, то с "_" вместо пробелов (просто некрасиво) -> исправлено
- Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено
- Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено
- Отсутствуют вспомогательные файлы описания системы координат данных -> исправлено
- Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено
- Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено
О преобразованных данных
В таблице в поле Данные -0 данные для скачивания:
- csv - исходные данные 'как есть' на data.mos.ru, формат CSV, геометрии WKT, кодировка Windows-1251
- csv-norm - данные в формате CSV, с нормализованными названиями полей, *.csvt, *.prj, *.vrt файлами. Кодировка UTF-8
- shp - данные в формате ESRI Shape (максимальная длина строк 255 символов). Кодировка UTF-8. СК EPSG:4326
- osm - данные в формате OSM XML, без обрезки атрибутики. Кодировка UTF-8
Полный перечень названий полей и их замен для нормализованых данных.
TODO
- *.csvt файлы пока рассматривают все поля как тип String(255). Нужно пройтись по всем полям и выяснить их тип, добавив его в fields.csv
- создать *.qml
- сконвертировать все в GeoJSON
- обновлять только обновившееся, дату можно взять из метаданных, (но вдруг нас обманут? :) либо побайтово сравнивать с пред.версией CSV
Актуальность производных данных и архив
Текущая версия данных расположенная здесь: 22 февраля 2013.
Чтобы посмотреть архивную версию данных, возьмите ссылку из таблице ниже и добавьте дату в формате YYYYMMDD. Например: Актуальная версия:
http://gis-lab.info/data/mos.ru/414_shp.7z
Архивная:
http://gis-lab.info/data/mos.ru/20130213/414_shp.7z
Доступны архивы за следующие числа:
20130213,20130222
Существует также сервис следящий за исходными данными и архивирующий версии, пока этот сервис не занимается нормализацией данных, планируется объединить эти два сервиса.
Таблица данных
| Код | Описание набора | Категория | Объектов | Изменение | Дата обновления | Геоданные | Частота обновления | Источник | Данные |
|---|---|---|---|---|---|---|---|---|---|
| 486 | Нестационарные торговые объекты | Торговля | 10231 | 19 | 22.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 505 | Начальная школа – детский сад | Образование | 13 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 492 | Молочные кухни | Здравоохранение | 180 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 493 | Молодежные центры | Досуг и отдых | 7 | 0 | 18.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 569 | Многофункциональные центры | Социальная сфера | 49 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 474 | Лыжные трассы города Москвы | Физическая культура и спорт | 189 | 0 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 414 | Аптеки города Москвы включая неподведомственные | Здравоохранение | 4123 | 0 | 29.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 507 | Начальная школа – детский сад компенсирующего вида | Образование | 14 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 539 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Научно-техническое направление | Образование | 10 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 420 | Научно-практические медицинские центры, учредителем которых является город Москва | Здравоохранение | 66 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 489 | Нежилые помещения, зарегистрированные в собственность города Москвы | Имущество и земля города Москвы | 58122 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 514 | Лицей | Образование | 40 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 544 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Культурологическое направление | Образование | 60 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 576 | Коррекционная школа-интернат для детей-сирот и детей, оставшихся без попечения родителей | Образование | 4 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 532 | Коррекционная общеобразовательная школа-интернат | Образование | 29 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 477 | Ярмарки выходного дня г. Москвы | Торговля | 85 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 566 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Эколого-биологическое направление | Образование | 4 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 524 | Школы надомного обучения | Образование | 13 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 522 | Школы-интернаты с углубленным изучением отдельных предметов | Образование | 4 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 521 | Школы-интернаты | Образование | 6 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 512 | Школы, имеющие в своем составе детские сады (образовательные комплексы) | Образование | 132 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 577 | Школа-интернат для детей-сирот и детей, оставшихся без попечения родителей | Образование | 3 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 429 | Центры социальной помощи семье и детям | Социальная сфера | 35 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 426 | Музеи
(включая Музеи неподведомственные) |
Культура | 281 | 0 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 464 | Центры реабилитации | Социальная сфера | 16 | 0 | 26.12.2012 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 559 | Центры психолого-педагогической и медико-социальной помощи | Образование | 25 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 463 | Центры психологической помощи | Социальная сфера | 13 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 535 | Центры повышения квалификации | Образование | 3 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 557 | Центры психолого-педагогической и медико-социальной помощи | Образование | 4 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 510 | Центры занятости населения | Социальная сфера | 11 | 0 | 26.12.2012 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 556 | Центры психолого-педагогической и медико-социальной помощи | Образование | 6 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 564 | Центр социально-трудовой адаптации и профориентации
|
Социальная сфера | 4 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 558 | Центры психолого-педагогической и медико-социальной помощи | Образование | 16 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 520 | Центр образования | Образование | 180 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 538 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Художественно-эстетическое направление | Образование | 74 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 422 | Хосписы | Здравоохранение | 8 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 543 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей Физкультурно-спортивное направление | Образование | 14 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 468 | Учреждения семейной и молодежной политики г. Москвы | Досуг и отдых | 5 | 0 | 18.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 469 | Учреждения для детей-сирот и детей, оставшихся без попечения родителей | Образование | 29 | 0 | 26.12.2012 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 527 | Учреждения высшего профессионального образования | Образование | 10 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 523 | Учебно-производственные комбинаты | Образование | 3 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 470 | Управления социальной защиты населения г. Москвы | Социальная сфера | 126 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 546 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Туристско-краеведческое направление | Образование | 9 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 560 | Территориальные центры социального обслуживания и филиалы | Социальная сфера | 130 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 460 | Театры г. Москвы | Культура | 237 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 606 | Тарифы на проезд в городском пассажирском транспорте | Транспорт | 265 | 0 | 15.02.2013 | нет | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 458 | Судебные участки мировых судей города Москвы | Органы государственной власти города Москвы | 438 | 0 | 29.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 443 | Стоматологические поликлиники г. Москвы | Здравоохранение | 39 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 528 | Стационары | Здравоохранение | 54 | 0 | 30.01.2013 | есть | Еженедельная | описание скачать csv |
csv_norm shp osm |
| 456 | Станции скорой и неотложной медицинской помощи г. Москвы | Здравоохранение | 1 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 457 | Станции переливания крови г. Москвы | Здравоохранение | 1 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 452 | Станции метрополитена г. Москвы | Транспорт | 185 | 0 | 27.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 531 | Средняя общеобразовательная школа "Школа Здоровья" | Образование | 59 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 519 | Средняя общеобразовательная школа с этнокультурным (национальным) компонентом образования | Образование | 22 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 518 | Средняя общеобразовательная школа с углубленным изучением отдельных предметов | Образование | 169 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 516 | Средняя общеобразовательная школа | Образование | 786 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 451 | Спортивные секции города Москвы | Физическая культура и спорт | 1761 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 552 | Спортивные объекты города Москвы | Физическая культура и спорт | 3988 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 542 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Спортивно-техническое направление | Образование | 2 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 530 | Специальная общеобразовательная школа для детей и подростков с девиантным поведением | Образование | 7 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 517 | Специализированные центры труда и занятости населения города Москвы | Социальная сфера | 19 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 547 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Социально-экономическое направление | Образование | 2 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 541 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Социально-педагогическое направление | Образование | 41 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 450 | Сезонные кафе при стационарных объектах общественного питания г. Москвы. | Общественное питание | 1621 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 525 | Санаторно-лесная школа | Образование | 5 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 526 | Санаторная школа-интернат | Образование | 5 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 611 | Розничные рынки | Торговля | 53 | 0 | 15.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 448 | Родильные дома г. Москвы | Здравоохранение | 19 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 490 | Объекты нежилого фонда | Имущество и земля города Москвы | 41 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 495 | Ремонтируемые объекты жилищного фонда (капитальный ремонт) | Имущество и земля города Москвы | 1726 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 503 | Рейтинг топ-100 должников арендной платы по договорам аренды земельных участков | Имущество и земля города Москвы | 100 | 0 | 21.02.2013 | нет | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 610 | Региональные ярмарки | Торговля | 40 | 0 | 15.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 581 | Расположение мест приёма документов Департамента земельных ресурсов города Москвы | Территориальное планирование | 12 | 0 | 14.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 529 | Психоневрологические интернаты | Социальная сфера | 17 | 0 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 608 | Продажа билетов на пригородные поезда | Транспорт | 25043 | 0 | 18.02.2013 | нет | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 515 | Прогимназия | Образование | 24 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 506 | Прогимназия | Образование | 15 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 437 | Платные парковки на улично-дорожной сети | Транспорт | 9 | 0 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 601 | Перечень приоритетных продуктов и технологий, используемых в отраслях городского хозяйства | Реестр справочной информации | 336 | 0 | 24.01.2013 | нет | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 599 | Перечень выданных субсидий организациям промышленности, науки и инновационной инфраструктуры города | Реестр справочной информации | 52 | 0 | 24.01.2013 | нет | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 497 | Перехватывающие парковки города Москвы | Транспорт | 62 | 0 | 20.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 439 | Паспортизация квартир в домах-новостройках, строительство которых выполнено за счет городского бюджета и по инвестиционным контрактам | Имущество и земля города Москвы | 1044 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 438 | Парковки такси | Транспорт | 226 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 436 | Парки г. Москвы | Досуг и отдых | 87 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 574 | Пансионаты для ветеранов | Социальная сфера | 10 | 0 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 476 | Открытые ледовые катки города Москвы | Физическая культура и спорт | 1452 | -10 | 22.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 511 | Отделы трудоустройства | Социальная сфера | 52 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 480 | Органы ЗАГС Москвы | Органы государственной власти города Москвы | 38 | 0 | 18.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 491 | Объекты социальной сферы | Социальная сфера | 5 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 488 | Объекты розничной торговли и общественного питания, имеющие лицензию на розничную продажу алкогольной продукции с указанием срока ее действия | Общественное питание | 10134 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 487 | Объекты ритуального обслуживания | Социальная сфера | 137 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 561 | Объекты капитального ремонта улично-дорожной сети | Улично-дорожная сеть | 379 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 467 | Объекты городской инфраструктуры, приспособленные для инвалидов и лиц с ограничениями жизнедеятельности | Социальная сфера | 203 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 494 | Объекты гаражного назначения по программе «Народный гараж» | Объекты общегородских программ | 172 | 0 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 445 | Образовательные учреждения города Москвы, реализующие программы среднего профессионального образования. Техникумы г. Москвы | Образование | 9 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 533 | Коррекционная общеобразовательная школа | Образование | 25 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 550 | Объекты культурного наследия и Выявленные объекты культурного наследия | Культура | 6104 | 0 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 534 | Коррекционная начальная школа - детский сад | Образование | 5 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 454 | Концертные организации | Культура | 87 | 0 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 423 | Консультативно-диагностические центры | Здравоохранение | 18 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 555 | Колледжи | Образование | 107 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 465 | Кинотеатры (включая учреждения кинофикации неподведомственные) | Досуг и отдых | 180 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 427 | Кадетские школы-интернаты | Образование | 11 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 428 | Кадетские школы | Образование | 8 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 612 | Инфраструктура поддержки малого и среднего предпринимательства | Объекты общегородских программ | 10 | 0 | 15.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 483 | Земельные участки в собственности города Москвы | Имущество и земля города Москвы | 5881 | 0 | 08.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 449 | Здравоохранение. Санатории г. Москва | Здравоохранение | 42 | 0 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 447 | Жилищно-коммунальное хозяйство. Районные инженерные службы г. Москвы. | Жилищно-коммунальное хозяйство | 119 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 485 | Женские консультации г. Москвы | Здравоохранение | 15 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 545 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Естественнонаучное направление | Образование | 6 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 419 | Дома ребенка, в том числе специализированные | Здравоохранение | 19 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 578 | Дома культуры и клубы включая дома культуры и клубы неподведомственные | Досуг и отдых | 270 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 415 | Диспансеры | Здравоохранение | 54 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 504 | Детский сад компенсирующего вида | Образование | 190 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 502 | Детский сад комбинированного вида | Образование | 405 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 537 | Детские школы искусств | Образование | 47 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 536 | Детские художественные школы | Образование | 20 | 0 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 444 | Детские стоматологические поликлиники г. Москвы | Здравоохранение | 25 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 508 | Детские сады в составе школ (образовательные комплексы) | Образование | 132 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 501 | Детские сады г. Москвы | Образование | 767 | 0 | 29.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 442 | Детские поликлиники г. Москвы | Здравоохранение | 172 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 430 | Детские музыкальные школы | Образование | 107 | 0 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 575 | Учреждения для детей-сирот и детей, оставшихся без попечения родителей | Социальная сфера | 29 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 579 | Границы территорий, по которым утверждены проекты планировок | Территориальное планирование | 287 | 0 | 18.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 482 | Границы районов города Москвы | Территориальное планирование | 134 | 0 | 21.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 548 | Границы зон охраны объектов культурного наследия | Территориальное планирование | 456 | 0 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 484 | Границы внутригородских муниципальных образований в городе Москве | Территориальное планирование | 150 | -5 | 21.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 481 | Границы административных округов города Москвы | Территориальное планирование | 12 | -1 | 21.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 479 | Государственные учреждения, подведомственные Департаменту жилищно-коммунального хозяйства и благоустройства города Москвы | Жилищно-коммунальное хозяйство | 27 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 549 | Границы территорий объектов культурного наследия | Территориальное планирование | 1483 | 0 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 478 | Государственные казенные учреждения дирекции жилищно-коммунального хозяйства и благоустройства административных округов города Москвы | Жилищно-коммунальное хозяйство | 16 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 421 | Госпитали всех наименований, учредителем которых является город Москва | Здравоохранение | 4 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 466 | Городской центр "Дети улиц" | Социальная сфера | 16 | 0 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 441 | Городские Поликлиники | Здравоохранение | 263 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 432 | Городские отделы жилищных субсидий | Социальная сфера | 130 | 0 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 473 | Горнолыжные склоны Москвы | Физическая культура и спорт | 8 | 0 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 513 | Гимназия | Образование | 84 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 475 | Выставочные залы г. Москвы | Культура | 26 | 0 | 31.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 609 | Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси | Транспорт | 25667 | 0 | 15.02.2013 | нет | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 58 | Вечерние школы г. Москвы | Образование | 7 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 461 | Больницы города Москвы | Здравоохранение | 100 | 0 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 425 | Библиотеки города Москвы включая неподведомственные | Культура | 520 | 0 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 424 | Аттракционная техника с механическим приводом, имеющая допуск к эксплуатации, установленная в парках и скверах | Досуг и отдых | 246 | 0 | 31.01.2012 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 540 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Военно-патриотическое направление | Образование | 9 | 0 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
Использованные скрипты и сопутствующие файлы, процесс обновления
Язык - Python. Все скрипты одним архивом.
По шагам:
1. items.py,datamosru.py - конфиги Scrapy для получения списка наборов данных. Запускаем:
mkdir datamosscrapy cp items.py datamosscrapy/datamosscrapy cp datamosru.py datamosscrapy/datamosscrapy/spiders cd datamosscrapy scrapy crawl datamosru -o list.csv -t csv
- list.csv - список слоёв в формате CSV, создается после выполнения паука Scrapy
2. download.py - Загружаем данные, скрипт использует list.csv как источник кодов для ссылок
python download.py
3. Архивируем всё для истории
for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i
и выгружаем на FTP в качестве исходников.
4. field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов
python field_sanitizer_read.py data\ fields.csv yes yes
- fields.csv - все названия полей данных
- yes - обновлять существующий файл замен имен полей
- yes - использовать транслит для новых полей
5. Вручную редактируем файл fields.csv добавляя замены
6. field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv
python field_sanitizer_write.py data\ data-norm fields.csv
7. process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует prj.prj.
python process.py
- prj.prj - файл описания исходной проекции данных
8. table.py - Формируем таблицу в вики-формате (для этой страницы), использует list.csv
python table.py > table.wiki