Нормализованные данные с портала открытых данных Москвы: различия между версиями
Перейти к навигации
Перейти к поиску
| Строка 1455: | Строка 1455: | ||
Язык - Python. Все скрипты [http://gis-lab.info/programs/python/data.mos.ru.7z одним архивом]. | Язык - Python. Все скрипты [http://gis-lab.info/programs/python/data.mos.ru.7z одним архивом]. | ||
*items.py,datamosru.py - конфиги [http://gis-lab.info/qa/scrapy.html Scrapy] для получения списка наборов данных. Запуск: | *items.py,datamosru.py - конфиги [http://gis-lab.info/qa/scrapy.html Scrapy] для получения списка наборов данных. Запуск: | ||
cp items.py datamosscrapy/datamosscrapy | mkdir datamosscrapy | ||
cp datamosru.py datamosscrapy/datamosscrapy/spiders | cp items.py datamosscrapy/datamosscrapy | ||
scrapy crawl datamosru -o list.csv -t csv</pre> | cp datamosru.py datamosscrapy/datamosscrapy/spiders | ||
scrapy crawl datamosru -o list.csv -t csv</pre> | |||
*list.csv - список слоёв в формате CSV, создается скриптами Scrapy | *list.csv - список слоёв в формате CSV, создается скриптами Scrapy | ||
*download.py, list.txt - скрипт загрузки данных и список ссылок для загрузки | *download.py, list.txt - скрипт загрузки данных и список ссылок для загрузки | ||
Версия от 21:27, 21 февраля 2013
Эта страница является черновиком статьи.
Описание данных и копия данных в более удобном для ГИС формате
Источник данных: Портал открытых данных г. Москва http://data.mos.ru
Об исходных данных
Система координат данных: EPSG: 3857 (WGS84 Web Mercator)
Формат данных: CSV (на данный момент)
Кодировка: Windows-1251
Формат хранения геометрий: WKT (поле WKT в CSV)
Лицензия данных разрешает любое использование (включая коммерческое) при условии наличия ссылки на первоисточник.
Условия использования набора данных не предполагают ограничений использования набора данных в некоммерческих и коммерческих целях.
Сомнительные места организации исходных данных
- Служебная информация в названиях полей
- Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено
- Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено
- Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено
- Названия полей содержат спецсимволы (например "№", "/", "," - проблемы с конвертацией) -> исправлено
- Одни и те же названия полей то в кавычках, то без (просто некрасиво) -> исправлено
- Одни и те же названия полей то с пробелами, то с "_" вместо пробелов (просто некрасиво) -> исправлено
- Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено
- Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено
- Система координат данных нигде не описана -> исправлено
- Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено
- Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС)
Пометка "-> исправлено" означает, что данная проблема исправлена в производной версии данных (см. далее).
О преобразованных данных
В таблице в поле Данные -0 данные для скачивания:
- csv - исходные данные 'как есть' на data.mos.ru, формат CSV, геометрии WKT, кодировка Windows-1251
- csv-norm - данные в формате CSV, с нормализованными названиями полей, *.csvt, *.prj, *.vrt файлами. Кодировка UTF-8
- shp - данные в формате ESRI Shape (максимальная длина строк 255 символов). Кодировка UTF-8. СК EPSG:4326
- osm - данные в формате OSM XML, без обрезки атрибутики. Кодировка UTF-8
Полный перечень названий полей и их замен для нормализованых данных.
TODO
- *.csvt файлы пока рассматривают все поля как тип String(255). Нужно пройтись по всем полям и выяснить их тип, добавив его в fields.csv
- создать *.qml
- сконвертировать все в GeoJSON
Таблица данных
| Код | Описание набора | Категория | Объектов | Дата обновления | Геоданные | Частота обновления | Источник | Данные |
|---|---|---|---|---|---|---|---|---|
| 414 | Аптеки города Москвы включая неподведомственные | Здравоохранение | 4123 | 29.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 492 | Молочные кухни | Здравоохранение | 180 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 493 | Молодежные центры | Досуг и отдых | 7 | 18.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 474 | Лыжные трассы города Москвы | Физическая культура и спорт | 189 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 569 | Многофункциональные центры | Социальная сфера | 49 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 514 | Лицей | Образование | 40 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 544 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Культурологическое направление | Образование | 60 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 576 | Коррекционная школа-интернат для детей-сирот и детей, оставшихся без попечения родителей | Образование | 4 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 532 | Коррекционная общеобразовательная школа-интернат | Образование | 29 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 533 | Коррекционная общеобразовательная школа | Образование | 25 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 534 | Коррекционная начальная школа - детский сад | Образование | 5 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 454 | Концертные организации | Культура | 87 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 423 | Консультативно-диагностические центры | Здравоохранение | 18 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 555 | Колледжи | Образование | 107 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 427 | Кадетские школы-интернаты | Образование | 11 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 428 | Кадетские школы | Образование | 8 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 477 | Ярмарки выходного дня г. Москвы | Торговля | 85 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 566 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Эколого-биологическое направление | Образование | 4 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 524 | Школы надомного обучения | Образование | 13 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 522 | Школы-интернаты с углубленным изучением отдельных предметов | Образование | 4 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 521 | Школы-интернаты | Образование | 6 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 512 | Школы, имеющие в своем составе детские сады (образовательные комплексы) | Образование | 132 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 577 | Школа-интернат для детей-сирот и детей, оставшихся без попечения родителей | Образование | 3 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 429 | Центры социальной помощи семье и детям | Социальная сфера | 35 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 464 | Центры реабилитации | Социальная сфера | 16 | 26.12.2012 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 559 | Центры психолого-педагогической и медико-социальной помощи | Образование | 25 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 463 | Центры психологической помощи | Социальная сфера | 13 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 535 | Центры повышения квалификации | Образование | 3 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 557 | Центры психолого-педагогической и медико-социальной помощи | Образование | 4 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 510 | Центры занятости населения | Социальная сфера | 11 | 26.12.2012 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 556 | Центры психолого-педагогической и медико-социальной помощи | Образование | 6 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 564 | Центр социально-трудовой адаптации и профориентации | Социальная сфера | 4 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 558 | Центры психолого-педагогической и медико-социальной помощи | Образование | 16 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 520 | Центр образования | Образование | 180 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 538 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Художественно-эстетическое направление | Образование | 74 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 422 | Хосписы | Здравоохранение | 8 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 543 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей Физкультурно-спортивное направление | Образование | 14 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 468 | Учреждения семейной и молодежной политики г. Москвы | Досуг и отдых | 5 | 18.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 465 | Учреждения кинофикации г. Москвы | Досуг и отдых | 180 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 469 | Учреждения для детей-сирот и детей, оставшихся без попечения родителей | Образование | 29 | 26.12.2012 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 527 | Учреждения высшего профессионального образования | Образование | 10 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 523 | Учебно-производственные комбинаты | Образование | 3 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 470 | Управления социальной защиты населения г. Москвы | Социальная сфера | 126 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 546 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Туристско-краеведческое направление | Образование | 9 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 560 | Территориальные центры социального обслуживания и филиалы | Социальная сфера | 130 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 460 | Театры г. Москвы | Культура | 237 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 458 | Судебные участки мировых судей города Москвы | Органы государственной власти города Москвы | 438 | 29.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 443 | Стоматологические поликлиники г. Москвы | Здравоохранение | 39 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 528 | Стационары | Здравоохранение | 54 | 30.01.2013 | есть | Еженедельная | описание скачать csv |
csv_norm shp osm |
| 456 | Станции скорой и неотложной медицинской помощи г. Москвы | Здравоохранение | 1 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 457 | Станции переливания крови г. Москвы | Здравоохранение | 1 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 452 | Станции метрополитена г. Москвы | Транспорт | 185 | 27.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 531 | Средняя общеобразовательная школа "Школа Здоровья" | Образование | 59 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 519 | Средняя общеобразовательная школа с этнокультурным (национальным) компонентом образования | Образование | 22 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 518 | Средняя общеобразовательная школа с углубленным изучением отдельных предметов | Образование | 169 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 516 | Средняя общеобразовательная школа | Образование | 786 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 451 | Спортивные секции города Москвы | Физическая культура и спорт | 1761 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 552 | Спортивные объекты города Москвы | Физическая культура и спорт | 3988 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 542 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Спортивно-техническое направление | Образование | 2 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 530 | Специальная общеобразовательная школа для детей и подростков с девиантным поведением | Образование | 7 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 517 | Специализированные центры труда и занятости населения города Москвы | Социальная сфера | 19 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 547 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Социально-экономическое направление | Образование | 2 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 541 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Социально-педагогическое направление | Образование | 41 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 450 | Сезонные кафе при стационарных объектах общественного питания г. Москвы. | Общественное питание | 1621 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 525 | Санаторно-лесная школа | Образование | 5 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 526 | Санаторная школа-интернат | Образование | 5 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 448 | Родильные дома г. Москвы | Здравоохранение | 19 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 490 | Объекты нежилого фонда | Имущество и земля города Москвы | 41 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 495 | Ремонтируемые объекты жилищного фонда (капитальный ремонт) | Имущество и земля города Москвы | 1726 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 503 | Рейтинг топ-100 должников арендной платы | Имущество и земля города Москвы | 100 | 15.12.2012 | нет | Ежемесячная | описание скачать csv |
csv_norm |
| 581 | Расположение мест приёма документов Департамента земельных ресурсов города Москвы | Территориальное планирование | 12 | 29.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 529 | Психоневрологические интернаты | Социальная сфера | 17 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 515 | Прогимназия | Образование | 24 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 506 | Прогимназия | Образование | 15 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 437 | Платные парковки на улично-дорожной сети | Транспорт | 9 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 601 | Перечень приоритетных продуктов и технологий, используемых в отраслях городского хозяйства | Реестр справочной информации | 336 | 24.01.2013 | нет | Ежемесячная | описание скачать csv |
csv_norm |
| 600 | Контактные данные филиалов ГБУ «Малый Бизнес Москвы» | Реестр справочной информации | 10 | 24.01.2013 | нет | По мере поступления | описание скачать csv |
csv_norm |
| 599 | Перечень выданных субсидий организациям промышленности, науки и инновационной инфраструктуры города | Реестр справочной информации | 52 | 24.01.2013 | нет | Ежемесячная | описание скачать csv |
csv_norm |
| 497 | Перехватывающие парковки города Москвы | Транспорт | 62 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 439 | Паспортизация квартир в домах-новостройках, строительство которых выполнено за счет городского бюджета и по инвестиционным контрактам | Имущество и земля города Москвы | 1044 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 438 | Парковки такси | Транспорт | 226 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 436 | Парки г. Москвы | Досуг и отдых | 87 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 574 | Пансионаты для ветеранов | Социальная сфера | 10 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 476 | Открытые ледовые катки города Москвы | Физическая культура и спорт | 1462 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 511 | Отделы трудоустройства | Социальная сфера | 52 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 480 | Органы ЗАГС Москвы | Органы государственной власти города Москвы | 38 | 18.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 491 | Объекты социальной сферы | Социальная сфера | 5 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 488 | Объекты розничной торговли и общественного питания, имеющие лицензию на розничную продажу алкогольной продукции с указанием срока ее действия | Общественное питание | 10134 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 487 | Объекты ритуального обслуживания | Социальная сфера | 137 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 550 | Объекты культурного наследия и Выявленные объекты культурного наследия | Культура | 6104 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 561 | Объекты капитального ремонта улично-дорожной сети | Улично-дорожная сеть | 379 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 467 | Объекты городской инфраструктуры, приспособленные для инвалидов и лиц с ограничениями жизнедеятельности | Социальная сфера | 203 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 494 | Объекты гаражного назначения по программе «Народный гараж» | Объекты общегородских программ | 172 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 445 | Образовательные учреждения города Москвы, реализующие программы среднего профессионального образования. Техникумы г. Москвы | Образование | 9 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 486 | Нестационарные торговые объекты | Торговля | 10212 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 489 | Нежилые помещения, зарегистрированные в собственность города Москвы | Имущество и земля города Москвы | 58122 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 507 | Начальная школа – детский сад компенсирующего вида | Образование | 14 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 505 | Начальная школа – детский сад | Образование | 13 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 539 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Научно-техническое направление | Образование | 10 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 420 | Научно-практические медицинские центры, учредителем которых является город Москва | Здравоохранение | 66 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 426 | Музеи
(включая Музеи неподведомственные) |
Культура | 281 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 483 | Земельные участки находящиеся в собственности города Москвы | Имущество и земля города Москвы | 5881 | 01.11.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 449 | Здравоохранение. Санатории г. Москва | Здравоохранение | 42 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 447 | Жилищно-коммунальное хозяйство. Районные инженерные службы г. Москвы. | Жилищно-коммунальное хозяйство | 119 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 485 | Женские консультации г. Москвы | Здравоохранение | 15 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 545 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Естественнонаучное направление | Образование | 6 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 419 | Дома ребенка, в том числе специализированные | Здравоохранение | 19 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 578 | Дома культуры и клубы включая дома культуры и клубы неподведомственные | Досуг и отдых | 270 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 415 | Диспансеры | Здравоохранение | 54 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 504 | Детский сад компенсирующего вида | Образование | 190 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 502 | Детский сад комбинированного вида | Образование | 405 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 537 | Детские школы искусств | Образование | 47 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 536 | Детские художественные школы | Образование | 20 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 444 | Детские стоматологические поликлиники г. Москвы | Здравоохранение | 25 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 508 | Детские сады в составе школ (образовательные комплексы) | Образование | 132 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 501 | Детские сады г. Москвы | Образование | 767 | 29.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 442 | Детские поликлиники г. Москвы | Здравоохранение | 172 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 430 | Детские музыкальные школы | Образование | 107 | 01.02.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 575 | Учреждения для детей-сирот и детей, оставшихся без попечения родителей | Социальная сфера | 29 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 579 | Границы территорий, по которым утверждены проекты планировок | Территориальное планирование | 287 | 18.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 549 | Границы территорий объектов культурного наследия | Территориальное планирование | 1483 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 482 | Границы районов города Москвы | Территориальное планирование | 134 | 05.12.2012 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 548 | Границы зон охраны объектов культурного наследия | Территориальное планирование | 456 | 26.12.2012 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 484 | Границы внутригородских муниципальных образований в городе Москве | Территориальное планирование | 155 | 05.12.2012 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 481 | Границы административных округов города Москвы | Территориальное планирование | 13 | 05.12.2012 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 479 | Государственные учреждения, подведомственные Департаменту жилищно-коммунального хозяйства и благоустройства города Москвы | Жилищно-коммунальное хозяйство | 27 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 478 | Государственные казенные учреждения дирекции жилищно-коммунального хозяйства и благоустройства административных округов города Москвы | Жилищно-коммунальное хозяйство | 16 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 421 | Госпитали всех наименований, учредителем которых является город Москва | Здравоохранение | 4 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 466 | Городской центр "Дети улиц" | Социальная сфера | 16 | 30.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 441 | Городские Поликлиники | Здравоохранение | 263 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 432 | Городские отделы жилищных субсидий | Социальная сфера | 130 | 30.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 473 | Горнолыжные склоны Москвы | Физическая культура и спорт | 8 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 513 | Гимназия | Образование | 84 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 475 | Выставочные залы г. Москвы | Культура | 26 | 31.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 540 | Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Военно-патриотическое направление | Образование | 9 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 58 | Вечерние школы г. Москвы | Образование | 7 | 28.01.2013 | есть | По мере поступления | описание скачать csv |
csv_norm shp osm |
| 461 | Больницы города Москвы | Здравоохранение | 100 | 28.01.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 425 | Библиотеки города Москвы включая неподведомственные | Культура | 520 | 01.02.2013 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
| 424 | Аттракционная техника с механическим приводом, имеющая допуск к эксплуатации, установленная в парках и скверах | Досуг и отдых | 246 | 31.01.2012 | есть | Ежемесячная | описание скачать csv |
csv_norm shp osm |
Использованные скрипты и сопутствующие файлы
Язык - Python. Все скрипты одним архивом.
- items.py,datamosru.py - конфиги Scrapy для получения списка наборов данных. Запуск:
mkdir datamosscrapy cp items.py datamosscrapy/datamosscrapy cp datamosru.py datamosscrapy/datamosscrapy/spiders
scrapy crawl datamosru -o list.csv -t csv
- list.csv - список слоёв в формате CSV, создается скриптами Scrapy
- download.py, list.txt - скрипт загрузки данных и список ссылок для загрузки
- table.py - скрипт формирования таблицы в вики-формате (для этой страницы), использует list.csv
- field_sanitizer_read.py - экстрактор полей CSV файлов с данными
- fields.csv - все поля данных, нормализованные вручную
- field_sanitizer_write.py - нормализатор полей CSV файлов с данными, использует fields.csv
- prj.prj - файл описания исходной проекции данных
- process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует prj.prj.