|
|
| Строка 1408: |
Строка 1408: |
| По шагам: | | По шагам: |
|
| |
|
| 1. items.py,datamosru.py - конфиги [http://gis-lab.info/qa/scrapy.html Scrapy] для получения списка наборов данных. Запускаем: | | 1. batch_download.py - Загружаем данные, скрипт использует http://gis-lab.info/data/mos.ru/data/_listings/_general.csv как источник кодов для ссылок |
| mkdir datamosscrapy
| |
| cp items.py datamosscrapy/datamosscrapy
| |
| cp datamosru.py datamosscrapy/datamosscrapy/spiders
| |
| cd datamosscrapy
| |
| scrapy crawl datamosru -o list.csv -t csv
| |
| *list.csv - список слоёв в формате CSV, создается после выполнения паука Scrapy
| |
| 2. batch_download.py - Загружаем данные, скрипт использует list.csv как источник кодов для ссылок
| |
| python download.py | | python download.py |
| 3. Архивируем всё для истории
| | 2. Архивируем всё для истории |
| for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i | | for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i |
| и выгружаем на FTP в качестве исходников. | | и выгружаем на FTP в качестве исходников. |
|
| |
|
| 4. batch_field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов
| | 3. batch_field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов |
| python batch_field_sanitizer_read.py data\ fields.csv yes yes | | python batch_field_sanitizer_read.py data\ fields.csv yes yes |
| *fields.csv - все названия полей данных | | *fields.csv - все названия полей данных |
| *yes - обновлять существующий файл замен имен полей | | *yes - обновлять существующий файл замен имен полей |
| *yes - использовать транслит для новых полей | | *yes - использовать транслит для новых полей |
| 5. Вручную редактируем файл fields.csv добавляя замены<br>
| | 4. Вручную редактируем файл fields.csv добавляя замены<br> |
| 6. batch_field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv
| | 5. batch_field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv |
| python batch_field_sanitizer_write.py data\ data-norm fields.csv | | python batch_field_sanitizer_write.py data\ data-norm fields.csv |
| 7. batch_process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует prj.prj.
| | 6. batch_process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует wgs84.prj. |
| python batch_process.py | | python batch_process.py |
| *wgs84.prj - файл описания исходной проекции данных | | *wgs84.prj - файл описания результирующей нормализованной системы координат |
| 8. batch_table.py - Формируем таблицу в вики-формате (для этой страницы), использует _general.csv
| | 7. batch_table.py - Формируем таблицу в вики-формате (для этой страницы), использует http://gis-lab.info/data/mos.ru/data/_listings/_general.csv |
| python batch_table.py > table.wiki | | python batch_table.py > table.wiki |
Описание данных и копия данных в более удобном для ГИС формате
Источник данных: Портал открытых данных г. Москва http://data.mos.ru
Об исходных данных
Системы координат данных:
- EPSG: 4326 (latlon/WGS84)
- EPSG: 3857 (Web Mercator/WGS84)
- Местная московская система координат (ПМСК 1, 2)
Формат данных: CSV
Кодировка: UTF-8
Формат хранения геометрий: WKT или пара полей с координатами.
Лицензия данных разрешает любое использование (включая коммерческое) при условии наличия ссылки на первоисточник.
Условия использования набора данных не предполагают ограничений использования набора данных в некоммерческих и коммерческих целях.
Лицензия не указывает явным образом согласие с CT OpenStreetMap.
Сомнительные места организации исходных данных
Уровень проблемности этих пунктов разный. Некоторые из них не позволят даже начать работу с данными, многие улучшили бы данные, но не помешают их использовать специалисту. Пометка "-> исправлено" означает, что данная проблема исправлена в производной версии данных представленной в этом описании ниже.
- Служебная информация в названиях полей -> исправлено
- Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено
- Исходные данные в системе координат: ПМСК (местная система координат г. Москвы) (ужасная СК для распространения векторных данных) -> исправлено
- Смешивание данных в разных системах координат в одних и тех же столбцах в одном наборе данных -> исправлено
- Непоследовательное применение WKT представлений координат, то используется, то не используется.
- Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено
- Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено
- Названия полей содержат спецсимволы (например "№", "/", "," - проблемы с конвертацией) -> исправлено
- Одни и те же названия полей то в кавычках, то без (просто некрасиво) -> исправлено
- Одни и те же названия полей то с пробелами, то с "_" вместо пробелов (просто некрасиво) -> исправлено
- Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено
- Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено
- Отсутствуют вспомогательные файлы описания системы координат данных -> исправлено
- Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено
- Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено
- Многочисленные неоправданные последовательности символов "пробел" в атрибутике -> исправлено
- Пустые поля. ";" в конце заголовка и ";" в конце каждой записи (пример: 619), иногда нерегулярно встречается "; " -> исправлено
- На данный момент (20130609) многие наборы данных, ранее имевшие геопривязку, ее потеряли - используйте архивные версии.
TODO
- *.csvt файлы пока рассматривают все поля как тип String(255). Нужно пройтись по всем полям и выяснить их тип, добавив его в fields.csv
- создать *.qml
- сконвертировать все в GeoJSON
- обновлять только обновившееся, дату можно взять из метаданных, (но вдруг нас обманут? :) либо побайтово сравнивать с пред.версией CSV
Актуальность производных данных и архив
Текущая версия данных расположенная здесь: 22 мая 2013.
Чтобы посмотреть архивную версию данных, возьмите ссылку из таблице ниже и добавьте дату в формате YYYYMMDD. Например:
Актуальная версия:
http://gis-lab.info/data/mos.ru/493_shp.7z
Архивная:
http://gis-lab.info/data/mos.ru/20130213/493_shp.7z
Доступны архивы за следующие числа:
20130213,20130222,20130503,20130522
Вы можете также воспользоваться специальным сервисом, который следит за обновлениями исходных данных на data.mos.ru и архивирует все версии. Пока этот сервис не занимается нормализацией данных. Планируется объединить эти два сервиса.
Что делать если в свежей версии поломаны данные?
ДИТ периодически "ломает" выкладываемые данные (см. перечень проблем выше). Возможно данные или геоданные не поломаны в архивной версии. Соответственно, чтобы восстановить данные, нужно взять их предыдущую версию. Для этого нужно:
- Выбрать одну из архивных версий выше, например 20130222.
- Определить старый номер набора данных (да, у ДИТа нестабильные номера наборов данных), посмотрев в файл _list.csv лежащий в папке архива.
- Определить старый номер этого набора (если он изменился) и скачать соответствующий набор из папки архива.
Нормализованные данные
О нормализованных данных
Все данные - в UTF-8, геометрии - в EPSG:4326. Дополнительно 2 поля: LAT, LON содержащие координаты исходно хранящиеся в 3 разных системах (см. выше), приведенные в эту систему координат в преобразованных данных.
В таблице в поле Источник и Данные данные для скачивания:
- csv - исходные данные 'как есть' на data.mos.ru.
- csv-norm - данные в формате CSV, с нормализованными названиями полей, *.csvt, *.prj, *.vrt файлами.
- shp - данные в формате ESRI Shape (максимальная длина строк 255 символов).
- osm - данные в формате OSM XML, без обрезки атрибутики.
Полный перечень названий полей и их замен для нормализованых данных.
Скачать данные
| Код
|
Описание набора
|
Категория
|
Объектов
|
Геоданные
|
Оригинал
|
Данные
|
|
|
Все данные одним архивом
|
Все
|
|
yes
|
csv (6 Mb)
|
csv_norm (5 Mb)
shp (7 Mb)
osm (4 Mb)
|
|
|
|
|
|
|
|
|
| 493
|
Дома культуры и клубы
|
Досуг и отдых
|
281
|
yes
|
csv
|
csv_norm
shp
osm
|
| 494
|
Парки (включая парки не подведомственные)
|
Досуг и отдых
|
80
|
yes
|
csv
|
csv_norm
shp
osm
|
| 495
|
Кинотеатры
|
Досуг и отдых
|
235
|
yes
|
csv
|
csv_norm
shp
osm
|
| 496
|
Молодежные центры
|
Досуг и отдых
|
17
|
yes
|
csv
|
csv_norm
shp
osm
|
| 497
|
Учреждения семейной и молодежной политики
|
Досуг и отдых
|
5
|
yes
|
csv
|
csv_norm
shp
osm
|
| 498
|
Аттракционная техника с механическим приводом, установленная в скверах и парках
|
Досуг и отдых
|
430
|
yes
|
csv
|
csv_norm
shp
osm
|
| 499
|
Государственные учреждения, подведомственные Департаменту жилищно-коммунального хозяйства и благоустройства города Москвы
|
Жилищно-коммунальное хозяйство
|
27
|
yes
|
csv
|
csv_norm
shp
osm
|
| 500
|
Районные инженерные службы
|
Жилищно-коммунальное хозяйство
|
125
|
yes
|
csv
|
csv_norm
shp
osm
|
| 501
|
Аптеки
|
Здравоохранение
|
4185
|
yes
|
csv
|
csv_norm
shp
osm
|
| 502
|
Больницы города Москвы
|
Здравоохранение
|
100
|
yes
|
csv
|
csv_norm
shp
osm
|
| 503
|
Городские поликлиники
|
Здравоохранение
|
273
|
yes
|
csv
|
csv_norm
shp
osm
|
| 504
|
Госпитали всех наименований, учредителем которых является город Москва
|
Здравоохранение
|
4
|
yes
|
csv
|
csv_norm
shp
osm
|
| 505
|
Детские поликлиники
|
Здравоохранение
|
172
|
yes
|
csv
|
csv_norm
shp
osm
|
| 506
|
Детские стоматологические поликлиники
|
Здравоохранение
|
25
|
yes
|
csv
|
csv_norm
shp
osm
|
| 507
|
Диспансеры
|
Здравоохранение
|
54
|
yes
|
csv
|
csv_norm
shp
osm
|
| 508
|
Дома ребенка, в том числе специалзированные
|
Здравоохранение
|
19
|
yes
|
csv
|
csv_norm
shp
osm
|
| 509
|
Женские консультации
|
Здравоохранение
|
14
|
yes
|
csv
|
csv_norm
shp
osm
|
| 510
|
Здравоохранение. Санатории
|
Здравоохранение
|
48
|
yes
|
csv
|
csv_norm
shp
osm
|
| 511
|
Консультативно диагностические центры
|
Здравоохранение
|
19
|
yes
|
csv
|
csv_norm
shp
osm
|
| 512
|
Молочные кухни
|
Здравоохранение
|
181
|
yes
|
csv
|
csv_norm
shp
osm
|
| 513
|
Научно-практические медицинские центры, учредителем которых является город Москва
|
Здравоохранение
|
66
|
yes
|
csv
|
csv_norm
shp
osm
|
| 514
|
Родильные дома г. Москвы
|
Здравоохранение
|
19
|
yes
|
csv
|
csv_norm
shp
osm
|
| 515
|
Станции переливания крови
|
Здравоохранение
|
1
|
yes
|
csv
|
csv_norm
shp
osm
|
| 516
|
Станции скорой и неотложной медицинской помощи
|
Здравоохранение
|
1
|
yes
|
csv
|
csv_norm
shp
osm
|
| 517
|
Стационары
|
Здравоохранение
|
50
|
yes
|
csv
|
csv_norm
shp
osm
|
| 518
|
Стоматологические поликлиники
|
Здравоохранение
|
39
|
yes
|
csv
|
csv_norm
shp
osm
|
| 519
|
Хосписы
|
Здравоохранение
|
8
|
yes
|
csv
|
csv_norm
shp
osm
|
| 520
|
Паспортизация квартир в домах-новостройках, строительство которых выполнено за счет городского бюджета и по инвестиционным проектам
|
Имущество и земля города Москвы
|
1048
|
yes
|
csv
|
csv_norm
shp
osm
|
| 521
|
Земельные участки, находящиеся в собственности г. Москвы
|
Имущество и земля города Москвы
|
1000
|
no
|
csv
|
csv_norm
|
| 522
|
Рейтинг топ-100 должников арендной платы
|
Имущество и земля города Москвы
|
100
|
no
|
csv
|
csv_norm
|
| 523
|
Нежилые помещения, зарегистрированные в собственность г. Москвы
|
Имущество и земля города Москвы
|
37849
|
yes
|
csv
|
csv_norm
shp
osm
|
| 524
|
Ремонтируемые объекты жилищного фонда
|
Имущество и земля города Москвы
|
1050
|
no
|
csv
|
csv_norm
|
| 525
|
Ремонтируемые объекты нежилого фонда
|
Имущество и земля города Москвы
|
41
|
yes
|
csv
|
csv_norm
shp
osm
|
| 526
|
Библиотеки
|
Культура
|
525
|
yes
|
csv
|
csv_norm
shp
osm
|
| 527
|
Выставочные залы
|
Культура
|
26
|
yes
|
csv
|
csv_norm
shp
osm
|
| 528
|
Концертные организации
|
Культура
|
87
|
yes
|
csv
|
csv_norm
shp
osm
|
| 529
|
Музеи
|
Культура
|
329
|
yes
|
csv
|
csv_norm
shp
osm
|
| 530
|
Объекты культурного наследия и Выявленные объекты культурного наследия
|
Культура
|
6104
|
yes
|
csv
|
csv_norm
shp
osm
|
| 531
|
Театры
|
Культура
|
239
|
yes
|
csv
|
csv_norm
shp
osm
|
| 532
|
Детские музыкальные школы
|
Образование
|
108
|
yes
|
csv
|
csv_norm
shp
osm
|
| 533
|
Детские художественные школы
|
Образование
|
19
|
yes
|
csv
|
csv_norm
shp
osm
|
| 534
|
Детские школы искусств
|
Образование
|
49
|
yes
|
csv
|
csv_norm
shp
osm
|
| 535
|
Вечерние школы
|
Образование
|
7
|
yes
|
csv
|
csv_norm
shp
osm
|
| 536
|
Военно-патриотическое направление
|
Образование
|
9
|
yes
|
csv
|
csv_norm
shp
osm
|
| 537
|
Учреждения высшего профессионального образования
|
Образование
|
10
|
yes
|
csv
|
csv_norm
shp
osm
|
| 538
|
Гимназия
|
Образование
|
84
|
yes
|
csv
|
csv_norm
shp
osm
|
| 539
|
Детские сады в составе школ (образовательные комплексы)
|
Образование
|
132
|
yes
|
csv
|
csv_norm
shp
osm
|
| 540
|
Детские сады
|
Образование
|
1155
|
yes
|
csv
|
csv_norm
shp
osm
|
| 541
|
Детский сад комбинированного вида
|
Образование
|
405
|
yes
|
csv
|
csv_norm
shp
osm
|
| 542
|
Детский сад компенсирующего вида
|
Образование
|
190
|
yes
|
csv
|
csv_norm
shp
osm
|
| 543
|
Естественнонаучное направление
|
Образование
|
6
|
yes
|
csv
|
csv_norm
shp
osm
|
| 544
|
Кадетские школы
|
Образование
|
8
|
yes
|
csv
|
csv_norm
shp
osm
|
| 545
|
Кадетские школы-интернаты
|
Образование
|
11
|
yes
|
csv
|
csv_norm
shp
osm
|
| 546
|
Колледжи
|
Образование
|
107
|
yes
|
csv
|
csv_norm
shp
osm
|
| 547
|
Коррекционная начальная школа-детский сад
|
Образование
|
5
|
yes
|
csv
|
csv_norm
shp
osm
|
| 548
|
Коррекционная общеобразовательная школа
|
Образование
|
25
|
yes
|
csv
|
csv_norm
shp
osm
|
| 549
|
Коррекционная общеобразовательная школа-интернат
|
Образование
|
29
|
yes
|
csv
|
csv_norm
shp
osm
|
| 550
|
Коррекционная школа-интернат для детей-сирот и детей, оставшихся без попечения родителей
|
Образование
|
4
|
yes
|
csv
|
csv_norm
shp
osm
|
| 551
|
Культурологическое направление
|
Образование
|
60
|
yes
|
csv
|
csv_norm
shp
osm
|
| 552
|
Лицей
|
Образование
|
40
|
yes
|
csv
|
csv_norm
shp
osm
|
| 553
|
Научно-техническое направление
|
Образование
|
10
|
yes
|
csv
|
csv_norm
shp
osm
|
| 554
|
Начальная школа - десткий сад компенсирующего вида
|
Образование
|
14
|
yes
|
csv
|
csv_norm
shp
osm
|
| 555
|
Начальная школа - детский сад
|
Образование
|
13
|
yes
|
csv
|
csv_norm
shp
osm
|
| 556
|
Образовательные учреждения города Москвы, реализующие программы среднего профессионального образования. Техникумы
|
Образование
|
9
|
yes
|
csv
|
csv_norm
shp
osm
|
| 557
|
Прогимназия
|
Образование
|
24
|
yes
|
csv
|
csv_norm
shp
osm
|
| 559
|
Санаторная школа-интернат
|
Образование
|
5
|
yes
|
csv
|
csv_norm
shp
osm
|
| 560
|
Санаторно-лесная школа
|
Образование
|
5
|
yes
|
csv
|
csv_norm
shp
osm
|
| 561
|
Социально-педагогическое направление
|
Образование
|
41
|
yes
|
csv
|
csv_norm
shp
osm
|
| 562
|
Социально-экономическое направление
|
Образование
|
2
|
yes
|
csv
|
csv_norm
shp
osm
|
| 563
|
Специальная общеобразовательная школа для детей и подростков с девиантным поведением
|
Образование
|
7
|
yes
|
csv
|
csv_norm
shp
osm
|
| 564
|
Спортивно-техническое направление
|
Образование
|
2
|
yes
|
csv
|
csv_norm
shp
osm
|
| 565
|
Средняя образовательная школа
|
Образование
|
786
|
yes
|
csv
|
csv_norm
shp
osm
|
| 566
|
Средняя образовательная школа "Школа Здоровья"
|
Образование
|
59
|
yes
|
csv
|
csv_norm
shp
osm
|
| 567
|
Средняя образовательная школа с углубленным изучением отдельных предметов
|
Образование
|
169
|
yes
|
csv
|
csv_norm
shp
osm
|
| 568
|
Средняя общеобразовательная школа с этнокультурным (национальным) компонентом образования
|
Образование
|
22
|
yes
|
csv
|
csv_norm
shp
osm
|
| 569
|
Туристко-краеведческое направление
|
Образование
|
9
|
yes
|
csv
|
csv_norm
shp
osm
|
| 570
|
Учебно-производственные комбинаты
|
Образование
|
3
|
yes
|
csv
|
csv_norm
shp
osm
|
| 571
|
Учреждения для детей-сирот и детей, оставшихся без попечения родителей
|
Образование
|
29
|
yes
|
csv
|
csv_norm
shp
osm
|
| 572
|
Физкультурно-спортивное направление
|
Образование
|
14
|
yes
|
csv
|
csv_norm
shp
osm
|
| 573
|
Художественно-эстетическое направление
|
Образование
|
74
|
yes
|
csv
|
csv_norm
shp
osm
|
| 574
|
Центр диагностики и консультирования
|
Образование
|
6
|
yes
|
csv
|
csv_norm
shp
osm
|
| 575
|
Центр лечебной педагогики и дифференцированного обучения
|
Образование
|
4
|
yes
|
csv
|
csv_norm
shp
osm
|
| 576
|
Центр образования
|
Образование
|
180
|
yes
|
csv
|
csv_norm
shp
osm
|
| 577
|
Центр психолого-педагогической реабилитации и коррекции
|
Образование
|
16
|
yes
|
csv
|
csv_norm
shp
osm
|
| 578
|
Центры повышения квалификации
|
Образование
|
3
|
yes
|
csv
|
csv_norm
shp
osm
|
| 579
|
Центры психолого-медико-социального сопровождения
|
Образование
|
25
|
yes
|
csv
|
csv_norm
shp
osm
|
| 580
|
Школа-интернат для детей-сирот и детей, оставшихся без попечения родителей
|
Образование
|
3
|
yes
|
csv
|
csv_norm
shp
osm
|
| 581
|
Школы надомного обучения
|
Образование
|
13
|
yes
|
csv
|
csv_norm
shp
osm
|
| 582
|
Школы, имеющие в своем составе детские сады (образовательные комплексы)
|
Образование
|
132
|
yes
|
csv
|
csv_norm
shp
osm
|
| 583
|
Школы-интернаты
|
Образование
|
6
|
yes
|
csv
|
csv_norm
shp
osm
|
| 584
|
Школы-интернаты с углубленным изучением отдельных предметов
|
Образование
|
4
|
yes
|
csv
|
csv_norm
shp
osm
|
| 585
|
Эколого-биологическое направление
|
Образование
|
4
|
yes
|
csv
|
csv_norm
shp
osm
|
| 586
|
Объекты розничной торговли и общественного питания, имеющие лицензию на розничную продажу алкогольной продукции с указанием срока ее дейст
|
Общественное питание
|
10874
|
yes
|
csv
|
csv_norm
shp
osm
|
| 587
|
Сезонные кафе при стационарных объектах общественного питания
|
Общественное питание
|
1633
|
yes
|
csv
|
csv_norm
shp
osm
|
| 588
|
Объекты гаражного назначения по программе «Народный гараж»
|
Объекты общегородских программ
|
172
|
yes
|
csv
|
csv_norm
shp
osm
|
| 589
|
Органы ЗАГС Москвы
|
Органы государственной власти города Москвы
|
38
|
yes
|
csv
|
csv_norm
shp
osm
|
| 590
|
Судебные участки мировых судей города Москвы
|
Органы государственной власти города Москвы
|
439
|
yes
|
csv
|
csv_norm
shp
osm
|
| 591
|
Перечень выданных субсидий организациям промышленности, науки и инновационной инфраструктуры города
|
Реестр справочной информации
|
52
|
no
|
csv
|
csv_norm
|
| 593
|
Перечень приоритетных продуктов и технологий, используемых в отраслях городского хозяйства
|
Реестр справочной информации
|
336
|
no
|
csv
|
csv_norm
|
| 594
|
Городские отделы жилищных субсидий
|
Социальная сфера
|
130
|
yes
|
csv
|
csv_norm
shp
osm
|
| 596
|
Центры социально-трудовой адаптации и профориентации
|
Социальная сфера
|
4
|
yes
|
csv
|
csv_norm
shp
osm
|
| 597
|
Городской центр - Дети улиц
|
Социальная сфера
|
32
|
yes
|
csv
|
csv_norm
shp
osm
|
| 598
|
Детские дома
|
Социальная сфера
|
29
|
yes
|
csv
|
csv_norm
shp
osm
|
| 599
|
Объекты инфраструктуры приспособленные для инвалидов
|
Социальная сфера
|
203
|
yes
|
csv
|
csv_norm
shp
osm
|
| 600
|
Пансионаты для ветеранов
|
Социальная сфера
|
14
|
yes
|
csv
|
csv_norm
shp
osm
|
| 601
|
Психоневрологические интернаты
|
Социальная сфера
|
18
|
yes
|
csv
|
csv_norm
shp
osm
|
| 602
|
Территориальные центры социального обслуживания и филиалы
|
Социальная сфера
|
131
|
yes
|
csv
|
csv_norm
shp
osm
|
| 603
|
Управления социальной защиты населения
|
Социальная сфера
|
126
|
yes
|
csv
|
csv_norm
shp
osm
|
| 604
|
Центр социальной помощи семье и детям
|
Социальная сфера
|
37
|
yes
|
csv
|
csv_norm
shp
osm
|
| 605
|
Центры психологической помощи
|
Социальная сфера
|
13
|
yes
|
csv
|
csv_norm
shp
osm
|
| 606
|
Центры реабилитации
|
Социальная сфера
|
16
|
yes
|
csv
|
csv_norm
shp
osm
|
| 607
|
Объекты ритуального обслуживания
|
Социальная сфера
|
137
|
yes
|
csv
|
csv_norm
shp
osm
|
| 608
|
Отделы трудоустройства
|
Социальная сфера
|
52
|
yes
|
csv
|
csv_norm
shp
osm
|
| 609
|
Специализированные центры труда и занятости населения города Москвы
|
Социальная сфера
|
29
|
yes
|
csv
|
csv_norm
shp
osm
|
| 610
|
Центры занятости населения
|
Социальная сфера
|
11
|
yes
|
csv
|
csv_norm
shp
osm
|
| 611
|
Многофункциональные центры
|
Социальная сфера
|
54
|
yes
|
csv
|
csv_norm
shp
osm
|
| 612
|
Расположение мест приема документов ДЗР
|
Территориальное планирование
|
12
|
yes
|
csv
|
csv_norm
shp
osm
|
| 613
|
Границы зон охраны объектов культурного наследия
|
Территориальное планирование
|
456
|
yes
|
csv
|
csv_norm
shp
osm
|
| 614
|
Границы территорий объектов культурного наследия
|
Территориальное планирование
|
1483
|
yes
|
csv
|
csv_norm
shp
osm
|
| 615
|
Границы административных округов г. Москвы
|
Территориальное планирование
|
12
|
yes
|
csv
|
csv_norm
shp
osm
|
| 616
|
Границы внутригородских муницип обр в г Москве
|
Территориальное планирование
|
150
|
yes
|
csv
|
csv_norm
shp
osm
|
| 617
|
Границы районов города Москвы
|
Территориальное планирование
|
129
|
yes
|
csv
|
csv_norm
shp
osm
|
| 618
|
Границы территорий, по которым утверждены проекты планировок
|
Территориальное планирование
|
287
|
yes
|
csv
|
csv_norm
shp
osm
|
| 619
|
Нестационарные торговые объекты
|
Торговля
|
11795
|
yes
|
csv
|
csv_norm
shp
osm
|
| 620
|
Ярмарки выходного дня
|
Торговля
|
136
|
yes
|
csv
|
csv_norm
shp
osm
|
| 621
|
Парковки такси
|
Транспорт
|
226
|
yes
|
csv
|
csv_norm
shp
osm
|
| 622
|
Перехватывающие парковки
|
Транспорт
|
62
|
yes
|
csv
|
csv_norm
shp
osm
|
| 623
|
Платные парковки на улично-дорожной сети
|
Транспорт
|
9
|
yes
|
csv
|
csv_norm
shp
osm
|
| 624
|
Станции метрополитена
|
Транспорт
|
623
|
yes
|
csv
|
csv_norm
shp
osm
|
| 625
|
Объекты капитального ремонта улично-дорожной сети
|
Улично-дорожная сеть
|
379
|
yes
|
csv
|
csv_norm
shp
osm
|
| 626
|
Горнолыжные склоны Москвы
|
Физическая культура и спорт
|
8
|
yes
|
csv
|
csv_norm
shp
osm
|
| 627
|
Лыжные трассы города Москвы
|
Физическая культура и спорт
|
197
|
yes
|
csv
|
csv_norm
shp
osm
|
| 628
|
Открытые ледовые катки города Москвы
|
Физическая культура и спорт
|
123
|
yes
|
csv
|
csv_norm
shp
osm
|
| 629
|
Спортивные объекты города Москвы
|
Физическая культура и спорт
|
2645
|
yes
|
csv
|
csv_norm
shp
osm
|
| 630
|
Спортивные секции города Москвы
|
Физическая культура и спорт
|
1761
|
yes
|
csv
|
csv_norm
shp
osm
|
| 651
|
Государственные казенные учреждения дирекции ЖКХ и благоустройства административных округов города Москвы
|
Жилищно-коммунальное хозяйство
|
16
|
yes
|
csv
|
csv_norm
shp
osm
|
| 652
|
Инфраструктура поддержки малого и среднего предпринимательства
|
Объекты общегородских программ
|
10
|
yes
|
csv
|
csv_norm
shp
osm
|
| 653
|
Региональные ярмарки
|
Торговля
|
39
|
yes
|
csv
|
csv_norm
shp
osm
|
| 654
|
Розничные рынки
|
Торговля
|
58
|
yes
|
csv
|
csv_norm
shp
osm
|
| 655
|
Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси
|
Транспорт
|
25667
|
no
|
csv
|
csv_norm
|
| 658
|
Тарифы на проезд в городском пассажирском транспорте
|
Транспорт
|
283
|
no
|
csv
|
csv_norm
|
| 671
|
Продажа билетов на пригородные поезда
|
Транспорт
|
45638
|
no
|
csv
|
csv_norm
|
| 672
|
Реестр стационарных объектов наблюдения
|
Транспорт
|
601
|
yes
|
csv
|
csv_norm
shp
osm
|
| 673
|
Точки продажи билетов для проезда на наземном городском пассажирском транспорте
|
Транспорт
|
643
|
yes
|
csv
|
csv_norm
shp
osm
|
| 674
|
Реестр искусственных неровностей
|
Улично-дорожная сеть
|
3452
|
yes
|
csv
|
csv_norm
shp
osm
|
| 744
|
Перечень приютов для бродячих животных (включая приюты префектур АО)
|
Жилищно-коммунальное хозяйство
|
17
|
no
|
csv
|
csv_norm
|
| 745
|
Пешеходные тоннели и фонтаны
|
Жилищно-коммунальное хозяйство
|
450
|
no
|
csv
|
csv_norm
|
| 746
|
Реестр образовательных учреждений. Дополнительное образование
|
Образование
|
36621
|
no
|
csv
|
csv_norm
|
| 747
|
Реестр образовательных учреждений. Общие сведения
|
Образование
|
3492
|
no
|
csv
|
csv_norm
|
| 749
|
Специализированные службы по вопросам похоронного дела
|
Социальная сфера
|
22
|
yes
|
csv
|
csv_norm
shp
osm
|
| 750
|
Список аккредитованных социальных магазинов
|
Торговля
|
451
|
yes
|
csv
|
csv_norm
shp
osm
|
| 751
|
Маршруты мобильных комплексов фиксации нарушений
|
Транспорт
|
208
|
yes
|
csv
|
csv_norm
shp
osm
|
| 752
|
Остановки НГПТ
|
Транспорт
|
12342
|
yes
|
csv
|
csv_norm
shp
osm
|
| 753
|
Список АЗС города Москвы, реализующих моторное топливо, соответствующее установленным экологическим требованиям
|
Экология
|
82
|
no
|
csv
|
csv_norm
|
| 754
|
Список АЗС города Москвы, реализующих моторное топливо, несоответствующее установленным экологическим требованиям
|
Экология
|
7
|
no
|
csv
|
csv_norm
|
| 758
|
Межрегиональные маршруты пассажирских перевозок
|
Транспорт
|
722
|
yes
|
csv
|
csv_norm
shp
osm
|
| 759
|
Нарушения ПДД выявляемые с использованием автоматической системы фотовидеофиксации нарушений ПДД
|
Транспорт
|
85
|
no
|
csv
|
csv_norm
|
| 760
|
Согласованные маршруты пассажирских перевозок коммерческими перевозчиками
|
Транспорт
|
608
|
yes
|
csv
|
csv_norm
shp
osm
|
| 761
|
Данные по проверкам Госинспекции по недвижимости с нарушениями за 2012 год
|
Имущество и земля города Москвы
|
5042
|
no
|
csv
|
csv_norm
|
| 781
|
Перечень выданных субсидий и льгот субъектам малого и среднего предпринимательства
|
Реестр справочной информации
|
551
|
no
|
csv
|
csv_norm
|
| 782
|
Итоги размещения госзаказа в сфере городской информатизации за 2012 год
|
Реестр справочной информации
|
363
|
no
|
csv
|
csv_norm
|
| 801
|
График отключения горячей воды
|
Жилищно-коммунальное хозяйство
|
50496
|
no
|
csv
|
csv_norm
|
Использованные скрипты и сопутствующие файлы, процесс обновления
Язык - Python. Все скрипты можно взять на Github.
По шагам:
1. batch_download.py - Загружаем данные, скрипт использует http://gis-lab.info/data/mos.ru/data/_listings/_general.csv как источник кодов для ссылок
python download.py
2. Архивируем всё для истории
for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i
и выгружаем на FTP в качестве исходников.
3. batch_field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов
python batch_field_sanitizer_read.py data\ fields.csv yes yes
- fields.csv - все названия полей данных
- yes - обновлять существующий файл замен имен полей
- yes - использовать транслит для новых полей
4. Вручную редактируем файл fields.csv добавляя замены
5. batch_field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv
python batch_field_sanitizer_write.py data\ data-norm fields.csv
6. batch_process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует wgs84.prj.
python batch_process.py
- wgs84.prj - файл описания результирующей нормализованной системы координат
7. batch_table.py - Формируем таблицу в вики-формате (для этой страницы), использует http://gis-lab.info/data/mos.ru/data/_listings/_general.csv
python batch_table.py > table.wiki