Нормализованные данные с портала открытых данных Москвы

Эта страница является черновиком статьи.

Описание данных и копия данных в более удобном для ГИС формате

Источник данных: Портал открытых данных г. Москва http://data.mos.ru

Об исходных данных

Система координат данных: EPSG: 3857 (WGS84 Web Mercator)
Формат данных: CSV (на данный момент)
Кодировка: Windows-1251
Формат хранения геометрий: WKT (поле WKT в CSV)

Лицензия данных разрешает любое использование (включая коммерческое) при условии наличия ссылки на первоисточник.

Условия использования набора данных не предполагают ограничений использования набора данных в некоммерческих и коммерческих целях.

Сомнительные места организации исходных данных

1. Служебная информация в названиях полей
2. Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено
3. Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено
4. Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено
5. Названия полей содержат спецсимволы (например "№", "/", "," - проблемы с конвертацией) -> исправлено
6. Одни и те же названия полей то в кавычках, то без (просто некрасиво) -> исправлено
7. Одни и те же названия полей то с пробелами, то с "_" вместо пробелов (просто некрасиво) -> исправлено
8. Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено
9. Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено
10. Система координат данных нигде не описана -> исправлено
11. Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено
12. Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено

Пометка "-> исправлено" означает, что данная проблема исправлена в производной версии данных (см. далее).

О преобразованных данных

В таблице в поле Данные -0 данные для скачивания:

• csv - исходные данные 'как есть' на data.mos.ru, формат CSV, геометрии WKT, кодировка Windows-1251
• csv-norm - данные в формате CSV, с нормализованными названиями полей, *.csvt, *.prj, *.vrt файлами. Кодировка UTF-8
• shp - данные в формате ESRI Shape (максимальная длина строк 255 символов). Кодировка UTF-8. СК EPSG:4326
• osm - данные в формате OSM XML, без обрезки атрибутики. Кодировка UTF-8

Полный перечень названий полей и их замен для нормализованых данных.

TODO

• *.csvt файлы пока рассматривают все поля как тип String(255). Нужно пройтись по всем полям и выяснить их тип, добавив его в fields.csv
• создать *.qml
• сконвертировать все в GeoJSON
• обновлять только обновившееся, дату можно взять из метаданных, (но вдруг нас обманут? :) либо побайтово сравнивать с пред.версией CSV

Актуальность производных данных и архив

Текущая версия данных на: 22 февраля 2013.

Чтобы посмотреть архивную версию данных, возьмите ссылку из таблице ниже и добавьте дату в формате YYYYMMDD. Например: Актуальная версия:

 http://gis-lab.info/data/mos.ru/414_shp.7z

Архивная:

 http://gis-lab.info/data/mos.ru/20130213/414_shp.7z

Доступны архивы за следующие числа:
20130213,20130222

Таблица данных

Код	Описание набора	Категория	Объектов	Изменение	Дата обновления	Геоданные	Частота обновления	Источник	Данные
486	Нестационарные торговые объекты	Торговля	10231	19	22.02.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
505	Начальная школа – детский сад	Образование	13	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
492	Молочные кухни	Здравоохранение	180	0	28.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
493	Молодежные центры	Досуг и отдых	7	0	18.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
569	Многофункциональные центры	Социальная сфера	49	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
474	Лыжные трассы города Москвы	Физическая культура и спорт	189	0	01.02.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
414	Аптеки города Москвы включая неподведомственные	Здравоохранение	4123	0	29.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
507	Начальная школа – детский сад компенсирующего вида	Образование	14	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
539	Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Научно-техническое направление	Образование	10	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
420	Научно-практические медицинские центры, учредителем которых является город Москва	Здравоохранение	66	0	30.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
489	Нежилые помещения, зарегистрированные в собственность города Москвы	Имущество и земля города Москвы	58122	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
514	Лицей	Образование	40	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
544	Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Культурологическое направление	Образование	60	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
576	Коррекционная школа-интернат для детей-сирот и детей, оставшихся без попечения родителей	Образование	4	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
532	Коррекционная общеобразовательная школа-интернат	Образование	29	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
477	Ярмарки выходного дня г. Москвы	Торговля	85	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
566	Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Эколого-биологическое направление	Образование	4	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
524	Школы надомного обучения	Образование	13	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
522	Школы-интернаты с углубленным изучением отдельных предметов	Образование	4	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
521	Школы-интернаты	Образование	6	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
512	Школы, имеющие в своем составе детские сады (образовательные комплексы)	Образование	132	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
577	Школа-интернат для детей-сирот и детей, оставшихся без попечения родителей	Образование	3	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
429	Центры социальной помощи семье и детям	Социальная сфера	35	0	30.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
426	Музеи (включая Музеи неподведомственные)	Культура	281	0	01.02.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
464	Центры реабилитации	Социальная сфера	16	0	26.12.2012	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
559	Центры психолого-педагогической и медико-социальной помощи	Образование	25	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
463	Центры психологической помощи	Социальная сфера	13	0	30.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
535	Центры повышения квалификации	Образование	3	0	28.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
557	Центры психолого-педагогической и медико-социальной помощи	Образование	4	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
510	Центры занятости населения	Социальная сфера	11	0	26.12.2012	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
556	Центры психолого-педагогической и медико-социальной помощи	Образование	6	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
564	Центр социально-трудовой адаптации и профориентации	Социальная сфера	4	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
558	Центры психолого-педагогической и медико-социальной помощи	Образование	16	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
520	Центр образования	Образование	180	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
538	Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Художественно-эстетическое направление	Образование	74	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
422	Хосписы	Здравоохранение	8	0	30.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
543	Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей Физкультурно-спортивное направление	Образование	14	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
468	Учреждения семейной и молодежной политики г. Москвы	Досуг и отдых	5	0	18.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
469	Учреждения для детей-сирот и детей, оставшихся без попечения родителей	Образование	29	0	26.12.2012	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
527	Учреждения высшего профессионального образования	Образование	10	0	28.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
523	Учебно-производственные комбинаты	Образование	3	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
470	Управления социальной защиты населения г. Москвы	Социальная сфера	126	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
546	Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Туристско-краеведческое направление	Образование	9	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
560	Территориальные центры социального обслуживания и филиалы	Социальная сфера	130	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
460	Театры г. Москвы	Культура	237	0	01.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
606	Тарифы на проезд в городском пассажирском транспорте	Транспорт	265	0	15.02.2013	нет	По мере поступления	описание скачать csv	csv_norm shp osm
458	Судебные участки мировых судей города Москвы	Органы государственной власти города Москвы	438	0	29.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
443	Стоматологические поликлиники г. Москвы	Здравоохранение	39	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
528	Стационары	Здравоохранение	54	0	30.01.2013	есть	Еженедельная	описание скачать csv	csv_norm shp osm
456	Станции скорой и неотложной медицинской помощи г. Москвы	Здравоохранение	1	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
457	Станции переливания крови г. Москвы	Здравоохранение	1	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
452	Станции метрополитена г. Москвы	Транспорт	185	0	27.12.2012	есть	По мере поступления	описание скачать csv	csv_norm shp osm
531	Средняя общеобразовательная школа "Школа Здоровья"	Образование	59	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
519	Средняя общеобразовательная школа с этнокультурным (национальным) компонентом образования	Образование	22	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
518	Средняя общеобразовательная школа с углубленным изучением отдельных предметов	Образование	169	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
516	Средняя общеобразовательная школа	Образование	786	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
451	Спортивные секции города Москвы	Физическая культура и спорт	1761	0	01.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
552	Спортивные объекты города Москвы	Физическая культура и спорт	3988	0	01.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
542	Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Спортивно-техническое направление	Образование	2	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
530	Специальная общеобразовательная школа для детей и подростков с девиантным поведением	Образование	7	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
517	Специализированные центры труда и занятости населения города Москвы	Социальная сфера	19	0	30.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
547	Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Социально-экономическое направление	Образование	2	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
541	Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Социально-педагогическое направление	Образование	41	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
450	Сезонные кафе при стационарных объектах общественного питания г. Москвы.	Общественное питание	1621	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
525	Санаторно-лесная школа	Образование	5	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
526	Санаторная школа-интернат	Образование	5	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
611	Розничные рынки	Торговля	53	0	15.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
448	Родильные дома г. Москвы	Здравоохранение	19	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
490	Объекты нежилого фонда	Имущество и земля города Москвы	41	0	30.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
495	Ремонтируемые объекты жилищного фонда (капитальный ремонт)	Имущество и земля города Москвы	1726	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
503	Рейтинг топ-100 должников арендной платы по договорам аренды земельных участков	Имущество и земля города Москвы	100	0	21.02.2013	нет	Ежемесячная	описание скачать csv	csv_norm shp osm
610	Региональные ярмарки	Торговля	40	0	15.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
581	Расположение мест приёма документов Департамента земельных ресурсов города Москвы	Территориальное планирование	12	0	14.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
529	Психоневрологические интернаты	Социальная сфера	17	0	26.12.2012	есть	По мере поступления	описание скачать csv	csv_norm shp osm
608	Продажа билетов на пригородные поезда	Транспорт	25043	0	18.02.2013	нет	По мере поступления	описание скачать csv	csv_norm shp osm
515	Прогимназия	Образование	24	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
506	Прогимназия	Образование	15	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
437	Платные парковки на улично-дорожной сети	Транспорт	9	0	26.12.2012	есть	По мере поступления	описание скачать csv	csv_norm shp osm
601	Перечень приоритетных продуктов и технологий, используемых в отраслях городского хозяйства	Реестр справочной информации	336	0	24.01.2013	нет	Ежемесячная	описание скачать csv	csv_norm shp osm
599	Перечень выданных субсидий организациям промышленности, науки и инновационной инфраструктуры города	Реестр справочной информации	52	0	24.01.2013	нет	Ежемесячная	описание скачать csv	csv_norm shp osm
497	Перехватывающие парковки города Москвы	Транспорт	62	0	20.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
439	Паспортизация квартир в домах-новостройках, строительство которых выполнено за счет городского бюджета и по инвестиционным контрактам	Имущество и земля города Москвы	1044	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
438	Парковки такси	Транспорт	226	0	01.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
436	Парки г. Москвы	Досуг и отдых	87	0	01.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
574	Пансионаты для ветеранов	Социальная сфера	10	0	26.12.2012	есть	По мере поступления	описание скачать csv	csv_norm shp osm
476	Открытые ледовые катки города Москвы	Физическая культура и спорт	1452	-10	22.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
511	Отделы трудоустройства	Социальная сфера	52	0	30.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
480	Органы ЗАГС Москвы	Органы государственной власти города Москвы	38	0	18.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
491	Объекты социальной сферы	Социальная сфера	5	0	30.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
488	Объекты розничной торговли и общественного питания, имеющие лицензию на розничную продажу алкогольной продукции с указанием срока ее действия	Общественное питание	10134	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
487	Объекты ритуального обслуживания	Социальная сфера	137	0	30.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
561	Объекты капитального ремонта улично-дорожной сети	Улично-дорожная сеть	379	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
467	Объекты городской инфраструктуры, приспособленные для инвалидов и лиц с ограничениями жизнедеятельности	Социальная сфера	203	0	30.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
494	Объекты гаражного назначения по программе «Народный гараж»	Объекты общегородских программ	172	0	01.02.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
445	Образовательные учреждения города Москвы, реализующие программы среднего профессионального образования. Техникумы г. Москвы	Образование	9	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
533	Коррекционная общеобразовательная школа	Образование	25	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
550	Объекты культурного наследия и Выявленные объекты культурного наследия	Культура	6104	0	26.12.2012	есть	По мере поступления	описание скачать csv	csv_norm shp osm
534	Коррекционная начальная школа - детский сад	Образование	5	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
454	Концертные организации	Культура	87	0	01.02.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
423	Консультативно-диагностические центры	Здравоохранение	18	0	30.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
555	Колледжи	Образование	107	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
465	Кинотеатры (включая учреждения кинофикации неподведомственные)	Досуг и отдых	180	0	01.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
427	Кадетские школы-интернаты	Образование	11	0	28.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
428	Кадетские школы	Образование	8	0	28.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
612	Инфраструктура поддержки малого и среднего предпринимательства	Объекты общегородских программ	10	0	15.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
483	Земельные участки в собственности города Москвы	Имущество и земля города Москвы	5881	0	08.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
449	Здравоохранение. Санатории г. Москва	Здравоохранение	42	0	26.12.2012	есть	По мере поступления	описание скачать csv	csv_norm shp osm
447	Жилищно-коммунальное хозяйство. Районные инженерные службы г. Москвы.	Жилищно-коммунальное хозяйство	119	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
485	Женские консультации г. Москвы	Здравоохранение	15	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
545	Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Естественнонаучное направление	Образование	6	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
419	Дома ребенка, в том числе специализированные	Здравоохранение	19	0	28.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
578	Дома культуры и клубы включая дома культуры и клубы неподведомственные	Досуг и отдых	270	0	01.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
415	Диспансеры	Здравоохранение	54	0	28.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
504	Детский сад компенсирующего вида	Образование	190	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
502	Детский сад комбинированного вида	Образование	405	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
537	Детские школы искусств	Образование	47	0	01.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
536	Детские художественные школы	Образование	20	0	01.02.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
444	Детские стоматологические поликлиники г. Москвы	Здравоохранение	25	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
508	Детские сады в составе школ (образовательные комплексы)	Образование	132	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
501	Детские сады г. Москвы	Образование	767	0	29.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
442	Детские поликлиники г. Москвы	Здравоохранение	172	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
430	Детские музыкальные школы	Образование	107	0	01.02.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
575	Учреждения для детей-сирот и детей, оставшихся без попечения родителей	Социальная сфера	29	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
579	Границы территорий, по которым утверждены проекты планировок	Территориальное планирование	287	0	18.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
482	Границы районов города Москвы	Территориальное планирование	134	0	21.02.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
548	Границы зон охраны объектов культурного наследия	Территориальное планирование	456	0	26.12.2012	есть	По мере поступления	описание скачать csv	csv_norm shp osm
484	Границы внутригородских муниципальных образований в городе Москве	Территориальное планирование	150	-5	21.02.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
481	Границы административных округов города Москвы	Территориальное планирование	12	-1	21.02.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
479	Государственные учреждения, подведомственные Департаменту жилищно-коммунального хозяйства и благоустройства города Москвы	Жилищно-коммунальное хозяйство	27	0	30.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
549	Границы территорий объектов культурного наследия	Территориальное планирование	1483	0	26.12.2012	есть	По мере поступления	описание скачать csv	csv_norm shp osm
478	Государственные казенные учреждения дирекции жилищно-коммунального хозяйства и благоустройства административных округов города Москвы	Жилищно-коммунальное хозяйство	16	0	30.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
421	Госпитали всех наименований, учредителем которых является город Москва	Здравоохранение	4	0	28.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
466	Городской центр "Дети улиц"	Социальная сфера	16	0	30.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
441	Городские Поликлиники	Здравоохранение	263	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
432	Городские отделы жилищных субсидий	Социальная сфера	130	0	30.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
473	Горнолыжные склоны Москвы	Физическая культура и спорт	8	0	01.02.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
513	Гимназия	Образование	84	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
475	Выставочные залы г. Москвы	Культура	26	0	31.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
609	Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси	Транспорт	25667	0	15.02.2013	нет	По мере поступления	описание скачать csv	csv_norm shp osm
58	Вечерние школы г. Москвы	Образование	7	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm
461	Больницы города Москвы	Здравоохранение	100	0	28.01.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
425	Библиотеки города Москвы включая неподведомственные	Культура	520	0	01.02.2013	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
424	Аттракционная техника с механическим приводом, имеющая допуск к эксплуатации, установленная в парках и скверах	Досуг и отдых	246	0	31.01.2012	есть	Ежемесячная	описание скачать csv	csv_norm shp osm
540	Образовательные учреждения города Москвы, реализующие программы дополнительного образования детей. Военно-патриотическое направление	Образование	9	0	28.01.2013	есть	По мере поступления	описание скачать csv	csv_norm shp osm

Использованные скрипты и сопутствующие файлы, процесс обновления

Язык - Python. Все скрипты одним архивом.

По шагам:

1. items.py,datamosru.py - конфиги Scrapy для получения списка наборов данных. Запускаем:

 mkdir datamosscrapy
 cp items.py datamosscrapy/datamosscrapy
 cp datamosru.py datamosscrapy/datamosscrapy/spiders
 scrapy crawl datamosru -o list.csv -t csv

• list.csv - список слоёв в формате CSV, создается после выполнения паука Scrapy

2. download.py - Загружаем данные, скрипт использует list.csv как источник кодов для ссылок

 python download.py

3. Архивируем всё для истории, выгружаем на FTP в качестве исходников

 for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i

4. field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов

 python field_sanitizer_read.py d:\Programming\Python\data.mos.ru\data\ fields.csv yes yes

• fields.csv - все названия полей данных

5. Вручную редактируем файл fields.csv добавляя замены
6. field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv

 python field_sanitizer_write.py d:\Programming\Python\data.mos.ru\data\ d:\Programming\Python\data.mos.ru\data-norm\ fields.csv

7. process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует prj.prj.

 python process.py

• prj.prj - файл описания исходной проекции данных

8. table.py - Формируем таблицу в вики-формате (для этой страницы), использует list.csv

 python table.py > table.wiki