Просмотр кода страницы Сервис контроля и архивации материалов портала открытых данных г. Москвы

{{Статья|Опубликована|data-mos-control}}
{{Аннотация|Описание сервиса контроля данных}}

'''Этот сервис не является сервисом Правительства Москвы или любых его подразделений.'''

==Проблема==
Первым городом раскрывшим более-менее существенное количество открытых геоданных является Москва. Данные по городу выкладываются на [http://data.mos.ru Портал открытых данных г. Москва]. Портал неплохо справляется с функцией доставки данных потребителю, нет привязки к API, для получения наборов данных не нужна регистрация. Однако, некоторые другие функции выполняются не очень хорошо: нет четкой системы оповещений об обновлениях, непонятно что же вообще обновилось. Дополнительно, нет уверенности, что отдельные наборы данных завтра не пропадут с портала окончательно.

Поскольку данные открыты, задача общественности взять на себя часть функций, с которыми неоптимально справляется сам портал.

==Идея==
Создать независимый сервис архивации и проверки изменений в данных портала.

==Реализация==
Регулярно скачиваем перечень наборов данных и все существующие и новые наборы данных, сравниваем с предыдущими версиями, находим изменения, обо всех значительных - докладываем пользователям.

==Функции сервиса==
*Ежедневная проверка
*Обнаружение изменений комплектации данных:
**Новые наборы данных
**Скрытие из [http://data.mos.ru/datasets общего перечня]) наборов данных, при сохранении доступности
**Обнаружение восстановленных, после скрытия, наборов данных
**Недоступность наборов данных (возможно удаление)
**Обнаружение восстановление после недоступности
*Обнаружение изменений данных:
**Добавление/удаление атрибутивных полей
**Добавление/удаление записей
**Другие изменения содержания (не ведущие к изменению количества полей и/или строк)
**Создание html-представлений построчных diff-файлов для наглядной оценки изменений
*Сохранение версий измененных наборов данных
*Компрессия данных
*Оповещение о главных событиях в [https://twitter.com/datamosru специальном твиттере] и [http://gis-lab.info/data/mos.ru/data/log.txt лог-файле].
*Регистрация изменений в специальных лог-файлах для каждого набора ([http://gis-lab.info/data/mos.ru/data/498/498_changes.log пример])

==Планы на будущее==
#Интеграция с [http://gis-lab.info/qa/data-mos.html процессом нормализации и конвертации данных] с портала в более приемлемый для ГИС и разработчиков вид. Вместо пакетной конвертации, как сейчас, будут конвертироваться только измененные наборы данных.
#<s>Генерация красивых diff-ов для отображения изменений в данных.</s> Сделано

[https://github.com/simgislab/datamosru/issues?state=open Тикеты] в трекере проекта.

==Результаты==
Твиттер для оповещений об изменениях: https://twitter.com/datamosru

Архивированные данные: http://gis-lab.info/data/mos.ru/data

===Код===
Весь исходный код на языке Python доступен на [https://github.com/simgislab/datamosru Github].

Использованы:
*[http://code.google.com/p/python-twitter/ python-twitter]
*[https://github.com/bitly/bitly-api-python bitly-api-python]
*[http://code.google.com/p/google-diff-match-patch diff-match-patch] с [http://code.activestate.com/recipes/577784-line-based-side-by-side-diff/?c=15260 line-by-line]