Сервис контроля и архивации материалов портала открытых данных г. Москвы

Проблема

Первым городом раскрывшим более-менее существенное количество открытых геоданных является Портал открытых данных г. Москва. Поскольку данные открыты, задача общественности взять на себя часть функций, с которыми плохо справляется сам портал.

Идея

Создать независимый сервис архивации и проверки изменений в данных портала.

Реализация

Регулярно скачиваем реестр данных и всех существующие и новые наборы данных, сравниваем с предыдущими версиями, находим изменения, обо всех значительных - докладываем пользователям.

Функции сервиса

• Ежедневная проверка
• Изменение комплектации данных
  • Обнаружение новых наборов данных
  • Обнаружение удаленных наборов данных
  • Обнаружение восстановленных (после удаления) наборов данных
• Изменение данных
  • Добавление/удаление атрибутивных полей
  • Добавление/удаление записей
  • Другие изменения содержания (не ведущие к изменению количества полей и/или строк)
• Сохранение версий измененных наборов данных
• Компрессия данных
• Оповещение о главных событиях в специальном твиттере и лог-файле.

Планы на будущее

1. Интеграция с процессом нормализации и конвертации данных с портала в более приемлемый для ГИС и разработчиков вид. Вместо пакетной конвертации, как сейчас, будут конвертироваться только измененные наборы данных.
2. Генерация diff-ов для отображения изменений в данных.

Код

Весь исходный код на языке Python доступен на Github.

Использованы:

• python-twitter