Сервис контроля и архивации материалов портала открытых данных г. Москвы: различия между версиями
Перейти к навигации
Перейти к поиску
(Новая страница: «==Проблема== Первым городом раскрывшим более-менее существенное количество открытых гео…») |
|||
Строка 6: | Строка 6: | ||
==Реализация== | ==Реализация== | ||
Регулярно скачиваем реестр данных и всех существующие и новые наборы данных, сравниваем с предыдущими версиями, находим изменения, обо всех значительных - докладываем пользователям. | |||
==Функции сервиса== | ==Функции сервиса== |
Версия от 00:38, 13 мая 2013
Проблема
Первым городом раскрывшим более-менее существенное количество открытых геоданных является Портал открытых данных г. Москва. Поскольку данные открыты, задача общественности взять на себя часть функций, с которыми плохо справляется сам портал.
Идея
Создать независимый сервис архивации и проверки изменений в данных портала.
Реализация
Регулярно скачиваем реестр данных и всех существующие и новые наборы данных, сравниваем с предыдущими версиями, находим изменения, обо всех значительных - докладываем пользователям.
Функции сервиса
- Ежедневная проверка
- Обнаружение новых наборов данных
- Обнаружение удаленных наборов данных
- Обнаружение восстановленных (после удаления) наборов данных
- Сохранение версий измененных наборов данных
- Компрессия данных
- Оповещение о главных событиях в специальном твиттере и лог-файле.
Планы на будущее
В обозримом будущем этот сервис будет работать интегрирован с процессом нормализации и конвертации данных с портала в более приемлемый для ГИС и разработчиков вид.
Код
Весь исходный код на языке Python доступен на Github.