Сервис контроля и архивации материалов портала открытых данных г. Москвы: различия между версиями
Перейти к навигации
Перейти к поиску
Нет описания правки |
|||
Строка 10: | Строка 10: | ||
==Функции сервиса== | ==Функции сервиса== | ||
*Ежедневная проверка | *Ежедневная проверка | ||
*Обнаружение новых наборов данных | *Изменение комплектации данных | ||
*Обнаружение удаленных наборов данных | **Обнаружение новых наборов данных | ||
*Обнаружение восстановленных (после удаления) наборов данных | **Обнаружение удаленных наборов данных | ||
**Обнаружение восстановленных (после удаления) наборов данных | |||
*Изменение данных | |||
**Добавление/удаление атрибутивных полей | |||
**Добавление/удаление записей | |||
**Другие изменения содержания (не ведущие к изменению количества полей и/или строк) | |||
*Сохранение версий измененных наборов данных | *Сохранение версий измененных наборов данных | ||
*Компрессия данных | *Компрессия данных |
Версия от 00:46, 13 мая 2013
Проблема
Первым городом раскрывшим более-менее существенное количество открытых геоданных является Портал открытых данных г. Москва. Поскольку данные открыты, задача общественности взять на себя часть функций, с которыми плохо справляется сам портал.
Идея
Создать независимый сервис архивации и проверки изменений в данных портала.
Реализация
Регулярно скачиваем реестр данных и всех существующие и новые наборы данных, сравниваем с предыдущими версиями, находим изменения, обо всех значительных - докладываем пользователям.
Функции сервиса
- Ежедневная проверка
- Изменение комплектации данных
- Обнаружение новых наборов данных
- Обнаружение удаленных наборов данных
- Обнаружение восстановленных (после удаления) наборов данных
- Изменение данных
- Добавление/удаление атрибутивных полей
- Добавление/удаление записей
- Другие изменения содержания (не ведущие к изменению количества полей и/или строк)
- Сохранение версий измененных наборов данных
- Компрессия данных
- Оповещение о главных событиях в специальном твиттере и лог-файле.
Планы на будущее
В обозримом будущем этот сервис будет работать интегрирован с процессом нормализации и конвертации данных с портала в более приемлемый для ГИС и разработчиков вид.
Код
Весь исходный код на языке Python доступен на Github.