Данные OpenStreetMap в форматах XML и PBF

Эта страница является черновиком статьи.

В рамках этого проекта генерируется автоматически обновляемые выгрузки данных OpenStreetMap на территорию бывшего СССР в форматах XML и PBF.

Покрытие

На данный момент покрытие включает cледующие страны: Армения, Азербайджан, Беларусь, Грузия, Киргизия, Казахстан, Литва, Латвия, Молдавия, Россия, Таджикистан, Туркмения, Украина, Узбекистан, Эстония. На данном этапе Poly-файлы полностью идентичны предыдущему проекту.

Все страны в виде одного файла доступны в файлах с именем local (аналог full.osm).

Альтернативные источники дампов стран: Geofabrik, CloudMade. Отличаются от представленных здесь более редким (еженедельным) обновлением, отсутствием режима completeWays=yes, а также не всегда подходящими poly-файлами.

Детали

Обрезка стран и регионов осуществляется с опцией completeWays=yes.

В качестве промежуточного формата используется osm.pbf, что, по предварительным оценкам, позволяет ускорить процесс генерации дампов более чем в два раза. Файлы в формате osm.bz2, получаются конвертацией из osm.pbf.

Для каждого файла дампа доступен файл, в котором содержиться информация о версии данных, вида [имя_файла].meta. Это позволяет понять, какую версию данных содержит тот или иной файл. Например: чтобы понять какую версию данных содержит файл dump/latest/local.osm.pbf достаточно посмотреть файл dump/latest/local.osm.pbf.meta.

Лицензия

На данный момент данные OpenStreetMap доступны по лицензии CC-BY-SA версии 2.0. Подробнее о ваших правах и обязанностях можно почитать тут.

Обновление

Данные обновляются ежедневно. Обновление начинается в 06:30 по Москве. К 07:00-07:15 появляется свежий local.osm.pbf и соответствующий файл обновления к нему. К 07:45-08:00 появляются свежии версии стран и регионов формате osm.pbf и файлы обновления к ним. Затем начинается конвертация дампов из формата osm.pbf в osm.bz2, которая занимает несколько часов.

Состояние обновления: ежедневное | планетное

Данные

Все свежие версии: http://data.gis-lab.info/osm_dump/dump/latest/
Все обновления: http://data.gis-lab.info/osm_dump/diff/
Poly-файлы: http://data.gis-lab.info/osm_dump/poly/

Процесс

Ниже приведено приблизительное описание того, как это работает на примере стран. Описание несколько упрощенное, однако в таком виде несколько проще понять суть происходящего:

Первоначально:

1. Из дампа planet вырезается все необходимое покрытие (local).
2. Из local вырезаются все необходимые страны.

Ежедневно:

1. Дамп local обновляется ежедневными diff-файлами, затем повторно обрезаeтся.
2. Из предыдущей и текущей версии local создается отдельный diff-файл.
3. Страны, для которых существует предыдущая версия, обновляются diff-файлом, полученным в п.2, и обрезаются в соответствии с poly-файлом страны/региона.
4. Страны, для которых не существует предыдущей версии, вырезаются из local при помощи соответствующего poly-файла.

В качестве промежуточного формата используется osm.pbf, который затем конвертируется в osm.bz2.