Данные OpenStreetMap в форматах XML и PBF: различия между версиями

Материал из GIS-Lab
Перейти к навигации Перейти к поиску
Нет описания правки
Нет описания правки
 
(не показано 12 промежуточных версий 4 участников)
Строка 2: Строка 2:
{{Аннотация|В рамках этого проекта генерируется автоматически обновляемые выгрузки данных OpenStreetMap на территорию бывшего СССР в форматах XML и PBF.}}
{{Аннотация|В рамках этого проекта генерируется автоматически обновляемые выгрузки данных OpenStreetMap на территорию бывшего СССР в форматах XML и PBF.}}


'''ПРОЕКТ ЗАКРЫТ. Большинство ссылок работать не будут.'''
Ежедневно обновляемые выгрузки в формат ESRI Shape можно найти [https://data.nextgis.com здесь].
Ежедневно обновляемые выгрузки в формат PBF и OSM XML можно найти [https://data.nextgis.com здесь].
{{NextGIS}}
== Покрытие ==
== Покрытие ==
На данный момент покрытие включает cледующие страны: Армения, Азербайджан, Беларусь, Грузия, Киргизия, Казахстан, Литва, Латвия, Молдавия, Россия, Таджикистан, Туркмения, Украина, Узбекистан, Эстония. На данном этапе Poly-файлы полностью идентичны предыдущему проекту.
На данный момент покрытие включает следующие страны: Армения, Азербайджан, Беларусь, Грузия, Киргизия, Казахстан, Литва, Латвия, Молдавия, Россия, Таджикистан, Туркмения, Украина, Узбекистан, Эстония.


Все страны в виде одного файла доступны в файлах с именем local (аналог full.osm).
Все страны в виде одного файла доступны в файлах с именем local.


Альтернативные источники дампов стран: [http://download.geofabrik.de/osm/ Geofabrik], [http://downloads.cloudmade.com/ CloudMade]. Отличаются от представленных здесь более редким (еженедельным) обновлением, отсутствием режима completeWays=yes, а также не всегда подходящими poly-файлами.
Дампы стран и регионов также делают [https://download.geofabrik.de/osm/ GeoFabrik] и [https://wiki.openstreetmap.org/wiki/Planet.osm#Country_and_area_extracts другие сайты]. Некоторых из них отличаются от представленных здесь более редким (еженедельным) обновлением, отсутствием режима completeWays=yes, а также не всегда подходящими полигонами обрезки.


== Детали ==
== Детали ==
Обрезка стран и регионов осуществляется с опцией completeWays=yes.
Обрезка стран и регионов осуществляется с сохранением всех точек линий, выходящих за границы обрезки. Поправить ошибки в полигонах обрезки можно, сделав pull request в [https://github.com/nextgis/osmdump_poly этот репозиторий GitHub].


В качестве промежуточного формата используется [http://wiki.openstreetmap.org/wiki/Pbf osm.pbf], что, по предварительным оценкам, позволяет ускорить процесс генерации дампов более чем в два раза. Файлы в формате [http://wiki.openstreetmap.org/wiki/XML osm.bz2], получаются конвертацией из osm.pbf.
Мы рекомендуем качать и использовать файлы в формате [https://wiki.openstreetmap.org/wiki/RU:PBF_Format osm.pbf]: они меньше размером и обрабатываются в разы быстрее. Файлы в формате [https://wiki.openstreetmap.org/wiki/OSM_XML osm.bz2], получаются конвертацией из osm.pbf.


Для каждого файла дампа доступен файл, в котором содержиться информация о версии данных, вида [имя_файла].meta. Это позволяет понять, какую версию данных содержит тот или иной файл. Например: чтобы понять какую версию данных содержит файл [http://gis-lab.info/projects/osm_dump/dump/latest/local.osm.pbf dump/latest/local.osm.pbf] достаточно посмотреть файл [http://gis-lab.info/projects/osm_dump/dump/latest/local.osm.pbf.meta dump/latest/local.osm.pbf.meta].
Для каждого файла дампа доступен файл, в котором содержится информация о версии данных, вида [имя_файла].meta. Это позволяет понять, какую версию данных содержит тот или иной файл. Например: чтобы понять какую версию данных содержит файл [http://data.gis-lab.info/osm_dump/dump/latest/local.osm.pbf dump/latest/local.osm.pbf] достаточно посмотреть файл [http://data.gis-lab.info/osm_dump/dump/latest/local.osm.pbf.meta dump/latest/local.osm.pbf.meta].


== Лицензия ==
== Лицензия ==
На данный момент данные OpenStreetMap доступны по лицензии [http://creativecommons.org/licenses/by-sa/2.0/legalcode CC-BY-SA версии 2.0]. Подробнее о ваших правах и обязанностях можно почитать [http://wiki.openstreetmap.org/wiki/Legal_FAQ тут].
Данные опубликованы под лицензией [https://opendatacommons.org/licenses/odbl/ ODBL]. Она аналогична CC-BY-SA и требует от вас:
 
* указать в углу карты или иным заметным образом источник в виде «© участники OpenStreetMap» или аналогичным образом;
* при дополнении собственными данными, геокодировании, привязке к объектам или ином смешивании полученный набор должен быть доступен под такой же лицензией ODbL.
 
Подробнее о ваших правах и обязанностях можно почитать [https://www.openstreetmap.org/copyright на сайте OpenStreetMap] и в [https://wiki.openstreetmap.org/wiki/Legal_FAQ Legal FAQ].


== Обновление ==
== Обновление ==
Данные обновляются ежедневно. Обновление начинается в 06:30 по Москве. К 07:00-07:15 появляется свежий local.osm.pbf и соответствующий файл обновления к нему. К 07:45-08:00 появляются свежии версии стран и регионов формате osm.pbf и файлы обновления к ним. Затем начинается конвертация дампов из формата osm.pbf в osm.bz2, которая занимает несколько часов.
Данные обновляются ежедневно. Обновление начинается в 06:30 по Москве. К 07:00-07:15 появляется свежий local.osm.pbf и соответствующий файл обновления к нему. К 07:45-08:00 появляются свежие версии стран и регионов формате osm.pbf и файлы обновления к ним. Затем начинается конвертация дампов из формата osm.pbf в osm.bz2, которая занимает несколько часов. Текущее состояние и результат последнего обновления можно посмотреть [http://data.gis-lab.info/osm_dump/state/daily-state.txt тут].
 
Состояние обновления: [http://gis-lab.info/projects/osm_dump/state/daily-state.txt ежедневное] | [http://gis-lab.info/projects/osm_dump/state/planet-state.txt планетное]


== Данные ==  
== Данные ==  
{{#widget:Iframe
{{#widget:Iframe
|url=http://gis-lab.info/projects/osm_dump/data.php
|url=http://be.gis-lab.info/project/osm_dump/iframe.php
|width=700
|width=100%
|height=400
|height=400
|border=0
|border=0
Строка 34: Строка 42:
Все свежие версии: http://data.gis-lab.info/osm_dump/dump/latest/ <br/>
Все свежие версии: http://data.gis-lab.info/osm_dump/dump/latest/ <br/>
Все обновления: http://data.gis-lab.info/osm_dump/diff/ <br/>
Все обновления: http://data.gis-lab.info/osm_dump/diff/ <br/>
Poly-файлы: http://data.gis-lab.info/osm_dump/poly/
Poly-файлы: https://github.com/nextgis/osmdump_poly


== Процесс ==
== Процесс ==

Текущая версия от 11:03, 21 июля 2020

Эта страница опубликована в основном списке статей сайта
по адресу http://gis-lab.info/qa/../projects/osm_dump/index.html


В рамках этого проекта генерируется автоматически обновляемые выгрузки данных OpenStreetMap на территорию бывшего СССР в форматах XML и PBF.

ПРОЕКТ ЗАКРЫТ. Большинство ссылок работать не будут.

Ежедневно обновляемые выгрузки в формат ESRI Shape можно найти здесь. Ежедневно обновляемые выгрузки в формат PBF и OSM XML можно найти здесь.

Создано в Nextgis.png Веб ГИС для вашей организации по доступной цене

Покрытие

На данный момент покрытие включает следующие страны: Армения, Азербайджан, Беларусь, Грузия, Киргизия, Казахстан, Литва, Латвия, Молдавия, Россия, Таджикистан, Туркмения, Украина, Узбекистан, Эстония.

Все страны в виде одного файла доступны в файлах с именем local.

Дампы стран и регионов также делают GeoFabrik и другие сайты. Некоторых из них отличаются от представленных здесь более редким (еженедельным) обновлением, отсутствием режима completeWays=yes, а также не всегда подходящими полигонами обрезки.

Детали

Обрезка стран и регионов осуществляется с сохранением всех точек линий, выходящих за границы обрезки. Поправить ошибки в полигонах обрезки можно, сделав pull request в этот репозиторий GitHub.

Мы рекомендуем качать и использовать файлы в формате osm.pbf: они меньше размером и обрабатываются в разы быстрее. Файлы в формате osm.bz2, получаются конвертацией из osm.pbf.

Для каждого файла дампа доступен файл, в котором содержится информация о версии данных, вида [имя_файла].meta. Это позволяет понять, какую версию данных содержит тот или иной файл. Например: чтобы понять какую версию данных содержит файл dump/latest/local.osm.pbf достаточно посмотреть файл dump/latest/local.osm.pbf.meta.

Лицензия

Данные опубликованы под лицензией ODBL. Она аналогична CC-BY-SA и требует от вас:

  • указать в углу карты или иным заметным образом источник в виде «© участники OpenStreetMap» или аналогичным образом;
  • при дополнении собственными данными, геокодировании, привязке к объектам или ином смешивании полученный набор должен быть доступен под такой же лицензией ODbL.

Подробнее о ваших правах и обязанностях можно почитать на сайте OpenStreetMap и в Legal FAQ.

Обновление

Данные обновляются ежедневно. Обновление начинается в 06:30 по Москве. К 07:00-07:15 появляется свежий local.osm.pbf и соответствующий файл обновления к нему. К 07:45-08:00 появляются свежие версии стран и регионов формате osm.pbf и файлы обновления к ним. Затем начинается конвертация дампов из формата osm.pbf в osm.bz2, которая занимает несколько часов. Текущее состояние и результат последнего обновления можно посмотреть тут.

Данные

{{#widget:Iframe |url=http://be.gis-lab.info/project/osm_dump/iframe.php |width=100% |height=400 |border=0 }}

Все свежие версии: http://data.gis-lab.info/osm_dump/dump/latest/
Все обновления: http://data.gis-lab.info/osm_dump/diff/
Poly-файлы: https://github.com/nextgis/osmdump_poly

Процесс

Ниже приведено приблизительное описание того, как это работает на примере стран. Описание несколько упрощенное, однако в таком виде несколько проще понять суть происходящего:

Первоначально:

  1. Из дампа planet вырезается все необходимое покрытие (local).
  2. Из local вырезаются все необходимые страны.

Ежедневно:

  1. Дамп local обновляется ежедневными diff-файлами, затем повторно обрезаeтся.
  2. Из предыдущей и текущей версии local создается отдельный diff-файл.
  3. Страны, для которых существует предыдущая версия, обновляются diff-файлом, полученным в п.2, и обрезаются в соответствии с poly-файлом страны/региона.
  4. Страны, для которых не существует предыдущей версии, вырезаются из local при помощи соответствующего poly-файла.

В качестве промежуточного формата используется osm.pbf, который затем конвертируется в osm.bz2.