SPARQL на примерах Wikidata: различия между версиями

Материал из GIS-Lab
Перейти к навигации Перейти к поиску
Строка 96: Строка 96:


== Элементы SPARQL запросов ==
== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.
=== Города в России с телефонными кодами ===
=== Города в России с телефонными кодами ===


Версия от 14:06, 10 ноября 2016

Эта страница является черновиком статьи.


SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект pywikidata, руководство по созданию ботов и примеры скриптов миграции данных из Википедии и Wikidata. Для доступа на запись вам необходимо ознакомиться с короткой процедурой регистрации ботов и отправить заявку участника-ботовода.

Инструментарий запросов

Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

query.wikidata.org

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

Wikidata

В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть Викиданные:Глоссарий

Диаграмма русскоязычной терминологии утверждений в Викиданных

Свойства Wikidata

Полный перечень - Wikidata:List_of_properties.

Географические свойства в Wikidata

Полный перечень - Wikidata:List_of_properties/Geographical_feature
Отчёт количества объектов по каждому свойству - Wikidata:Database_reports/List_of_properties/all

Более миллиона:

Больше 100 тысяч, менее миллиона:

Более 10 тысяч, менее 100 тысяч:

Редкие, менее 10000:

Российские свойства в Wikidata

Географические элементы в Wikidata

Wikidata Blazegraph

blazegraph - расширения от Wikidata к Blazegraph чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

  • функция geof:distance возвращает минимальное расстояние между двумя точками.

Wikidata префиксы

Квалификаторы (qualifier)

Если открыть Пермь, то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 (момент времени) и P459 (метод определения).

У элемента Пермь, у всех значений свойства P1082 выбрем 2 квалификатора (P585, P459).

Открыть на query.wikidata.org 

SELECT ?val ?qualifier ?wikidataid WHERE {
                 wd:Q915 p:P1082 ?statements           .
            ?statements ps:P1082 ?val      .
            ?statements pq:P585  ?qualifier  .
 OPTIONAL { ?statements pq:P459  ?wikidataid . }
}

Элементы SPARQL запросов

Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска паттернов в графе[1], зачастую нескольких.

Города в России с телефонными кодами

Самый простой пример.

  • 1 строка: SELECT запросы[2] выбирают данные или их часть
  • 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - Россия (Q159)
  • 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - города (Q515)
  • 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL необязательные значения[3] нужно включать в результаты вручную.
  • 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у Москвы указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

Открыть на query.wikidata.org 

SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
  ?item wdt:P17 wd:Q159.
  ?item wdt:P31 wd:Q515.
  OPTIONAL {
    ?item wdt:P402 ?relationid.
  }
  ?item wdt:P473 ?localdialingcode.
  wd:Q159 wdt:P474 ?countrydialingcode.
  SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}

Объекты-побратимы всех российских объектов и их страны

Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего первичного ключа (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

  • Строка 2: Академический район будет выбран как находящийся в России.
  • Строка 4: Мелитополь (Украина) будет выбран как побратим Академического района.
  • Строка 7: исключаем исторические страны у городов-побратимов в результатах

Открыть на query.wikidata.org 

SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
  ?russianPlace wdt:P17 wd:Q159 .
  
  ?russianPlace wdt:P190 ?wikidataCity .
  ?wikidataCity wdt:P17 ?country .
  
  FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country

Существующие страны и их столицы

В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.

  • 5 строка: исключаем[4] те страны, которые - исторические
  • 10 строка: результаты упорядочены[5] по названиям на русском или английском

Открыть на query.wikidata.org 

SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
  ?country wdt:P31 wd:Q3624078 .
  FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
  OPTIONAL { ?country wdt:P36 ?capital } .

  SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel

Города примерно с таким же населением как и Пермь

Города, отличающиеся менее чем на 1000 населения от Перми.

  • 6 строка: abs[6] это одна из множества возможных функций на числах в тестовых выражениях и фильтрах[7]

Открыть на query.wikidata.org 

#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
  wd:Q915 wdt:P1082 ?populatie .
  ?city wdt:P1082 ?populatie2 .
  ?city wdt:P625 ?coor .
  FILTER (abs(?populatie - ?populatie2) < 1000)
  SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}

Ранжирование городов по населению

  • Строка 10-17: BIND конструкция[8] позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
  • Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

Открыть на query.wikidata.org 

#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
  ?city wdt:P17 wd:Q159.
  ?city wdt:P31 wd:Q515.

  OPTIONAL { ?city wdt:P1082 ?population. }
  
  ?city wdt:P625 ?coordinates.
  
  BIND(
    IF(?population < 500, "500",
    IF(?population < 10000, "10K",
    IF(?population < 100000, "100K",
    IF(?population < 1000000, "1M",
    IF(?population < 10000000, "10M",
    ">20M")))))
    AS ?layer).

  SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY 
DESC(?population)

Бывшие столицы государств

Открыть на query.wikidata.org 

#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
  ?country p:P36 ?stat.
  ?stat ps:P36 ?capital.
  ?capital wdt:P625 ?coordinates.
  OPTIONAL {
    ?country wdt:P582|wdt:P576 ?ended.
  }
  OPTIONAL {
    ?capital wdt:P582|wdt:P576 ?ended.
  }
  OPTIONAL {
    ?stat pq:P582 ?ended.
  }
  FILTER(BOUND(?ended)).
  SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}

Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой

  • 5 строка: конструкция VALUES[9] используется чтобы вручную указать значения у отдельных элементов[10]

Открыть на query.wikidata.org 

#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
   VALUES ?highway { wd:Q559037 wd:Q58767 } 
   ?highway wdt:P2789 ?city .
    ?city wdt:P625 ?coordinates .
   SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}

Примеры запросов

Часть примеров:

Источники

  1. ↑ https://www.w3.org/TR/sparql11-query/#GraphPattern
  2. ↑ https://www.w3.org/TR/sparql11-query/#QueryForms
  3. ↑ https://www.w3.org/TR/sparql11-query/#optionals
  4. ↑ https://www.w3.org/TR/sparql11-query/#negation
  5. ↑ https://www.w3.org/TR/sparql11-query/#solutionModifiers
  6. ↑ https://www.w3.org/TR/sparql11-query/#func-abs
  7. ↑ https://www.w3.org/TR/sparql11-query/#expressions
  8. ↑ https://www.w3.org/TR/sparql11-query/#assignment
  9. ↑ https://www.w3.org/TR/sparql11-query/#inline-data
  10. ↑ http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html

Внешние ссылки

Источник — https://wiki.gis-lab.info/index.php?title=SPARQL_на_примерах_Wikidata&oldid=24658