GIS-Lab - Вклад [ru]

SPARQL на примерах Wikidata

2016-11-27T20:01:48Z

D1g: Help:Statements/ru лучше освещает значения

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL — это язык запросов к данным, основанных на модели "субъект-предикат-объект" (примечание: "объект" часто заменяется на "значение", особенно в случае количественных предикатов) (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL-клиентов. Ключевая особенность Wikidata — это общедоступная и публичная точка доступа SPARQL, включающая в том числе простой [https://query.wikidata.org веб-интерфейс].

=== query.wikidata.org ===

У этого сервиса есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV — хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==

Для помощи по терминологии и модели Wikidata можно посмотреть сюда: [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий].

Структуру ''элемента'' (item) и ''свойства'' (property) можно найти на англоязычной странице [https://www.mediawiki.org/wiki/Wikibase/DataModel/Primer Wikibase/DataModel/Primer].

* ''Множественные значения''
* ''Отсутствующие значения'' (известно, что значения не может быть) эквивалентны тегам ключ=no из OpenStreetMap - описаны на странице ''[https://www.wikidata.org/wiki/Help:Statements/ru Help:Утверждения]''
* ''Значение не определено'' (известно, что значение есть, но не известно какое) - описаны на той же странице

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень свойств: [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]

Отчёт количества использований каждого свойства - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень: [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]


: Принадлежность стране - https://www.wikidata.org/wiki/Property:P17
: Принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
: Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)


: Численность населения - https://www.wikidata.org/wiki/Property:P1082


: ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
: Столица - https://www.wikidata.org/wiki/Property:P36
: Город-побратим - https://www.wikidata.org/wiki/Property:P190


: Относительная высота https://www.wikidata.org/wiki/Property:P2660
: Официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны [https://www.wikidata.org/wiki/Help:Qualifiers/ru квалификаторы] (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их [https://www.wikidata.org/wiki/Help:Ranking/ru ранги].

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение. Часть языка на обновление, добавление и удаление данных это [https://www.w3.org/TR/2013/REC-sparql11-update-20130321/ SPARQL 1.1 Update], в данной статье не рассматривалась.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://www.npmjs.com/package/wikidata-cli wikidata-cli]
# [https://github.com/maxlath/wikidata-sdk wikidata-sdk]
# Wikidata API. Заявления у Q915: [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в JSON] или [https://www.wikidata.org/w/api.php?action=wbgetentities&format=xml&ids=Q915 в XML]
# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://www.wikidata.org/wiki/Help:Contents/ru Справочный портал Wikidata]
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-27T10:56:26Z

D1g: /* Wikidata */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL — это язык запросов к данным, основанных на модели "субъект-предикат-объект" (примечание: "объект" часто заменяется на "значение", особенно в случае количественных предикатов) (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL-клиентов. Ключевая особенность Wikidata — это общедоступная и публичная точка доступа SPARQL, включающая в том числе простой [https://query.wikidata.org веб-интерфейс].

=== query.wikidata.org ===

У этого сервиса есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV — хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==

Для помощи по терминологии и модели Wikidata можно посмотреть сюда: [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]. Структуру ''элемента'' (item) и ''свойства'' (property) можно найти на англоязычной странице [https://www.mediawiki.org/wiki/Wikibase/DataModel/Primer Wikibase/DataModel/Primer].
* ''Отсутствующие значения'' эквивалентны тегам ключ=no из OpenStreetMap - описаны в секции ''Заявления и утверждения'' на странице ''Викиданные:Глоссарий''

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень свойств: [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]

Отчёт количества использований каждого свойства - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень: [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]


: Принадлежность стране - https://www.wikidata.org/wiki/Property:P17
: Принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
: Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)


: Численность населения - https://www.wikidata.org/wiki/Property:P1082


: ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
: Столица - https://www.wikidata.org/wiki/Property:P36
: Город-побратим - https://www.wikidata.org/wiki/Property:P190


: Относительная высота https://www.wikidata.org/wiki/Property:P2660
: Официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны [https://www.wikidata.org/wiki/Help:Qualifiers/ru квалификаторы] (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их [https://www.wikidata.org/wiki/Help:Ranking/ru ранги].

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение. Часть языка на обновление, добавление и удаление данных это [https://www.w3.org/TR/2013/REC-sparql11-update-20130321/ SPARQL 1.1 Update], в данной статье не рассматривалась.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://www.npmjs.com/package/wikidata-cli wikidata-cli]
# [https://github.com/maxlath/wikidata-sdk wikidata-sdk]
# Wikidata API. Заявления у Q915: [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в JSON] или [https://www.wikidata.org/w/api.php?action=wbgetentities&format=xml&ids=Q915 в XML]
# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://www.wikidata.org/wiki/Help:Contents/ru Справочный портал Wikidata]
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-27T10:42:56Z

D1g: упомянем "Отсутствующие значения"

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL — это язык запросов к данным, основанных на модели "субъект-предикат-объект" (примечание: "объект" часто заменяется на "значение", особенно в случае количественных предикатов) (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL-клиентов. Ключевая особенность Wikidata — это общедоступная и публичная точка доступа SPARQL, включающая в том числе простой [https://query.wikidata.org веб-интерфейс].

=== query.wikidata.org ===

У этого сервиса есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV — хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==

Для помощи по терминологии и модели Wikidata можно посмотреть сюда: [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий].
* ''Отсутствующие значения'' эквивалентны тегам ключ=no из OpenStreetMap - описаны в секции ''Заявления и утверждения'' на странице ''Викиданные:Глоссарий''

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень свойств: [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]

Отчёт количества использований каждого свойства - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень: [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]


: Принадлежность стране - https://www.wikidata.org/wiki/Property:P17
: Принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
: Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)


: Численность населения - https://www.wikidata.org/wiki/Property:P1082


: ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
: Столица - https://www.wikidata.org/wiki/Property:P36
: Город-побратим - https://www.wikidata.org/wiki/Property:P190


: Относительная высота https://www.wikidata.org/wiki/Property:P2660
: Официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны [https://www.wikidata.org/wiki/Help:Qualifiers/ru квалификаторы] (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их [https://www.wikidata.org/wiki/Help:Ranking/ru ранги].

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение. Часть языка на обновление, добавление и удаление данных это [https://www.w3.org/TR/2013/REC-sparql11-update-20130321/ SPARQL 1.1 Update], в данной статье не рассматривалась.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://www.npmjs.com/package/wikidata-cli wikidata-cli]
# [https://github.com/maxlath/wikidata-sdk wikidata-sdk]
# Wikidata API. Заявления у Q915: [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в JSON] или [https://www.wikidata.org/w/api.php?action=wbgetentities&format=xml&ids=Q915 в XML]
# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://www.wikidata.org/wiki/Help:Contents/ru Справочный портал Wikidata]
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-27T10:23:19Z

D1g: отражаю плавающую терминологию value/object: Wikidata_query_service/User_Manual использовал "Basics - Understanding SPO (Subject, Predicate, Object) also known as a Semantic Triple"

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL — это язык запросов к данным, основанных на модели "субъект-предикат-объект" (примечание: "объект" часто заменяется на "значение", особенно в случае количественных предикатов) (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL-клиентов. Ключевая особенность Wikidata — это общедоступная и публичная точка доступа SPARQL, включающая в том числе простой [https://query.wikidata.org веб-интерфейс].

=== query.wikidata.org ===

У этого сервиса есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV — хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==

Для помощи по терминологии и модели Wikidata можно посмотреть сюда: [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень свойств: [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]

Отчёт количества использований каждого свойства - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень: [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]


: Принадлежность стране - https://www.wikidata.org/wiki/Property:P17
: Принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
: Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)


: Численность населения - https://www.wikidata.org/wiki/Property:P1082


: ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
: Столица - https://www.wikidata.org/wiki/Property:P36
: Город-побратим - https://www.wikidata.org/wiki/Property:P190


: Относительная высота https://www.wikidata.org/wiki/Property:P2660
: Официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны [https://www.wikidata.org/wiki/Help:Qualifiers/ru квалификаторы] (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их [https://www.wikidata.org/wiki/Help:Ranking/ru ранги].

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение. Часть языка на обновление, добавление и удаление данных это [https://www.w3.org/TR/2013/REC-sparql11-update-20130321/ SPARQL 1.1 Update], в данной статье не рассматривалась.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://www.npmjs.com/package/wikidata-cli wikidata-cli]
# [https://github.com/maxlath/wikidata-sdk wikidata-sdk]
# Wikidata API. Заявления у Q915: [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в JSON] или [https://www.wikidata.org/w/api.php?action=wbgetentities&format=xml&ids=Q915 в XML]
# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://www.wikidata.org/wiki/Help:Contents/ru Справочный портал Wikidata]
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-26T12:17:25Z

D1g: всё объяснено в https://www.w3.org/TR/sparql11-query/#inline-data

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL — это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL-клиентов. Ключевая особенность Wikidata — это общедоступная и публичная точка доступа SPARQL, включающая в том числе простой [https://query.wikidata.org веб-интерфейс].

=== query.wikidata.org ===

У этого сервиса есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV — хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==

Для помощи по терминологии и модели Wikidata можно посмотреть сюда: [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень свойств: [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]

Отчёт количества использований каждого свойства - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень: [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]


: Принадлежность стране - https://www.wikidata.org/wiki/Property:P17
: Принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
: Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)


: Численность населения - https://www.wikidata.org/wiki/Property:P1082


: ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
: Столица - https://www.wikidata.org/wiki/Property:P36
: Город-побратим - https://www.wikidata.org/wiki/Property:P190


: Относительная высота https://www.wikidata.org/wiki/Property:P2660
: Официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны [https://www.wikidata.org/wiki/Help:Qualifiers/ru квалификаторы] (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их [https://www.wikidata.org/wiki/Help:Ranking/ru ранги].

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение. Часть языка на обновление, добавление и удаление данных это [https://www.w3.org/TR/2013/REC-sparql11-update-20130321/ SPARQL 1.1 Update], в данной статье не рассматривалась.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://www.npmjs.com/package/wikidata-cli wikidata-cli]
# [https://github.com/maxlath/wikidata-sdk wikidata-sdk]
# Wikidata API. Заявления у Q915: [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в JSON] или [https://www.wikidata.org/w/api.php?action=wbgetentities&format=xml&ids=Q915 в XML]
# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://www.wikidata.org/wiki/Help:Contents/ru Справочный портал Wikidata]
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-26T11:58:08Z

D1g: /* Wikidata */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL — это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL-клиентов. Ключевая особенность Wikidata — это общедоступная и публичная точка доступа SPARQL, включающая в том числе простой [https://query.wikidata.org веб-интерфейс].

=== query.wikidata.org ===

У этого сервиса есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV — хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==

Для помощи по терминологии и модели Wikidata можно посмотреть сюда: [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень свойств: [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]

Отчёт количества использований каждого свойства - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень: [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]


: Принадлежность стране - https://www.wikidata.org/wiki/Property:P17
: Принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
: Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)


: Численность населения - https://www.wikidata.org/wiki/Property:P1082


: ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
: Столица - https://www.wikidata.org/wiki/Property:P36
: Город-побратим - https://www.wikidata.org/wiki/Property:P190


: Относительная высота https://www.wikidata.org/wiki/Property:P2660
: Официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны [https://www.wikidata.org/wiki/Help:Qualifiers/ru квалификаторы] (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их [https://www.wikidata.org/wiki/Help:Ranking/ru ранги].

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение. Часть языка на обновление, добавление и удаление данных это [https://www.w3.org/TR/2013/REC-sparql11-update-20130321/ SPARQL 1.1 Update], в данной статье не рассматривалась.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://www.npmjs.com/package/wikidata-cli wikidata-cli]
# [https://github.com/maxlath/wikidata-sdk wikidata-sdk]
# Wikidata API. Заявления у Q915: [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в JSON] или [https://www.wikidata.org/w/api.php?action=wbgetentities&format=xml&ids=Q915 в XML]
# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://www.wikidata.org/wiki/Help:Contents/ru Справочный портал Wikidata]
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-26T10:26:13Z

D1g: я понимаю что в отчёте данные по использованию каждого свойства, а не по объектам

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL — это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL-клиентов. Ключевая особенность Wikidata — это общедоступная и публичная точка доступа SPARQL, включающая в том числе простой [https://query.wikidata.org веб-интерфейс].

=== query.wikidata.org ===

У этого сервиса есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV — хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==

Для помощи по терминологии и модели Wikidata можно посмотреть сюда: https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень свойств: [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]

Отчёт количества использований каждого свойства - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень: [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]


: Принадлежность стране - https://www.wikidata.org/wiki/Property:P17
: Принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
: Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)


: Численность населения - https://www.wikidata.org/wiki/Property:P1082


: ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
: Столица - https://www.wikidata.org/wiki/Property:P36
: Город-побратим - https://www.wikidata.org/wiki/Property:P190


: Относительная высота https://www.wikidata.org/wiki/Property:P2660
: Официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны [https://www.wikidata.org/wiki/Help:Qualifiers/ru квалификаторы] (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их [https://www.wikidata.org/wiki/Help:Ranking/ru ранги].

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение. Часть языка на обновление, добавление и удаление данных это [https://www.w3.org/TR/2013/REC-sparql11-update-20130321/ SPARQL 1.1 Update], в данной статье не рассматривалась.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://www.npmjs.com/package/wikidata-cli wikidata-cli]
# [https://github.com/maxlath/wikidata-sdk wikidata-sdk]
# Wikidata API. Заявления у Q915: [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в JSON] или [https://www.wikidata.org/w/api.php?action=wbgetentities&format=xml&ids=Q915 в XML]
# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://www.wikidata.org/wiki/Help:Contents/ru Справочный портал Wikidata]
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-26T10:06:04Z

D1g: спрятал от читателей разбивку по количеству объектов (неточная и будет устаревать)

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL — это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL-клиентов. Ключевая особенность Wikidata — это общедоступная и публичная точка доступа SPARQL, включающая в том числе простой [https://query.wikidata.org веб-интерфейс].

=== query.wikidata.org ===

У этого сервиса есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV — хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==

Для помощи по терминологии и модели Wikidata можно посмотреть сюда: https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень свойств: [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]

Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень: [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]


: Принадлежность стране - https://www.wikidata.org/wiki/Property:P17
: Принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
: Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)


: Численность населения - https://www.wikidata.org/wiki/Property:P1082


: ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
: Столица - https://www.wikidata.org/wiki/Property:P36
: Город-побратим - https://www.wikidata.org/wiki/Property:P190


: Относительная высота https://www.wikidata.org/wiki/Property:P2660
: Официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны [https://www.wikidata.org/wiki/Help:Qualifiers/ru квалификаторы] (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их [https://www.wikidata.org/wiki/Help:Ranking/ru ранги].

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение. Часть языка на обновление, добавление и удаление данных это [https://www.w3.org/TR/2013/REC-sparql11-update-20130321/ SPARQL 1.1 Update], в данной статье не рассматривалась.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://www.npmjs.com/package/wikidata-cli wikidata-cli]
# [https://github.com/maxlath/wikidata-sdk wikidata-sdk]
# Wikidata API. Заявления у Q915: [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в JSON] или [https://www.wikidata.org/w/api.php?action=wbgetentities&format=xml&ids=Q915 в XML]
# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://www.wikidata.org/wiki/Help:Contents/ru Справочный портал Wikidata]
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T20:01:49Z

D1g: /* Wikidata префиксы */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]. 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны [https://www.wikidata.org/wiki/Help:Qualifiers/ru квалификаторы] (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их [https://www.wikidata.org/wiki/Help:Ranking/ru ранги].

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение. Часть языка на обновление, добавление и удаление данных это [https://www.w3.org/TR/2013/REC-sparql11-update-20130321/ SPARQL 1.1 Update], в данной статье не рассматривалась.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://www.npmjs.com/package/wikidata-cli wikidata-cli]
# [https://github.com/maxlath/wikidata-sdk wikidata-sdk]
# Wikidata API. Заявления у Q915: [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в JSON] или [https://www.wikidata.org/w/api.php?action=wbgetentities&format=xml&ids=Q915 в XML]
# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://www.wikidata.org/wiki/Help:Contents/ru Справочный портал Wikidata]
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T19:37:55Z

D1g: /* Альтернативы SPARQL у Wikidata */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]. 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их ранги.

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение. Часть языка на обновление, добавление и удаление данных это [https://www.w3.org/TR/2013/REC-sparql11-update-20130321/ SPARQL 1.1 Update], в данной статье не рассматривалась.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://www.npmjs.com/package/wikidata-cli wikidata-cli]
# [https://github.com/maxlath/wikidata-sdk wikidata-sdk]
# Wikidata API. Заявления у Q915: [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в JSON] или [https://www.wikidata.org/w/api.php?action=wbgetentities&format=xml&ids=Q915 в XML]
# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://www.wikidata.org/wiki/Help:Contents/ru Справочный портал Wikidata]
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T19:36:43Z

D1g: /* Альтернативы SPARQL у Wikidata */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]. 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их ранги.

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение. Часть языка на обновление, добавление и удаление данных это [https://www.w3.org/TR/2013/REC-sparql11-update-20130321/ SPARQL 1.1 Update], в данной статье не рассматривалась.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://www.npmjs.com/package/wikidata-cli wikidata-cli]
# [https://github.com/maxlath/wikidata-sdk wikidata-sdk]
# Wikidata API. Заявления у Q915: [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в JSON] или [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в XML]
# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://www.wikidata.org/wiki/Help:Contents/ru Справочный портал Wikidata]
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T19:34:55Z

D1g: /* Альтернативы SPARQL у Wikidata */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]. 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их ранги.

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://www.npmjs.com/package/wikidata-cli wikidata-cli]
# [https://github.com/maxlath/wikidata-sdk wikidata-sdk]
# Wikidata API. Заявления у Q915: [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в JSON] или [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в XML]
# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://www.wikidata.org/wiki/Help:Contents/ru Справочный портал Wikidata]
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T19:33:01Z

D1g: /* Альтернативы SPARQL у Wikidata */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]. 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их ранги.

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://www.npmjs.com/package/wikidata-cli wikidata-cli]
# [https://github.com/maxlath/wikidata-sdk wikidata-sdk]
# [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 Заявления у Q915 в JSON] или [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в XML]
# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://www.wikidata.org/wiki/Help:Contents/ru Справочный портал Wikidata]
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T19:32:12Z

D1g: /* Альтернативы SPARQL у Wikidata */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]. 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их ранги.

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://github.com/maxlath/wikidata-sdk wikidata-sdk]
# [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 Заявления у Q915 в JSON] или [https://www.wikidata.org/w/api.php?action=wbgetentities&format=json&ids=Q915 в XML]
# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://www.wikidata.org/wiki/Help:Contents/ru Справочный портал Wikidata]
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T19:28:16Z

D1g: /* Внешние ссылки */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]. 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их ранги.

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://www.wikidata.org/wiki/Help:Contents/ru Справочный портал Wikidata]
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T19:21:20Z

D1g:

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-[https://www.wikidata.org/wiki/Help:Statements/ru свойство-значения], item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]. 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Wikidata префиксы ==
[https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format#Full_list_of_prefixes Полный список префиксов].

=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

=== Ранг (rank) ===

Показать все страны относящиеся у Перми и их ранги.

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FdoLabel%20%3Fdo%20%3Frank%20WHERE%20%7B%0A%23%20%20VALUES%20%3Frank%20%7B%20wikibase%3ADeprecatedRank%20wikibase%3ANormalRank%20wikibase%3APreferredRank%20%7D%0A%20%20%20%20wd%3AQ915%20%20%20%20%20%20%20p%3AP17%20%3Fvalue.%0A%20%20%20%20%3Fvalue%20%20%20%20%20%20%20ps%3AP17%20%3Fdo%20.%0A%20%20%20%20%3Fvalue%20wikibase%3Arank%20%3Frank%20.%0A%20%20%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%0A%20%20%20%20%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%20%20%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?doLabel ?do ?rank WHERE {
# VALUES ?rank { wikibase:DeprecatedRank wikibase:NormalRank wikibase:PreferredRank }
wd:Q915 p:P17 ?value.
?value ps:P17 ?do .
?value wikibase:rank ?rank .

SERVICE wikibase:label {
bd:serviceParam wikibase:language "ru" .
}
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

Более сложные примеры: https://bitbucket.org/sulab/wikidatasparqlexamples

== Альтернативы SPARQL у Wikidata ==

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа на запись (ботом или массово) вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

# [https://github.com/jcreus/pywikidata pywikidata] - проект для доступа и на чтение и запись к элементам Wikidata. [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata].

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T14:18:32Z

D1g: /* Wikidata */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties]. 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Wikidata префиксы ==
=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T13:28:44Z

D1g: /* Квалификаторы (qualifier) */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature] 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Wikidata префиксы ==
=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 (момент времени) и P459 (метод определения).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T13:27:33Z

D1g: /* Квалификаторы (qualifier) */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature] 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Wikidata префиксы ==
=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 (момент времени) и P459 (метод определения).

У элемента Пермь, у всех значений свойства P1082 выбрем 2 квалификатора (P585, P459).

* 2 строка: будут выбраны все 43 высказывания у элемента Q915 и свойства P1082
* 3 строка: выбираем их значения
* 4-5 строка: выбираем нужные квалификаторы

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T13:06:51Z

D1g: /* Элементы SPARQL запросов */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature] 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Wikidata префиксы ==
=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 (момент времени) и P459 (метод определения).

У элемента Пермь, у всех значений свойства P1082 выбрем 2 квалификатора (P585, P459).

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

== Элементы SPARQL запросов ==
Т.к. исходные данные представляют граф (элемент-свойство-значения) и его расширения (в Wikidata: квалификаторы, ссылки и др.), то большинство запросов SPARQL строятся вокруг поиска ''паттернов в графе''<ref>https://www.w3.org/TR/sparql11-query/#GraphPattern</ref>, зачастую нескольких.

=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T12:52:33Z

D1g: /* Квалификаторы (qualifier) */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature] 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Wikidata префиксы ==
=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 (момент времени) и P459 (метод определения).

У элемента Пермь, у всех значений свойства P1082 выбрем 2 квалификатора (P585, P459).

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T12:51:24Z

D1g: /* Квалификаторы (qualifier) */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature] 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Wikidata префиксы ==
=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 (момент времени) и P459 (метод определения).

Выбрем 2 квалификатора (P585, P459) всех значений свойства P1082 у элемента Пермь.

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T12:49:11Z

D1g: /* Квалификаторы (qualifier) */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature] 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Wikidata префиксы ==
=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 (момент времени) и P459 (метод определения). Выбрать только их, зная item (Пермь).

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T12:46:09Z

D1g: /* Wikidata Blazegraph */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature] 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Wikidata префиксы ==
=== Квалификаторы (qualifier) ===

Если открыть [https://www.wikidata.org/wiki/Q915 Пермь], то там указанно множество значений у численности населения (P1082), причём все значения - одного ранга (нормальный).

У некоторых из значений численности населения указаны квалификаторы (qualifier) P585 и P459. Давайте попробуем выбрать только их, зная item (Пермь).

[https://query.wikidata.org/#SELECT%20%3Fvalue%20%3Fqualifier%20%3Fwikidataid%20WHERE%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wd%3AQ915%20p%3AP1082%20%3Fstatements%20%20%20%20%20%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20ps%3AP1082%20%3Fvalue%20%20%20%20%20%20.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Fstatements%20pq%3AP585%20%20%3Fqualifier%20%20.%0A%20OPTIONAL%20%7B%20%3Fstatements%20pq%3AP459%20%20%3Fwikidataid%20.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?val ?qualifier ?wikidataid WHERE {
wd:Q915 p:P1082 ?statements .
?statements ps:P1082 ?val .
?statements pq:P585 ?qualifier .
OPTIONAL { ?statements pq:P459 ?wikidataid . }
}
</syntaxhighlight>

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T08:31:48Z

D1g: /* Географические свойства в Wikidata */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature] 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

Более миллиона:
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* принадлежность админ делению - https://www.wikidata.org/wiki/Property:P131
* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)

Больше 100 тысяч, менее миллиона:
* численность населения - https://www.wikidata.org/wiki/Property:P1082

Более 10 тысяч, менее 100 тысяч:
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* столица - https://www.wikidata.org/wiki/Property:P36
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие, менее 10000:
* относительная высота https://www.wikidata.org/wiki/Property:P2660
* официальный язык - https://www.wikidata.org/wiki/Property:P37

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T08:22:32Z

D1g: /* Географические свойства в Wikidata */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature] 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Редкие (менее 8000):
* относительная высота https://www.wikidata.org/wiki/Property:P2660

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T08:18:04Z

D1g: Портал «Герои страны» ID

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature] 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Российские свойства в Wikidata ===
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764
* Портал «Герои страны» ID https://www.wikidata.org/wiki/Property:P2943

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T08:03:01Z

D1g: /* Географические свойства в Wikidata */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature] 
Отчёт количества объектов по каждому свойству - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Российские:
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T08:01:33Z

D1g: /* Географические свойства в Wikidata */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].
Отчёт по каждому свойству и количеству объектов - [https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all Wikidata:Database_reports/List_of_properties/all]

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Российские:
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-10T08:00:34Z

D1g: ОКАТО ОКТМО

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

Российские:
* код ОКАТО https://www.wikidata.org/wiki/Property:P721
* код ОКТМО https://www.wikidata.org/wiki/Property:P764

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-09T14:11:41Z

D1g: /* Города в России с телефонными кодами */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?countrydialingcode ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-09T14:10:05Z

D1g: /* Города в России с телефонными кодами */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/qdwezf5 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-09T14:09:07Z

D1g: /* Города в России с телефонными кодами */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/nnvo2kw Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
wd:Q159 wdt:P474 ?countrydialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-09T11:59:53Z

D1g:

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры скриптов миграции данных из Википедии и Wikidata]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-09T11:50:24Z

D1g:

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.

Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры типовых скриптов]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-09T11:47:32Z

D1g:

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.
Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры типовых скриптов]. Для доступа на запись вам необходимо ознакомиться с короткой [https://www.wikidata.org/wiki/Wikidata:Bots процедурой регистрации ботов] и [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot отправить заявку участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-09T11:43:14Z

D1g:

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.
Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры типовых скриптов]. Для доступа на запись вам необходимо [https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions/Bot пройти процедуру регистрации участника-ботовода].

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-09T11:42:08Z

D1g:

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

Нужно отметить что SPARQL подразумевает только запросы на чтение.
Для доступа и на чтение и запись к элементам Wikidata есть проект [https://github.com/jcreus/pywikidata pywikidata], [https://www.wikidata.org/wiki/Wikidata:Creating_a_bot руководство по созданию ботов] и [https://www.mediawiki.org/wiki/Manual:Pywikibot/Scripts#Wikidata примеры типовых скриптов]. Для доступа на запись вам необходимо пройти процедуру регистрации участника-ботовода.

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-09T11:27:02Z

D1g: /* Города примерно с таким же населением как и Пермь */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций на числах'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-09T11:26:11Z

D1g: /* Города примерно с таким же населением как и Пермь */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
Города, отличающиеся менее чем на 1000 населения от [https://www.wikidata.org/wiki/Q915 Перми].

* 6 строка: abs<ref>https://www.w3.org/TR/sparql11-query/#func-abs</ref> это одна из множества возможных ''функций'' в ''тестовых выражениях'' и ''фильтрах''<ref>https://www.w3.org/TR/sparql11-query/#expressions</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-09T11:15:39Z

D1g: /* Города примерно с таким же населением как и Пермь */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
± 1000 населения

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20.%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 .
?city wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-09T10:48:31Z

D1g: /* Внешние ссылки */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
± 1000 населения

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20%3B%0A%20%20%20%20%20%20%20%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 ;
wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_10/SPARQL_Tutorials_Part_10.html 10] и [https://virtuoso.openlinksw.com/tutorials/sparql/SPARQL_Tutorials_Part_11/SPARQL_Tutorials_Part_11.html 11] покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-09T10:39:48Z

D1g:

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
± 1000 населения

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20%3B%0A%20%20%20%20%20%20%20%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 ;
wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Источники ==

<references/>

== Внешние ссылки ==
* [https://virtuoso.openlinksw.com/tutorials/sparql/ Обучающие материалы OpenLink Software о SPARQL] - части 10, 11 и 12 покрывают основы GeoSPARQL

SPARQL на примерах Wikidata

2016-11-09T10:28:47Z

D1g: /* Wikidata */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Wikidata Blazegraph ==

blazegraph - расширения от Wikidata к [https://www.blazegraph.com/ Blazegraph] чтобы сделать запросы к Wikibase более эффективными. Лицензия GPLv2.

* функция [https://github.com/wikimedia/wikidata-query-rdf/blob/master/blazegraph/src/main/java/org/wikidata/query/rdf/blazegraph/constraints/WikibaseDistanceBOp.java geof:distance] возвращает минимальное расстояние между двумя точками.

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
± 1000 населения

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20%3B%0A%20%20%20%20%20%20%20%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 ;
wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Внешние ссылки ==

<references/>

SPARQL на примерах Wikidata

2016-11-09T08:31:37Z

D1g: /* Города, которые соединяется с Транссибирской магистралью или Трансмонгольской железной дорогой */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
± 1000 населения

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20%3B%0A%20%20%20%20%20%20%20%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 ;
wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяются с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Внешние ссылки ==

<references/>

SPARQL на примерах Wikidata

2016-11-09T07:57:01Z

D1g: Wikidata терминология: элемент, свойства и значения

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют географические свойства.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Свойства Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические свойства в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические элементы в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
± 1000 населения

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20%3B%0A%20%20%20%20%20%20%20%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 ;
wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяется с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Внешние ссылки ==

<references/>

SPARQL на примерах Wikidata

2016-11-09T07:49:46Z

D1g: Wikidata терминология отличается от классической, отразил

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение" (в терминах Wikidata элемент-свойство-значения, item-property-values). Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют предикаты (свойства объектов) относящиеся к географическим свойствам.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Предикаты Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические предикаты в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические объекты в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
± 1000 населения

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20%3B%0A%20%20%20%20%20%20%20%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 ;
wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяется с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Внешние ссылки ==

<references/>

SPARQL на примерах Wikidata

2016-11-09T07:44:16Z

D1g: /* Wikidata */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение". Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют предикаты (свойства объектов) относящиеся к географическим свойствам.

Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary/ru Викиданные:Глоссарий]

[https://commons.wikimedia.org/wiki/File:Wikidata_statement_ru.svg Диаграмма русскоязычной терминологии утверждений в Викиданных]

=== Предикаты Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические предикаты в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические объекты в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
± 1000 населения

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20%3B%0A%20%20%20%20%20%20%20%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 ;
wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяется с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Внешние ссылки ==

<references/>

SPARQL на примерах Wikidata

2016-11-08T20:38:45Z

D1g: /* Объекты-побратимы всех российских объектов и их страны */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение". Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют предикаты (свойства объектов) относящиеся к географическим свойствам. Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary Wikidata:Glossary]

=== Предикаты Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические предикаты в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические объекты в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: [https://www.wikidata.org/wiki/Q2366010 Академический район] будет выбран как находящийся в России.
* Строка 4: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) будет выбран как побратим Академического района.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
± 1000 населения

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20%3B%0A%20%20%20%20%20%20%20%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 ;
wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяется с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Внешние ссылки ==

<references/>

SPARQL на примерах Wikidata

2016-11-08T20:01:06Z

D1g: /* Wikidata */

{{Статья|Черновик|SPARQL-with-Wikidata}}

{{Аннотация|SPARQL это язык запросов к данным, основанных на модели "субъект-предикат-значение". Wikidata - это открытый проект, потенциально интересный в гео-проектах и доступный в виде публичной SPARQL-точки}}

== Инструментарий запросов ==
Запросы к Wikidata можно составлять с помощью различных SPARQL клиентов, но ключевая особенность Wikidata это общедоступная и публичная точка доступа SPARQL. Более того, был написан простой web интерфейс к ней.

=== query.wikidata.org ===

https://query.wikidata.org - веб-интерфейс.

У этого инструмента есть целое руководство на английском языке https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual и репозиторий для разработчиков https://github.com/wikimedia/wikidata-query-rdf.

Обратите внимание, что результаты запросов можно скачать в формате CSV - хорошее подспорье для более серьёзной работы с помощью других инструментов.

В таблице результатов (в нижней части экрана) можно отфильтровать результаты, используя поиск по всем полям сразу (например, можно попробовать найти "Moscow").

== Wikidata ==
В рамках gis-lab в первую очередь интересуют предикаты (свойства объектов) относящиеся к географическим свойствам. Для помощи по терминологии и модели Wikidata можно подсмотреть [https://www.wikidata.org/wiki/Wikidata:Glossary Wikidata:Glossary]

=== Предикаты Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Wikidata:List_of_properties Wikidata:List_of_properties].

* дата прекращения существования - https://www.wikidata.org/wiki/Property:P576
* дата окончания - https://www.wikidata.org/wiki/Property:P582

=== Географические предикаты в Wikidata ===
Полный перечень - [https://www.wikidata.org/wiki/Special:MyLanguage/Wikidata:List_of_properties/Geographical_feature Wikidata:List_of_properties/Geographical_feature].

* Координаты (точка) - https://www.wikidata.org/wiki/Property:P625 (при выборке этого свойства появляется возможность представить результаты на карте в нижней части экрана)
* ID отношения из OpenStreetMap - https://www.wikidata.org/wiki/Property:P402
* принадлежность стране - https://www.wikidata.org/wiki/Property:P17
* столица - https://www.wikidata.org/wiki/Property:P36
* численность населения - https://www.wikidata.org/wiki/Property:P1082
* официальный язык - https://www.wikidata.org/wiki/Property:P37
* город-побратим - https://www.wikidata.org/wiki/Property:P190

=== Географические объекты в Wikidata ===
* континент - https://www.wikidata.org/wiki/Q5107
* суверенное государство - https://www.wikidata.org/wiki/Q3624078
* историческое государство - https://www.wikidata.org/wiki/Q3024240
* город - https://www.wikidata.org/wiki/Q515

* северный полюс - https://www.wikidata.org/wiki/Q934
* южный полюс - https://www.wikidata.org/wiki/Q933

* гора - https://www.wikidata.org/wiki/Q8502

== Элементы SPARQL запросов ==
=== Города в России с телефонными кодами ===

Самый простой пример.
* 1 строка: SELECT запросы<ref>https://www.w3.org/TR/sparql11-query/#QueryForms</ref> выбирают данные или их часть
* 2 строка: выбираем субъекты (?item) у которых явно указано, что они в стране - ''Россия'' (Q159)
* 3 строка: выбираем субъекты (?item) у которых явно указано, что они суть - ''города'' (Q515)
* 4-6 строка: т.к. значения предиката "ID отношения из OpenStreetMap" P402 могут быть просто не заполнены у отдельных объектов, такие объекты будут исключены из результатов. Это не совсем интуитивно понятно для людей, привыкших к SQL-запросам (где NULL-значения возвращаются в большинстве случаев). В SPARQL ''необязательные значения''<ref>https://www.w3.org/TR/sparql11-query/#optionals</ref> нужно включать в результаты вручную.
* 7 строка: выбираем все возможные субъекты и объекты у предиката P473 (код города). Примечание о части "?localdialingcode": в Wikidata у [https://www.wikidata.org/wiki/Q649 Москвы] указано сразу два объекта "495" и "499" у предиката P473, поэтому вернутся 2 результата, а не один. В SQL пришлось бы писать JOIN на ровном месте, а в SPARQL его нет вообще.

[http://tinyurl.com/hygo6k7 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT ?item ?relationid ?itemLabel ?localdialingcode WHERE {
?item wdt:P17 wd:Q159.
?item wdt:P31 wd:Q515.
OPTIONAL {
?item wdt:P402 ?relationid.
}
?item wdt:P473 ?localdialingcode.
SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
</syntaxhighlight>

=== Объекты-побратимы всех российских объектов и их страны ===
Этот пример призван показать всю простоту JOIN-ов в SPARQL.

Для подходящего ''первичного ключа'' (в реляционных терминах) было достаточно найти только сам предикат (город-побратим).

Более того, в отличие от реляционных подходов, мы избавлены от вопросов: "в какой именно таблице хранятся города", "в какой таблице хранится информация о побратимстве". Сложность отличий нормальных форм не сбрасывается сразу на пользователя на уровне языка запросов. Необходимость в тщательном дизайне баз данных (таблиц и отношений) тоже уменьшается (по сравнению с табличным подходом и SQL).

Составители запросов SPARQL просто исследуют данные запросами, а не постоянно думают где именно эти данные расположены и как именно их будут связывать.

* Строка 2: обратите внимание на данные в Wikidata: [https://www.wikidata.org/wiki/Q33349 Мелитополь] (Украина) указан как побратим московского района [https://www.wikidata.org/wiki/Q2366010 Академический район]. Академический район будет выбран как находящийся в России.
* Строка 7: исключаем исторические страны у городов-побратимов в результатах

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3FwikidataCity%20%3FrussianPlace%20%3Fcountry%20WHERE%20%7B%0A%20%20%3FrussianPlace%20wdt%3AP17%20wd%3AQ159%20.%0A%20%20%0A%20%20%3FrussianPlace%20wdt%3AP190%20%3FwikidataCity%20.%0A%20%20%3FwikidataCity%20wdt%3AP17%20%3Fcountry%20.%0A%20%20%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%7D%0AORDER%20BY%20%3FrussianPlace%20%3Fcountry Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?wikidataCity ?russianPlace ?country WHERE {
?russianPlace wdt:P17 wd:Q159 .

?russianPlace wdt:P190 ?wikidataCity .
?wikidataCity wdt:P17 ?country .

FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
}
ORDER BY ?russianPlace ?country
</syntaxhighlight>

=== Существующие страны и их столицы ===
В отличие от OpenStreetMap, Wikidata не ограничен "существующими прямо сейчас" объектами. Это можно использовать как хороший пример исключения из результатов.
* 5 строка: исключаем<ref>https://www.w3.org/TR/sparql11-query/#negation</ref> те страны, которые - исторические
* 10 строка: результаты упорядочены<ref>https://www.w3.org/TR/sparql11-query/#solutionModifiers</ref> по названиям на русском или английском

[https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%0AWHERE%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ3624078%20.%0A%20%20FILTER%20NOT%20EXISTS%20%7B%3Fcountry%20wdt%3AP31%20wd%3AQ3024240%7D%0A%20%20OPTIONAL%20%7B%20%3Fcountry%20wdt%3AP36%20%3Fcapital%20%7D%20.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%2C%20%22en%22%20%7D%0A%7D%0AORDER%20BY%20%3FcountryLabel Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel
WHERE
{
?country wdt:P31 wd:Q3624078 .
FILTER NOT EXISTS {?country wdt:P31 wd:Q3024240}
OPTIONAL { ?country wdt:P36 ?capital } .

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru", "en" }
}
ORDER BY ?countryLabel
</syntaxhighlight>

=== Города примерно с таким же населением как и Пермь ===
± 1000 населения

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulatie2%20%3Fcoor%20WHERE%20%7B%0A%20%20wd%3AQ915%20wdt%3AP1082%20%3Fpopulatie%20.%0A%20%20%3Fcity%20wdt%3AP1082%20%3Fpopulatie2%20%3B%0A%20%20%20%20%20%20%20%20wdt%3AP625%20%3Fcoor%20.%0A%20%20FILTER%20%28abs%28%3Fpopulatie%20-%20%3Fpopulatie2%29%20%3C%201000%29%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?populatie2 ?coor WHERE {
wd:Q915 wdt:P1082 ?populatie .
?city wdt:P1082 ?populatie2 ;
wdt:P625 ?coor .
FILTER (abs(?populatie - ?populatie2) < 1000)
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
</syntaxhighlight>

=== Ранжирование городов по населению ===

* Строка 10-17: BIND конструкция<ref>https://www.w3.org/TR/sparql11-query/#assignment</ref> позволяет создать переменную и присвоить ей значение. В данном примере мы использовали другую переменную (?population) чтобы создать новую (?layer)
* Строка 11: первый из 5 вложенных в "хвостовую часть" IF(условие, значение при истине, значение при не истине)

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Flayer%20%3Fcoordinates%20WHERE%20%7B%0A%20%20%3Fcity%20wdt%3AP17%20wd%3AQ159.%0A%20%20%3Fcity%20wdt%3AP31%20wd%3AQ515.%0A%0A%20%20OPTIONAL%20%7B%20%3Fcity%20wdt%3AP1082%20%3Fpopulation.%20%7D%0A%20%20%0A%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates.%0A%20%20%0A%20%20BIND%28%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20500%2C%20%22500%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000%2C%20%2210K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%20100000%2C%20%22100K%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%201000000%2C%20%221M%22%2C%0A%20%20%20%20IF%28%3Fpopulation%20%3C%2010000000%2C%20%2210M%22%2C%0A%20%20%20%20%22%3E20M%22%29%29%29%29%29%0A%20%20%20%20AS%20%3Flayer%29.%0A%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22%20%7D%0A%7D%0AORDER%20BY%20%0ADESC%28%3Fpopulation%29 Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?city ?cityLabel ?population ?layer ?coordinates WHERE {
?city wdt:P17 wd:Q159.
?city wdt:P31 wd:Q515.

OPTIONAL { ?city wdt:P1082 ?population. }

?city wdt:P625 ?coordinates.

BIND(
IF(?population < 500, "500",
IF(?population < 10000, "10K",
IF(?population < 100000, "100K",
IF(?population < 1000000, "1M",
IF(?population < 10000000, "10M",
">20M")))))
AS ?layer).

SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en" }
}
ORDER BY
DESC(?population)
</syntaxhighlight>

=== Бывшие столицы государств ===

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcountry%20%3FcountryLabel%20%3Fcapital%20%3FcapitalLabel%20%3Fcoordinates%20%3Fended%0AWHERE%0A%7B%0A%20%20%3Fcountry%20p%3AP36%20%3Fstat.%0A%20%20%3Fstat%20ps%3AP36%20%3Fcapital.%0A%20%20%3Fcapital%20wdt%3AP625%20%3Fcoordinates.%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcountry%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fcapital%20wdt%3AP582%7Cwdt%3AP576%20%3Fended.%0A%20%20%7D%0A%20%20OPTIONAL%20%7B%0A%20%20%20%20%3Fstat%20pq%3AP582%20%3Fended.%0A%20%20%7D%0A%20%20FILTER%28BOUND%28%3Fended%29%29.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]
<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT DISTINCT ?country ?countryLabel ?capital ?capitalLabel ?coordinates ?ended
WHERE
{
?country p:P36 ?stat.
?stat ps:P36 ?capital.
?capital wdt:P625 ?coordinates.
OPTIONAL {
?country wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?capital wdt:P582|wdt:P576 ?ended.
}
OPTIONAL {
?stat pq:P582 ?ended.
}
FILTER(BOUND(?ended)).
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

=== Города, которые соединяется с Транссибирской магистралью или Трансмонгольской железной дорогой ===

* 5 строка: конструкция VALUES<ref>https://www.w3.org/TR/sparql11-query/#inline-data</ref> используется чтобы вручную указать значения у отдельных элементов<ref>http://www.snee.com/bobdc.blog/2012/09/sparql-11s-new-values-keyword.html</ref>

[https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fcity%20%3FcityLabel%20%3Fcoordinates%0AWHERE%0A%7B%0A%20%20%20VALUES%20%3Fhighway%20%7B%20wd%3AQ559037%20wd%3AQ58767%20%7D%20%0A%20%20%20%3Fhighway%20wdt%3AP2789%20%3Fcity%20.%0A%20%20%20%20%3Fcity%20wdt%3AP625%20%3Fcoordinates%20.%0A%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%2Cen%22.%20%7D%0A%7D Открыть на query.wikidata.org]

<syntaxhighlight lang="sql" line>
#defaultView:Map
SELECT ?city ?cityLabel ?coordinates
WHERE
{
VALUES ?highway { wd:Q559037 wd:Q58767 }
?highway wdt:P2789 ?city .
?city wdt:P625 ?coordinates .
SERVICE wikibase:label { bd:serviceParam wikibase:language "ru,en". }
}
</syntaxhighlight>

== Примеры запросов ==

Часть [https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service/queries/examples примеров]:

* [https://query.wikidata.org/#SELECT%20%3Fcontinent%20%3FcontinentLabel%0AWHERE%0A%7B%0A%20%20%3Fcontinent%20wdt%3AP31%20wd%3AQ5107.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D%0AORDER%20BY%20xsd%3Ainteger%28SUBSTR%28STR%28%3Fcontinent%29%2CSTRLEN%28%22http%3A%2F%2Fwww.wikidata.org%2Fentity%2FQ%22%29%2B1%29%29 Все континенты из Wikidata, отсортированные по убыванию их Wikidata идентификатора]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20%3Fplace%20%3FplaceLabel%20%3Flocation%20WHERE%20%7B%0A%20%20wd%3AQ933%20wdt%3AP625%20%3FsouthPole.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%20of%20south%20pole%0A%20%20%3Fplace%20wdt%3AP30%20wd%3AQ51%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20continent%3A%20antarctica%0A%20%20%20%20%20%20%20%20%20wdt%3AP625%20%3Flocation.%0A%20%20FILTER%28geof%3Adistance%28%3Flocation%2C%20%3FsouthPole%29%20%3E%203000%29.%20%23%20over%203000%3Fkm%20away%20from%20south%20pole%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22.%20%7D%0A%7D Объекты в более чем 3000 км от южного полюса, но всё ещё относящиеся к Антарктике]
* [https://query.wikidata.org/#SELECT%20DISTINCT%20%3FcountryLabel%20%3Fpopulation%0A%7B%0A%20%20%3Fcountry%20wdt%3AP31%20wd%3AQ6256%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20wdt%3AP1082%20%3Fpopulation%20.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AGROUP%20BY%20%3Fpopulation%20%3FcountryLabel%0AORDER%20BY%20DESC%28%3Fpopulation%29 Страны по убыванию населения]
* [https://query.wikidata.org/#%23defaultView%3AMap%0ASELECT%20DISTINCT%20%3Fcity%20%3FcityLabel%20%3Fpopulation%20%3Fcountry%20%3FcountryLabel%20%3Floc%20WHERE%20%7B%0A%09%7B%0A%09%09SELECT%20%28MAX%28%3Fpopulation%29%20AS%20%3Fpopulation%29%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%09%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%09%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%09%7D%0A%09%09GROUP%20BY%20%3Fcountry%0A%09%09ORDER%20BY%20DESC%28%3Fpopulation%29%0A%09%7D%0A%09%3Fcity%20wdt%3AP31%2Fwdt%3AP279%2a%20wd%3AQ515%20.%0A%09%3Fcity%20wdt%3AP1082%20%3Fpopulation%20.%0A%09%3Fcity%20wdt%3AP17%20%3Fcountry%20.%0A%09%3Fcity%20wdt%3AP625%20%3Floc%20.%0A%09SERVICE%20wikibase%3Alabel%20%7B%0A%09%09bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20.%0A%09%7D%0A%7D Самый населённый город в каждой стране]
* [https://query.wikidata.org/#SELECT%0A%09%3Fcountry%20%3FcountryLabel%0A%09%3FwikiPersons%0A%09%3Fpopulation%0A%09%28ROUND%28%3FwikiPersons%2F%3Fpopulation%2a1000000%29%20AS%20%3FwikiPersonsPerM%29%0AWHERE%0A%7B%0A%09%7B%20SELECT%20%3Fcountry%20%28count%28%2a%29%20as%20%3FwikiPersons%29%20WHERE%20%7B%0A%09%09%7BSELECT%20DISTINCT%20%3Fperson%20%3Fcountry%20WHERE%20%7B%0A%09%09%09%3Fcountry%20wdt%3AP31%20wd%3AQ185441%20.%0A%09%09%09%23%20BIND%28%20wd%3AQ30%20AS%20%3Fcountry%20%29%20%23%20use%20instead%20of%20previous%20line%20to%20check%20individual%20countries%0A%09%09%09%3Fperson%20wdt%3AP31%20wd%3AQ5%20.%0A%09%09%09%3Fperson%20wdt%3AP27%20%3Fcountry%20.%0A%09%09%09FILTER%20NOT%20EXISTS%7B%20%3Fperson%20wdt%3AP570%20%3Fdate%20%7D%20%23%20only%20count%20living%20people%0A%09%09%7D%20%7D%0A%09%7D%20GROUP%20BY%20%3Fcountry%20%20%7D%0A%09%3Fcountry%20wdt%3AP1082%20%3Fpopulation%0A%09SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22ru%22%20%7D%0A%7D%0AORDER%20BY%20DESC%28%3FwikiPersonsPerM%29 Количество записей о людях в Викиданных на каждый миллион населения в данной стране]

== Внешние ссылки ==

<references/>