Веб-ГИС (Компьютерра, 749, 2008)

Эта страница опубликована в основном списке статей сайта
по адресу http://gis-lab.info/qa/webgis.html

Исходный материал к статье в Компьютерру, 749.

Данная статья была опубликована в журнале "Компьютерра", 2008 г, номер 749, под названием "Веб-ГИС". Авторы: Дубинин М.Ю., Костикова А.М.

Опубликована версия статьи на момент передачи ее в редакцию "Компьютерры", поэтому ее содержимое может значительно отличаться от версии в журнале. Дополнений и обновлений в эту статью вносить не планируется. Авторы не гарантируют точность, современность и всеобъемлимость как всей статьи вцелом, так и любого его раздела.

1. Введение

В последние годы развитие интернет-технологий все в большей степени стало позволять пользователям Сети использовать новые средства доставки информации, в том числе и пространственной. В этой статье мы попробуем дать срез современных технологий используемых в веб-картографии, сделать небольшой экскурс в историю и оценить текущую ситуации с основными игроками, данными, перспективами технологии. Мы не ставим себе целью подробно описать все упоминаемые технологий, и заинтересованным читателям рекомендуем воспользоваться веб, особенно его англоязычной частью, для получения дополнительных данных.

2. Определение и задачи веб-картографии

Для начала, определимся с тем, о чем пойдет речь. Веб-картография это область компьютерных технологий связанная с доставкой пространственных данных конечному пользователю. Мы используем приставку веб для удобства, в качестве среды могут использоваться любые сети, не только интернет. Безусловно, веб-картография является одним из направлений геоинформационных технологий в целом. Как это часто бывает при переводе и адаптации нового термина, прямого аналога устоявшемуся в России словосочетанию "веб-гис" в англоязычных источниках найти не удастся и читатель гораздо чаще встретит такой термин как web mapping services (картографические веб-сервисы). Но далее по тексту, для краткости и во избежание недоразумений, мы будем использовать термин веб-картография, так же, упоминая «данные» мы будем иметь в виду пространственные данные, то есть данные включающие координатную составляющую, привязывающую их к определенному месту на нашей планете. Основными задачи веб-картографии являются:

• Визуализация существующей информации – пространственное представление информации
• Облегчение работы с пространственной информацией в веб, поиск, прокладка маршрутов и другие услуги основанные на местоположении объектов (LBS – location based services).

3. История веб-картографии

Несмотря на то, что для большинства пользователей Интернет «рождение» веб-картографии (да и в целом, широкое осознание возможностей пространственных технологий) напрямую ассоциируется с выходом на рынок продуктов компании Google в 2005, в реальности, картографические интернет-приложения появились значительно раньше. Фактически, датой рождения веб-картографии можно считать 1993, когда впервые был запущен веб-сервис Xerox PARC Map Viewer, позволявший пользователям в интерактивном режиме отправлять запросы из браузера к серверу и получать фрагменты карт в формате GIF. Именно это приложение и его функциональная концепция стала родоначальником большинства более поздних версий веб-гис.

На ранних этапах становления веб-картографии (до 1998 года) отличительной особенностью большинства сервисов была их локальность и узкая тематическая направленность, что серьезно ограничивало круг потенциальных пользователей таких сервисов. Один из первых решительных шагов по популяризации веб-гис был сделан в 1998 году в Великобритании, когда был запущен сайт (успешно работающий и до сих пор) www.streetmap.co.uk. Этот сервис, в отличие от своих предшественников, не был ориенирован на визуализацию локального участка земной поверхности и насыщение ее узкотематической информацией. Напротив, создатели сервиса пошли иным путем – они выложили простейшую топографическию информацию, но покрыли всю территорию Великобритании. Именно этот подход и предопределил бешеную популярность сервиса: тысячи людей могли без особого труда определить месторасположение торгового центра, дома и любого другого объекта, зная всего лишь его почтовый индекс, а затем послать готовую схему проезда на печать. 1998 год также ознаменовывается появлением специального «out of the box» программного обеспечения, позволяющего любому пользователю сети создавать собственные веб-гис – Mapserver. Примерно в это же время, четкое понимание перспектив веб приводит к тому, что крупные компании производители ПО ГИС (ESRI, Intergraph) принимают решение о разработке специальных коммерческих приложений для создания специального ПО для веб-гис. Однако, в силу ограниченной пропускной способности мало кто мог представить до каких масштабов может разрастись веб-картография.

Переломным моментом стал 2005 год, когда компания Google практически одновременно запустила два глобальных картографических сервиса – Google-Maps и Google-Earth. Ключевым словом в предыдущем предложении является слово «глобальный» - так как ни один из запущенных ранее сервисов не мог похвастаться столь «широкой» географией. Кроме того, был использован принципиально новый подход в организации самого сервиса: вместо классического подхода, в котором пользователь посылает запрос на сервер, ждет обработки и получает обратно сгенерированную «на лету» картинку, все данные были подготовлены и обработаны заранее, что в сочетании с технологиями AJAX, позволило добиться необычно быстрой работы с картами и «бесшовности» данных при навигации.

Последующие три года (до настоящего времени) характеризуются поистине колоссальным интересом к веб-картографии и ее возможностям в целом, а также значительным ростом числа сервисов в той или иной форме использующих картографические веб-технологии. Наиболее важными тенденциями, наблюдаемыми в последние полтора-два года, являются появление большого числа бесплатных проектов реализующих концепцию предоставления предобработанных данных; увеличение возможностей персонификации сервисов; возможности по интеграции собственных данных с существующими сервисами; глобальность сервисов; все большая интеграция таких служб в повседневную жизнь.

4. Основные виды приложений имеющих отношение к веб-картографии

Разнообразие современных механизмов для создание веб-картографических приложений велико. Попробуем дать простейшую классификацию существующим инструментам разработки таких веб-приложений. Конечно, в силу того, что каждый производитель стремится разработать как можно более комплексное средство, включающее технологии создания, визуализации и публикации данных в интернет, предложенная нами классификация может считаться довольно условной, тем не менее, она позволит читателю сориентироваться в океане существующих решений и предложений.

• Виртуальные глобусы (Google Maps, Google Earth, Virtual Earth, ArcGIS Explorer) – простое и эффективное средство быстрого создания и публикации данных в интернет. Эта категория инструментов характеризуется массовым распространением и быстрая доставка данных пользователям. Могут использовать в качестве клиента как веб-браузер, так и отдельное приложение. Как правило включают доступ по умолчанию к некой «подложке» – базе данных, что является одновременно их большим плюсом и не меньшим минусом, так как сменить эту подложку в большинстве случаев нельзя. Так же, как правило, этим инструментам свойственны проблемы при работе с большими объемами пользовательских данных, настраиваемостью, элементарным анализом (обрезка, пересечение слоев данных).
• Пользовательские ГИС (ArcGIS, Mapinfo, QGIS, gvSIG) – большая и сложная категория тесно связанная с веб-картографией. Как правило, пользовательские ГИС, с одной стороны, играют роль клиентов работающих с данными поставляемых картографическими веб-серверами (как правило по WxS, см. ниже), и с другой, в них осуществляется массовая подготовка и анализ данных перед публикацией их в веб.
• Картографические веб-сервера (MapServer, GeoServer, OpenLayers и др.) – целое семейство продуктов свободного и проприетарного характера, предназначенных для быстрой публикация пользовательских данных в веб. Эти инструменты позволяют создать интерфейс нужной сложности, интегрировать сервис с базой данных, поддерживающей классы пространственных данных (PostgreSQL, SQL Server, MySQL, ArcSDE). Главное отличие подобных систем от Google Maps является полный контроль над программным обеспечением и самими данными, однако взамен приходится расплачиваться большей сложностью установки и настройки, часто требующей хотя бы начальных знаний языков программирования (javascript, php) и основ администрирования.

Особый тип инструментов, появляющихся совсем недавно – пользовательские ГИС интегрированные с виртуальными глобусами, которые играют роль одного из способов представления данных. Примером подобного приложения является расширение для ArcGIS разработанное Brian Flood и позволяющее интегрировать его с Virtual Earth.

5. Основные игроки

Скорость внедрения ГИС в Интернет, как и развитие компьютерных технологий в целом, является достаточно бесконтрольным процессом. В тоже время, в геоинформационном сообществе существует целый ряд ключевых организаций - "законодателей мод" - которые различными методами регулируют деятельность разработчиков. Наиболее удобным способом такого "контроля" в современном сообществе становится внедрение и продвижение определенных стандартов, протоколов и RFC разработки. Разберемся, какие типы организаций присутствуют на рынке веб-гис, приведем краткую классификацию с примерами активных представителей:

Ассоциации и регулирующие организации: OGC (Open Geospatial Consortium, http://www.opengeospatial.org) – некоммерческая организация занимающаяся поддержкой и продвижением стандартов и архитектур связанных с пространственными данными (например серии WxS). Членами консорциума являются все более-менее значительные компании чья деятельность связана с пространственными данными. В стратегическую категорию членов организации входят USGS, NASA, NGA, главными членами являются ESRI, Google, Microsoft и другие (см. более подробную информацию в разделе стандарты).

Opensource группы: OSGeo – так же некоммерческая организация, созданная специально для поддержки проектов с открытым кодом, как правило поддерживающихся открытыми сообществами специалистов. Проекты проходящие инкубацию в OSGeo получают и место в совете организации. Президентом организации является Frank Warmerdam, создатель и один из основных авторов GDAL\OGR.

Профессиональные ГИС: ESRI – корпорация специализирующаяся на ГИС и до недавних пор не имевшая особенных конкурентов. Последнее время ESRI активно пытается усилить свои пошатнувшиеся позиции на рынке веб-картографии, развивая ArcGIS Server. Несмотря на наличие на рынке и других игроков (Mapinfo, Autodesk), фактически является стандартом де-факто.

Интернет-гиганты: Google и соратники – группа компаний (включающая так же Microsoft, Yahoo и Yandex) рассматривающая веб-картографические проекты как один из способов размещения рекламы и активно развивающих онлайн присутствие. В основном популярность достигается за счёт предоставления широкому кругу пользователей доступа к ранее недоступным базам данных космической съемки высокого разрешения и сопутствующих технологий маршрутизации и поиска.

Генераторы данных: поставщики пространственных данных, как правило коммерческих, например цифровой картографической информации (Navteq/Teleatlas), спутниковых данных (GeoEye, DigitalGlobe). Последнее время в этом секторе появляются и не коммерческие участники (OpenStreetMap).

6. Стандарты в веб-картографии

В настоящее время общие принципы и стандарты в области разработки программного обеспечения, предоставляющего картографические веб-сервисы, разрабатываются и декларируются международной некоммерческой организацией Open GIS consortium (OGC, http://www.opengeospatial.org). OGC была основана 25 сентября 1994 года и на момент создания включала только 8 членов. С 1992 по 2004 год их число возросло с 8 до 250, и на сегодняшний день в OGS представлены наиболее крупные коммерческие, академические и государственные организации занимающиеся разработкой или исследованиями в области развития и разработки геоинформационного или IT ПО (в том числе такие крупнейшие корпорации как Boeing, Oracle, ESRI, MapInfo, Intergraph, Google (членство с весны 2006 года) и многие другие).

Во многом деятельность OGC в области геоинформационных систем можно сравнить с деятельностью W3C по стандартизации процессов и технологий во всемирной сети. Так, одной из первых разработок OGC были стандарты созданию GML – Geography Markup Language – языка группы XML, предназначенного для описания географически привязанных объектов. GML может быть использован и как язык моделирования, и как язык передачи пространственной информации в сети.

Спецификации OGC предлагают следующие типы картографических web-сервисов:

• Web Map Service (http://www.opengeospatial.org/standards/wms)
  • определяет параметры запроса и предоставления картографической (пространственной) информации в виде графического изображения или набора объектов;
  • описывает условия получения и предоставления информации о содержимом карты (например, свойства объекта в определенном месте на карте);
  • характеризует условия получения и предоставления информации о возможностях сервера по представлению различных типов картографической информации.
• Web Feature Service (http://www.opengeospatial.org/standards/wfs)
  • определяет условия получения и обновления пространственно привязанной информации клиентской частью приложения с использованием Geography Markup Language (GML);
  • описывает стандартный интерфейс доступа к и манипуляции с географическими объектами с помощью HTTP-протокола.
• Web Coverage Service (http://www.opengeospatial.org/standards/wcs)
  • расширяет возможности WMS для предоставления растровой географической информации;
  • в отличие от WMS, coverage service разрабатывается для представления свойств и значений в каждой конкретной точке географического пространства, а не на создание готовых картинок, а также позволяет проводить интерпретацию данных не на сервере, а на клиентской части приложения.

Однако, рост популярности картографических веб-сервисов порождает все большее число различных модицикаций существуюших языков и стандартов передачи пространственных данных. В связи с этим мы можем предположить, что уже в ближайщем будущем OGC придется включить в сферу своих интересов рассмотрение и "узаконивание" "доморощенных" языков программирования, форматов передачи данных и стандартов их описывающих.

7. Данные и проблемы с ними связанные

Основой всего являются данные и то, насколько большой аудиторией обладает тот или иной проект определяется в большой степени их количеством и детальностью. Правила игры просты, чем больше данных вы можете показать конечному пользователю и чем удобнее будет к ним доступ, тем больше вы сможете показать сопутствующей рекламы и в конечном итоге заработать денег. Современные средства позволяют создавать данные быстро и в большом количестве. Разумеется, времена, когда карты дорог были достоянием отдельных групп уходят в прошлое, однако с появлением данных появляется и ряд новых проблем. Остановимся на некоторых из них:

Открытость vs закрытость

Развитие концепции открытости, как и многие другие процессы в современном компьютерном мире, получившие развитие благодаря развитию интернет, не обошло стороной и пространственные данные. Как и в случае программного обеспечения, открытые базы пространственных данных противопоставили себя крупным корпорациям вкладывающим большое количество ресурсов в системы сбора данных и имеющих обыкновение продавать одни и те же наборы по несколько раз. В современном мире, идея о том, что данные об улицах по которым я хожу не принадлежат общественности, рано или поздно должна была показаться кому-то неправильной, что и случилось – появился OpenStreetMap. Каждый кто имеет GPS, может пройти по знакомым ему улицам и отправить результат в общую базу данных, где не только конкретная репрезентация но и исходные, пространственные данные доступны любому пользователю. Данный процесс получил название краудсорсинга (crowdsourcing) и приобрел поистине широкие масштабы, за полтора года существования проекта OpenStreetMap количество зарегистрированных пользователей перевалило за 45 000. Интересно, что подобные «ключи» к общественности пытаются подбирать и коммерческие компании, активно использующие краудсорсинг для исправления ошибок в своих картах (неправда ли, похоже на сваливание на пользователей ловли ошибок в ПО). Корпорация Google, более года использующая систему участия, при которой вы можете исправить ошибки геокодинга, сделала следующий шаг в этом направлении и представила систему MapMaker, фактически дублирующую OpenStreetMap. Конечно, это не могло не вызвать бурю раздражения в мире opensource геоданных, ведь результат вашей работы фактически принадлежит Google! Это выглядит тем более странно, учитывая, что Google поддерживал первую конференцию OpenStreetMap. На фоне этих событий, действия другого гиганта Yahoo выглядят куда более логичными. В 2006 г. Yahoo разрешил использовать свои данные высокого разрешения для оцифровки дорожной сети и других объектов и размещения результатов в открытом пользовании в базе OpenStreetMap. Что означает, что включиться в работу над общей картой теперь может любой, не выходя из дома.

Качество публикуемых данных

Один из наиболее частых вопросов, посещающих нас при изучении Интернет-ресурсов это то, насколько представленная информация корректна. Степень неуверенности возрастает, как только мы переходим от уровня простого любопытства к использованию данных для решения профессиональных задач. Могу ли я быть уверен в том, что авторы ресурса проверили опубликованную информацию? откуда она появилась? в какой степени я могу ей доверять? И хотя сейчас немногие пользователи сети Интернет задумываются об источниках пространственной информации и качестве картографических данных, мы ожидаем, что уже в недалеком будущем, их постигнет глубокое разочарование: лишь немногие ресурсы могут похвастаться достойными данными. Уже сейчас в сети можно встретить анекдотические упоминания об успешно проложенных "кратчайших" маршрутах проезда или даже элементарной дезинформации при публикации устаревших картографических материалов.

Один из наиболее приемлемых вариантов оценки качества публикуемых данных – создание метаданных (данных о самих данных), где помимо специальной географической и описательной информации, указывались бы такие характеристики как точность, качество, надежность. Однако, смысловая "относительность" перечисленных характеристик, с одной стороны, а также -многообразие стандартов метаданных, сложность их получения в автоматическом режиме (и как следствие трудоемкость процесса их создания), и, особенно, возможная субъективность при описании качества данных (см. например, Grade Finale Report (http://edina.ac.uk/projects/grade/GRADE_Final_Report.pdf, Do spatial data consumers really understand data quality information? http://www.spatial-accuracy.org/2006/PDF/Boin2006accuracy.pdf, Spatial Data Quality By Wenzhong Shi, Peter F. Fisher and Michael F. Goodchild (Eds). Taylor and Francis, London and New York, 2002), с другой, не позволяют в полной мере решить проблему оценки качества публикуемых материалов. В 2007 Open Geospatial Consortium Data Quality Working Group (WG) (http://www.opengeospatial.org), осознавая трудности связанные с разработкой универсального стандарта метаданных (последняя версия стандарта - ссылка) предпринял уникальную попытку по обобщению опыта, знаний и экспертных мнений в области оценки качества пространственных данных. Более чем 2000 специалистам в области ГИС и ДЗЗ по всему миру было предложено заполнить специальную анкету (http://www.surveymonkey.com/s.aspx?sm=_2ffWZCQbm2ugKS_2fW8A0MWIQ_3d_3d) и изложить в достаточно свободной форме то, какие параметры могут быть использованы для оценки пространственной информации и каким образом, эта оценка может быть описана в метаданных. Некоторые попытки по совершенствованию механизмов описания качества данных были предприняты и такими инициативными группами GSDI Association, CGIAR, INSPIRE. Тем не менее, до сих пор, метаданные являются абсолютно добровольным элементом подготовки и распространения данных, большинство компаний в последнюю очередь приходят к пониманию важности документирования состояния данных и ситуация в целом остается довольно-таки печальной: пользователь чаще всего не знает ничего о качестве используемых данных.

Авторские права и правовые аспекты распространения и публикации данных

Авторские права, пожалуй, одна из наиболее болезненных точек современного веб-сообщества, и эта "болезненность" не обошла и пространственные данные. В настоящее время, законодательство в области их распространения настолько фрагментарно и локально, что фактически большинству компаний приходится действовать по принципу "все или ничего": либо данные хранятся за семью замками в серверной доступной по внутренной сети ограниченному числу сотрудников компании, либо данные публикуются в сети и дальше уследить за их судьбой становится очень сложно, или, чаще - практически невозможно. В связи с этим, большинство компаний следуют принципу "ничего" и просто не публикуют свои данные.

Более того, растет число картографических веб-сервисов позволяющих 1) объединять слои данных из различных источников 2) модифицировать сами данные 3) создавать собственные данные на основе опубликованных - и для каждого случая необходимо определить правообладателя и особенности дальнейшего распространения и использования информации. К настоящему моменту, ни один из перечисленных случаев юридически не урегулирован, что часто вызывает мощный поток негодования со стороны поставщиков данных. Интересный анализ данной проблемы и возможное решение предложено Н. J. Onsurd (www.sli.unimelb.edu.au/research/SDI_research/Presentations/CommonsAndMarketMelbourne.ppt). Основная идея сводится к созданию единой системы (peer-to-peer) хранения, добавления и доступа к данным с использованием Open Access Licenses (аналог GNU для ПО).

8. Перспективы

У веб-картографии, в широком понимания этого слова масса перспективных технологий, остановимся на некоторых из них. Помимо простой визуализации и создания данных, пожалуй самым новым аспектом работы с пространственными данными является перенос в веб собственно их обработки и анализа. Это становится возможным благодаря мощному развитию инструментария легко размещаемого на веб-серверах, как открытого GDAL, PROJ, GeoTools, FDO, так и проприетарного ArcGIS Server.

Cloud Processing

Развитие арендуемой системы распределенной обработки E2/E3 Amazon AWS («облако») предоставляет интересные перспективы всем технологиям связанным с большими объемами данных. Amazon в данном случае выступает с инициативой отличной от привычного уже подхода других членов большой четверки (Google, Amazon, Microsoft, Yahoo) сосредоточившихся на доставке графических данных конечному пользователю (ссылка?). Использует «облако» E2-E3 и WeoGeo - передовой сервис распространения самих пространственных данных, исходные «реальные» данные дистанционного зондирования могут занимать терабайты и предоставление подобного сервиса требует использование мощностей Amazon WMS. WeoGeo одна из первых компаний начавшая использовать их применительно к пространственным данным. Буквально на днях стало известно, что туда же, в «облако» с помощью опыта WeoGeo переходит и Spatial ETL (разработка компании Safe Software), что означает распределение нагрузок не только на доставку но и конвертацию огромных массивов данных. Другой интересной, но пока еще не использованной технологией параллельных вычислений, являются системы подобные Digipede или opensource системе распределенной обработки Hadoop.

Анализ данных

Анализ пространственных данных нужен не только большим компаниям, но и конечному пользователю для решения повседневных задач. Современные средства позволяют публиковать в веб не только данные или их представление, но и отдельные аналитические операции. Например, имея модель процесса построенную с помощью ArcGIS, ее можно опубликовать с помощью ArcGIS Server и использовать в ArcGIS Explorer для обработки данных прямо в веб. Простой пример – вы велосипедист и хотите проложить оптимальный маршрут с учетом рельефа по пересеченной местности, другой пример вы домовладелец и ваш дом расположен рядом с рекой, вы хотите знать как разольется река при увеличении ее уровня на N метров. В последнее время появляются и opensource средства анализа данных, например WPServer (от создателей OpenLayers).

9. Заключение

Современное развитие веб-картографии, без всякого сомнения, один из индикаторов глобализации, своеобразного уменьшения расстояний, ускорения процессов доставки данных, более тесного проникновения компьютерных технологий в повседневную жизнь. Мы безусловно свидетели интересных событий, которые будут иметь далеко идущие последствия.

Ссылки по теме

• Начало работы с MapServer
• OpenLayers: начало работы