Оценка точности тематических карт

Эта страница является черновиком статьи.

Методические подходы для оценки точности тематических карт

Введение

Данная статья является кратким и довольно вольным переводом работы «Making better use of accuracy data in land change studies: Estimating accuracy and area and quantifying uncertainty using stratified estimation» [1]. Основной целью авторов данной работы было описание стратегии использования информации о точности тематической карты для оценки площади выделенных классов с указанием доверительных интервалов. Авторы имеют еще одну работу по данной тематике [2], позволяющую глубже погрузиться в механизм расчетов точности тематических карт. Авторы указывают [1], что в статьях посвященных исследованию изменений растительного покрова довольно часто упускается важная информация о точности созданных тематических карт или ошибках в определении площадей выделенных категорий/классов. Отмечается, что для более полного использования информации, представленных на данных картах в публикуемых статьях необходимо обязательно указывать:

1. Показатели точности: "общая точность классификации" (Overall accuracy), "точность пользователя" (User's accuracy) и "точность производителя" (Producer's accuracy). Более подробно со смысловым содержанием данных показателей можно познакомиться в данной статье [3].
2. Площади выделенных классов с поправкой на ошибки классификации.
3. Указание ошибки среднего (SE) и доверительного интервала (CI) оцениваемых площадей.

Несколько простых числовых примеров позволят проследить последовательность расчетов данных показателей для случайной, систематической и стратифицированной случайной выборки. Выборка - это набор точек расположенных на оцениваемой тематической карте в атрибутах которых записаны значения класса взятые непосредственно с самой карты (map categories), а также справочные (эталонные, ссылочные) значения (reference categories) полученные из иных источников (полевых исследований, снимков более высокого пространственного разрешения и т.д.).

Практическая часть

Приведем пример расчета ошибок классификации тематической карты в общем виде. Предположим необходимо оценить точность классификации космического снимка с q категориями/классами и оценить площадь каждой уникальной категории с указанием ошибки. Для этого либо случайным, либо систематическим образом закладывается выборка из n-го количества точек и строится типовая матрица ошибок (matrix error, табл.1). В рядах данной таблицы записываются категории карты (i = 1, 2, … q), а в колонках – справочные (экспертные) категории (j = 1,2, …, q). Правила, по которым заполняется данная таблица можно посмотреть здесь [3]. Отметим, что справочные категории считаются эталонными, т.е. получены из источников заведомо более точных, чем оцениваемая тематическая карта.

Таблица 1. Типовая матрица ошибок (matrix error)

Категория/класс	1	2	...	q	Всего
1	n11			n1q	n1
2	...	...	...	...	...
...	...	...	...	...	...
q	nq1	...	...	nqq	nq
Всего	n1	...	...	nq	n

Примечание: категории карты указаны в строках, а справочные (экспертные) категории в колонках таблицы.

Однако как считают авторы приводимой здесь методики [1,2], более информативной является так называемая преобразованная матрица ошибок, учитывающая относительные значения площади каждой категории (табл. 2). Значения для каждой ячейки данной матрицы (табл. 2) вычисляются по формуле:

${p_{ij}}={W_{i}}\times {\frac {n_{ij}}{n_{i}}}$, (1)

где n_ij – значение в соответствующей ячейки матрицы с координатами i, j (табл. 1);

n_i – суммарное значение i-ой категории карты (табл. 1);

W_i – отношение суммарной площади i-ой категории, к общей площади карты, т.е.:

${W_{i}}={\frac {A_{i}}{A_{tot}}}$

Результаты расчетов записываются в преобразованную матрицу ошибок (табл. 2).

Таблица 2. Преобразованная матрица ошибок, учитывающая соотношения площадей категорий

Категория/класс	1	2	...	q	Всего
1	p11			p1q	p1
2	...	...	...	...	...
...	...	...	...	...	...
q	pq1	...	...	pqq	pq
Всего	p1	...	...	pq	1

Примечание: категории карты указаны в строках, а справочные (экспертные) категории в колонках таблицы.

Ошибки классификации оказывают влияние на оценку площади соответствующей категории. Оценить общую площадь категории можно путем непосредственных измерений с тематической карты. Другой способ оценки площади опирается на справочные (экспертные) категории карты (столбцы в табл. 2). В этом случае площадь соответствующей категории находится путем переумножения общей площади карты на суммарные значения категорий колонок:

${A_{j}}={A_{tot}}\times {p_{j}}$, (2)

Выражение (2) может быть записано в развернутом виде:

${A_{j}}={A_{tot}}\sum _{i}^{q}{W_{i}}{\frac {n_{ij}}{n_{i}}}$, (2')

Т.е. происходит переоценка площадей категорий, опирающиеся на справочные значения категорий.

Среднее квадратичное отклонение площади соответствующей категории определяется по формулам (3)-(4):

$S({p_{j}})={\sqrt {\sum _{i=1}^{q}{W_{i}^{2}}{\frac {{\frac {n_{ij}}{n_{i}}}(1-{\frac {n_{ij}}{n_{i}}})}{n_{i}-1}}}}$, (3)

$S({A_{j}})={A_{tot}}\times S({p_{j}})$, (4)

Значение площади с доверительным интервалом равным 95% записывается в виде:

${A_{j}}\pm 2\times S({A_{j}})$, (5)

Принимается, что ошибка имеет z-распределения, при 95% доверительном интервале, z=1.96, округлили до z=2.

Формулы (1) – (5) применены как к случайной, так и систематической или стратифицированной выборке.

Точность пользователя (6), точность производителя (7) и общая точность карты (8) также оценивается с учетом площадей каждой категории, т.е. данные для расчетов берутся из табл. 2.

${U_{i}}={\frac {p_{ii}}{p_{i}}}$, (6) ${P_{j}}={\frac {p_{jj}}{p_{j}}}$, (7) ${O}=\sum _{j=1}^{q}{p_{jj}}$, (8)

Приведем пример с числовыми данными. Допустим, имеется тематическая карта с тремя категориями/классами. Для оценки точности в каждой категории случайный образом заложено по 10 точек. Для каждой точки определена категория карты (map categories) и справочная (эталонная) категория (reference categories), на основании этих данных составлена типовая матрица ошибок (табл. 3).

Таблица 3. Типовая матрица ошибок (matrix error)

Категория/класс	1	2	3	Всего	Площадь
1	9	1	0	10	300
2	1	7	2	10	200
3	2	4	4	10	100
Всего	12	12	6	30	600

Примечание: категории карты указаны в строках, а справочные (экспертные) категории в колонках таблицы.

Рассчитаем матрицу ошибок с учетом значений площади для каждой категории по формуле (1), но сначала рассчитаем процентное соотношение площадей для 1-ой категории по формуле (2):

${W_{1}}={\frac {300}{600}}={\frac {1}{2}}$

Аналогичным образом рассчитаем значения для остальных категорий: 2-3. Результаты расчетов заносятся в соответствующие ячейки 5-ой колонки таблицы 4.

${p_{11}}={\frac {1}{2}}\times {\frac {9}{10}}={\frac {9}{20}}$

Аналогичным образом рассчитаем значения для остальных ячеек таблицы 3. Занесем результаты расчетов в соответствующие ячейки 3-5 колонок таблицы 4.

Таблица 4. Преобразованная матрица ошибок, учитывающая соотношения площадей категорий

Категория/класс	1	2	3	Всего	Точность пользователя	Точность производителя	Общая точность
1	9/20	1/20	0	1/2	90%	87%	75%
2	1/30	7/30	2/30	1/3	70%	67%	-
3	1/30	2/30	2/30	1/6	40%	50%	-
Всего	31/60	21/60	8/60	1	-	-	-

Примечание: категории карты указаны в строках, а справочные (экспертные) категории в колонках таблицы.

Рассчитаем площади с учетом категорий продукта (2):

${A_{1}}={600}\times {\frac {31}{60}}=310;$ ${A_{2}}={600}\times {\frac {21}{60}}=210;$ ${A_{3}}={600}\times {\frac {8}{60}}=80.$

Таким образом производится перерасчет площадей с учетом ошибок справочных категорий, то есть ошибка в одно значение может составить площадь для:

1-ой категории

$600\times 1/2\times 1/10=30;$

2-ой категории

$600\times 1/3\times 1/10=20;$

3-ей категории

$600\times 1/6\times 1/10=10.$

Тогда значение площади для каждой справочной категории с учетом ошибок классификации можно получить так:

${A_{1}}={300}-(1+0)\times 30+1\times 20+2\times 10=310;$ ${A_{2}}={200}-(1+2)\times 20+1\times 30+4\times 10=210;$ ${A_{3}}={100}-(2+4)\times 10+0\times 30+2\times 20=80.$

Как видно, получаем идентичные результаты, но запись в более развернутом виде, возможно, делает расчет более прозрачным.

Среднее квадратичное отклонение вычисляем по формуле (3) и (4):

$S({p_{1}})={\sqrt {{({\frac {1}{2}})^{2}}\times {\frac {{\frac {9}{10}}(1-{\frac {9}{10}})}{10-1}}+{({\frac {1}{3}})^{2}}\times {\frac {{\frac {1}{10}}(1-{\frac {1}{10}})}{10-1}}+{({\frac {1}{6}})^{2}}\times {\frac {{\frac {2}{10}}(1-{\frac {2}{10}})}{10-1}}}}=0.064;$

$S({A_{1}})=600\times 0.064=38.43.$

Аналогичны образом производится расчет для остальных категорий (2-3).

Окончательных результат записывается в виде (5):

${A_{1}}\pm 2\times S({A_{1}})=310\pm 76;$ ${A_{2}}\pm 2\times S({A_{2}})=210\pm 90;$ ${A_{3}}\pm 2\times S({A_{3}})=80\pm 61.$

Произведем вычисление остальных показателей точности. Точность пользователя вычисляется по формуле (6):

для 1-ой категории:

${\frac {9}{20}}:{\frac {1}{2}}={\frac {18}{20}}=0.9;$

для 2-ой категории:

${\frac {7}{30}}:{\frac {1}{3}}={\frac {21}{30}}=0.7;$

для 3-ей категории:

${\frac {2}{30}}:{\frac {1}{6}}={\frac {12}{30}}=0.4;$

Точность производителя вычисляется по формуле (7):

для 1-ой категории:

${\frac {9}{20}}:{\frac {31}{60}}={\frac {27}{31}}=0.9;$

для 2-ой категории:

${\frac {7}{30}}:{\frac {21}{60}}={\frac {14}{21}}=0.67;$

для 3-ей категории:

${\frac {2}{30}}:{\frac {8}{60}}={\frac {1}{2}}=0.5;$

Общая точность вычисляется по формуле (8):

${\frac {9}{20}}+{\frac {7}{30}}+{\frac {2}{30}}={\frac {3}{4}}=0.75;$

Для сравнения можно рассчитать данные показатели точности традиционным образом исходя из значений матрицы ошибок [3]: точность пользователя:

для 1-ой категории:

${\frac {9}{10}}=0.9;$

для 2-ой категории:

${\frac {7}{10}}=0.7;$

для 3-ей категории:

${\frac {4}{10}}=0.4;$

Как видно, результаты точности пользователя вычисленные двумя методами оказались идентичными, но так происходит далеко не всегда!

Точность производителя:

для 1-ой категории:

${\frac {9}{12}}=0.75;$

для 2-ой категории:

${\frac {7}{12}}=0.58;$

для 3-ей категории:

${\frac {4}{6}}=0.67;$

При сравнении видно, что точность производителя вычисленное вторым способом для 1 и 2 категории занижена, а для 3-ей категории завышена по сравнению с результатами вычисленными по первому способу.

Также в статье Olofsson P., et al. [1] рассматривается пример оценки точности карты изменений лесного покрова (change detection forest cover), полученной на основе совмещения двух разновременных тематических карт (2005 и 2010 гг.). Указывается, что имеющийся расчет точности отдельно по каждой карте (см. табл. 4) не позволяет объективно оценить площади изменений лесного покрова. Для этого необходимо совместить тематические карты и произвести оценку полученного продукта. Обе тематические карты содержали только две категории – лес и не лес. Таким образом, в результате их совмещения на результирующей карте получается следующая комбинация категорий/классов:

Таблица 3. Таблица совмещения двух тематических карт

категории на карте 2005 г.	категории на карте 2010 г.	категории на совмещенной карте 2005-2010 гг.
лес	лес	лес
не лес	не лес	не лес
лес	не лес	вырубка
не лес	лес	лесовосстановление

Для совмещенной тематической карты, по приведенной выше методике осуществляется расчет площадей и соответствующих показателей точности.

Автоматизация расчетов

Для автоматизации расчетов по данной методике [1] имеется модуль "Validation Tool 1.1" к QGIS. Устанавливается из официального репозитория QGIS. Исходный код выложен здесь [4].

Последовательность действий для работы в модуле.

1. Выбираем точечный шейп-файл (Select Input File). Для примера можно воспользоваться шейп-файлом, который лежим в папке с модулем (C:\Users\user\.qgis2\python\plugins\vTool\example_data\) и на его основе посмотреть каким образом заполняется таблица атрибутов.

2. Указываем соответствие полей в таблице атрибутов, где содержатся ссылочные (справочные) категории (reference) и категории карты (predicted).

3. Выбираем тип расчета: с учетом площадей категорий (Weight-based) или нет (Normal).

3.1. Если выбрали способ расчета без учета площадей, то указываем путь выходного файла (Select Output File) и нажимаем на кнопку - Validation.

4. Если выбрали расчет с учетом площадей, то устанавливаем значение площадей либо загружая *.csv файл (Load Area from CSV file) либо вручную (Set Area manually from List).

4.1. Пример заполнения *.csv - файла можно посмотреть в папке с модулем (C:\Users\user\.qgis2\python\plugins\vTool\example_data\).

4.2. Если выбрали ручной способ загрузки, то попадаете на вторую вкладку - Area. В ней представлена таблица: в первой колонке (Labels) номера категорий/классов, во вторую заносите соответствующие значения площадей (Weights). Нажимаете кнопку отправить (Submit).

5. Вас возвращает на вкладку Validation, где необходимо выбрать путь выходного *.csv файла (Select Output File).

6. Все готово к расчету - нажимаем на кнопку Validate и анализируем полученный результат.

Для примера можно воспользоваться шейп-файлом на основе которого приведен разбор числового примера [5].

Вывод

Как видно способ оценки точности тематических карт, описанный в статье [1] является относительно простым и интуитивно понятным. При желании данные расчеты можно выполнить даже на бумаге. Однако следует помнить и понимать, что это только один из способов оценки точности тематических карт и его выбор будет зависеть от ваших целей и задач.

Ссылки

1. Olofsson P., et al. Making better use of accuracy data in land change studies: Estimating accuracy and area and quantifying uncertainty using stratified estimation / Pontus Olofsson, Giles M. Foody, Stephen V. Stehman, Curtis E. Woodcock // Remote Sensing of Environment 129 (2013) 122–131.

2. Olofsson P., et al. Good practices for estimating area and assessing accuracy of land change / Pontus Olofsson, Giles M. Foody, Martin Herold, Stephen V. Stehman, Curtis E.Woodcock, Michael A. Wulder // Remote Sensing of Environment 148 (2014) 42–57.

3. http://gis-lab.info/qa/error-matrix.html

4. https://github.com/g07kore/vTool

5. http://wiki.gis-lab.info/images/e/e7/Point.zip