Метод весомости признака (weight of evidence)

Введение

Изначально метод весомости признака (weight of evidence) был разработан для работы с непространственными данными в задачах медицинской диагностики. Признаком в подобных приложениях считался набор симптомов, а тестируемой гипотезой - предположение о том, что "пациент болен болезнью X". В этом случае для каждого симптома по определенному алгоритму вычислялась пара весов, один из которых соответствовал наличию симптома, а другой - его отсутствию. Абсолютная величина веса отражала степень достоверности связи между симптомом и наличием/отсутствием болезни (связь выявлялась на основе обследования большой группы пациентов). Соответственно, полученные веса могли быть использованы для определения вероятности того, что вновь поступивший пациент болен данной болезнью, основываясь на наличии/отсутствии у него определенных симптомов.

В последствии метод весомости признака был адаптирован для анализа пространственных данных, этот метод может быть применен для проверки гипотез о совместном появлении определенных событий. Например, в геологии, используя этот метод и основываясь на наличии или отсутствии определенных пород на исследуемой территории, можно оценить справедливость гипотезы "В данном месте ожидается наличие залежи типа X". Метод также широко применяется в экологических задачах, при анализе изменений территорий и т.п. Особенностью данного метода является простота в реализации - анализ может быть выполнен стандартными инструментами ГИС (пространственная выборка, пересечение и объединение объектов и т.п.).

В данной статье рассматривается простейший случай метода весомости признака - бинарный, когда анализируемые признаки подразделяются на два класса (например, наличие/отсутствие).

Описание метода

Представим, что имеются некоторые события или явления, которые предположительно связаны с какими-то другими пространственными явлениями. Например, какой-либо вид растений может быть встречен на определенных участках в зависимости от характера этих участков (влажность, экспозиция склона и т.д.). Пусть нас интересует выявление закономерностей - какие именно характеристики влияют на вероятность появления данного события, насколько сильна взаимосвязь, положительна она или отрицательна, решить данную задачу можно путем построения уравнения регрессии и дальнейшего анализа его коэффициентов. Метод весомости признака предлагает подобный подход, но коэффициенты, полученные при помощи данного метода, легче интерпретируются.

По своей сути метод весомости признака представляет статистический метод, основанный на теореме Байеса. Метод требует набора "объясняющих" слоев, содержащих данные, относительно которых строится гипотеза, что эти данные влияют на вероятность появления анализируемого события. В данной статье рассматривается простейший вариант метода - бинарный, который имеет дело с двоичными категориями данных, т.е. когда слои содержат информацию, представимую двумя классами (влажный/сухой, высокий/низкий, наличие/отсутсвие и т.п.). Далее необходим набор точек, отмечающие места, в которых произошло событие.

Обозначения

Введем необходимые обозначения.

Пусть $T$ - исследуемая территория, разобьем ее на квадраты равной площади, и пусть $u$ - размер квадрата.

Пусть $A()$ - функция возвращающая площадь какого-либо участка, например, $A(T)$ вернет площадь данной территории. Пусть $N()$ - функция, возвращающая число квадратов размера $u$, в таком случае $N(T)$ - число квадратов, уместившихся на территории $T$ (заметим, что величина $N(T)={A(T)}/{u}$ представляет собой дробную величину, и что не следует ее округлять до целых чисел).

Пусть $B$ - признак, т.е. некоторая объясняющая переменная (например, влажность), тогда $A(B)$ - площадь территории, где величина $B$ присутствует (например, значение категории = 2), $A({\overline {B}})$ - площадь территории, где величина $B$ отсутствует (например, значение категории = 1). Пусть $N(B)$ будет означать количество квадратов размера $u$, на которых замечено присутствие признака $B$ (обратим внимание, что $N(B)={A(B)}/{u}$), аналогично, $N({\overline {B}})$ - количество квадратов, для которых признак $B$ отсутствует. Предположим, что слой не содержит пропущенных данных, то есть $N(B)+N({\overline {B}})=N(T)$.

Наконец, пусть $N(D)$ - число точек, помечающих места, в которых произошло событие. Эта величина является целочисленной и не зависит от выбора размера квадрата $u$.

Используя инструментарий ГИС несложно измерить величины $N(T)$, $N(B)$ и $N({\overline {B}})$. Также нетрудно подсчитать число обучающих точек, попадающих на участки $B$ и $B$, т.е. величины $N({B}\cap D)$ и $N({\overline {B}}\cap D)$.

Ход рассуждений

Искомые веса оценивают меру пространственной связи между обучающими точками и признаками. Веса вычисляются по каждому классу из $B$, положительный вес означает, что число точек, пространственно попавших в данный класс выше, чем могло бы быть при независмом распределении точек и признаков на территории, отрицательный вес означает, что число точек, попавших в данный класс ниже, чем ожидалось в случае независимости точек и признаков.

Поскольку в данной статье рассматривается двоичная реализация метода, то с принаком $B$ будут связаны два веса $W^{+}$ (признак присутсвует) и $W^{-}$ (признак осутствует). Разность между этими весами называется контрастом и представляет собой обобщенную меру связи между точками и признаком: $C=W^{+}-W^{-}$.

По величинам весов $W^{\pm }$ и контрасту судят о наличии и силе взаимосвязи между точками и признаками. Считается, что если значения весов лежат около 0-0.5, то отмечается слабая взаимосвязь, если веса находятся в диапазоне 1-2, то связь считается сильной, и, наконец, если веса превышают значение 2, то связь считается очень сильной. Может случиться так, что некоторый вес например, $W^{+}$ близок к нулю, а второй вес, например, $W^{-}$ величина отрицательная, показывающая сильную связь. В этом случае получается, что появление признака не повышает вероятности появления исследуемого события, но отсутствие признака делает появление события маловероятным.

Рассчет весов

Веса рассчитываются в соотвествии со следующими правилами:

$W^{+}=\ln {\frac {P(B|D)}{P(B|{\overline {D}})}}$

и

$W^{+}=\ln {\frac {P({\overline {B}}|D)}{P({\overline {B}}|{\overline {D}})}}$

где $P()$ означает вероятность, а $\ln$ - натуральный логарифм. Поскольку истинные вероятности неизвестны, то они аппроксимируются по обучающим данным на основе отношения площадей:

$P(B|D)={\frac {N(B\cap D)}{N(D)}}$,

$P(B|{\overline {D}})={\frac {N(B\cap {\overline {D}})}{N({\overline {D}})}}$,

$P({\overline {B}}|D)={\frac {N({\overline {B}}\cap D)}{N(D)}}$

и

$P({\overline {B}}|{\overline {D}})={\frac {N({\overline {B}}\cap {\overline {D}})}{N({\overline {D}})}}$.