Краткое введение в MaxEnt - История изменений

Максим Дубинин в 07:54, 18 января 2023

2023-01-18T07:54:46Z

← Предыдущая версия		Версия от 09:54, 18 января 2023
Строка 2:		Строка 2:

	'''Автор''': Стивен Филлипс (Steven Phillips), AT&T Research.<br>		'''Автор''': Стивен Филлипс (Steven Phillips), AT&T Research.<br>
	'''Оригинал''': http://www.cs.princeton.edu/~schapire/maxent/<br>		'''Оригинал''': https://biodiversityinformatics.amnh.org/open_source/maxent/ (старая ссылка: http://www.cs.princeton.edu/~schapire/maxent/)<br>
	'''Перевод''': Максим Дубинин, Юлия Калашникова (с [http://wiki.gis-lab.info/index.php?title=%D0%9A%D1%80%D0%B0%D1%82%D0%BA%D0%BE%D0%B5_%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_MaxEnt&action=history изменениями] редакторов).<br/>		'''Перевод''': Максим Дубинин, Юлия Калашникова (с [http://wiki.gis-lab.info/index.php?title=%D0%9A%D1%80%D0%B0%D1%82%D0%BA%D0%BE%D0%B5_%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_MaxEnt&action=history изменениями] редакторов).<br/>
	'''Translation''': Maxim Dubinin, Yulia Kalashnikova (with [http://wiki.gis-lab.info/index.php?title=%D0%9A%D1%80%D0%B0%D1%82%D0%BA%D0%BE%D0%B5_%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_MaxEnt&action=history edits]).		'''Translation''': Maxim Dubinin, Yulia Kalashnikova (with [http://wiki.gis-lab.info/index.php?title=%D0%9A%D1%80%D0%B0%D1%82%D0%BA%D0%BE%D0%B5_%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_MaxEnt&action=history edits]).

Максим Дубинин в 14:14, 7 ноября 2013

2013-11-07T14:14:45Z

← Предыдущая версия		Версия от 16:14, 7 ноября 2013
Строка 165:		Строка 165:
	По сравнению с откликом на годовые осадки в первом наборе, во втором мы видим, что предсказанная пригодность местообитания в целом растет с ростом годовых осадков.		По сравнению с откликом на годовые осадки в первом наборе, во втором мы видим, что предсказанная пригодность местообитания в целом растет с ростом годовых осадков.

	'''Типы функций ~~and~~ кривые зависимостей'''		'''Типы функций и кривые зависимостей'''

	Кривые зависимостей позволяют нам увидеть разницу между различными типами функций градиентов среды. Отключите авто-функции(“Auto features”), оставьте выбранными только пороговые числовые характеристики(“Threshold features”), и снова нажмите кнопку запуска (“Run”). Посмотрите на результирующий профиль функции – она выглядит как набор ступенек, например так для переменной 6190_l10:		Кривые зависимостей позволяют нам увидеть разницу между различными типами функций градиентов среды. Отключите авто-функции(“Auto features”), оставьте выбранными только пороговые числовые характеристики(“Threshold features”), и снова нажмите кнопку запуска (“Run”). Посмотрите на результирующий профиль функции – она выглядит как набор ступенек, например так для переменной 6190_l10:

Yulia-Kl в 05:01, 6 апреля 2013

2013-04-06T05:01:12Z

← Предыдущая версия		Версия от 07:01, 6 апреля 2013
Строка 19:		Строка 19:
	*feature — числовой признак, являющийся функцией входных данных (градиентов среды) или, другими словами, функция градиента среды		*feature — числовой признак, являющийся функцией входных данных (градиентов среды) или, другими словами, функция градиента среды
	*product feature — произведение числовых признаков		*product feature — произведение числовых признаков
	*hinge feature — ~~нелинейные~~ числовой признак		*hinge feature — нелинейный числовой признак
	*threshold feature - пороговый числовой признак		*threshold feature - пороговый числовой признак
	*presence — присутствие		*presence — присутствие

Максим Дубинин в 19:20, 28 марта 2013

2013-03-28T19:20:26Z

← Предыдущая версия		Версия от 21:20, 28 марта 2013
Строка 1:		Строка 1:
	{{Статья\|Опубликована\|maxent~~-intro~~}}		{{Статья\|Опубликована\|maxent}}

	'''Автор''': Стивен Филлипс (Steven Phillips), AT&T Research.<br>		'''Автор''': Стивен Филлипс (Steven Phillips), AT&T Research.<br>

Александр Мурый в 12:54, 28 марта 2013

2013-03-28T12:54:34Z

← Предыдущая версия		Версия от 14:54, 28 марта 2013
Строка 1:		Строка 1:
	{{Статья\|~~Черновик~~}}		{{Статья\|Опубликована\|maxent-intro}}
	Автор: Стивен Филлипс (Steven Phillips), AT&T Research<br>
	Оригинал: http://www.cs.princeton.edu/~schapire/maxent/<br>		'''Автор''': Стивен Филлипс (Steven Phillips), AT&T Research.<br>
	Перевод: Максим Дубинин, Юлия Калашникова (с [http://wiki.gis-lab.info/index.php?title=%D0%9A%D1%80%D0%B0%D1%82%D0%BA%D0%BE%D0%B5_%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_MaxEnt&action=history изменениями] редакторов)		'''Оригинал''': http://www.cs.princeton.edu/~schapire/maxent/<br>
	Translation: Maxim Dubinin, Yulia Kalashnikova (with [http://wiki.gis-lab.info/index.php?title=%D0%9A%D1%80%D0%B0%D1%82%D0%BA%D0%BE%D0%B5_%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_MaxEnt&action=history edits])		'''Перевод''': Максим Дубинин, Юлия Калашникова (с [http://wiki.gis-lab.info/index.php?title=%D0%9A%D1%80%D0%B0%D1%82%D0%BA%D0%BE%D0%B5_%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_MaxEnt&action=history изменениями] редакторов).<br/>
			'''Translation''': Maxim Dubinin, Yulia Kalashnikova (with [http://wiki.gis-lab.info/index.php?title=%D0%9A%D1%80%D0%B0%D1%82%D0%BA%D0%BE%D0%B5_%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_MaxEnt&action=history edits]).

	Это руководство представляет из себя краткое введение в использование программы MaxEnt, предназначенной для моделирования географического распространения биологических видов методом максимальной энтропии. Авторы руководства — Стивен Филлипс (Steven Phillips), Миро Дудик (Miro Dudik) и Роб Шапир (Rob Schapire), благодаря поддержке AT&T Labs-Research, Университета Принстона и Центра биоразнообразия и охраны природы Американского музея естественной истории (Center for Biodiversity and Conservation, American Museum of Natural History). Более подробное описание теории энтропийного моделирования и описание использованных наборов данных и типов статистического анализ можно найти в следующих статьях:		Это руководство представляет из себя краткое введение в использование программы MaxEnt, предназначенной для моделирования географического распространения биологических видов методом максимальной энтропии. Авторы руководства — Стивен Филлипс (Steven Phillips), Миро Дудик (Miro Dudik) и Роб Шапир (Rob Schapire), благодаря поддержке AT&T Labs-Research, Университета Принстона и Центра биоразнообразия и охраны природы Американского музея естественной истории (Center for Biodiversity and Conservation, American Museum of Natural History). Более подробное описание теории энтропийного моделирования и описание использованных наборов данных и типов статистического анализ можно найти в следующих статьях:

Максим Дубинин в 19:44, 8 марта 2013

2013-03-08T19:44:44Z

← Предыдущая версия		Версия от 21:44, 8 марта 2013
Строка 2:		Строка 2:
	Автор: Стивен Филлипс (Steven Phillips), AT&T Research<br>		Автор: Стивен Филлипс (Steven Phillips), AT&T Research<br>
	Оригинал: http://www.cs.princeton.edu/~schapire/maxent/<br>		Оригинал: http://www.cs.princeton.edu/~schapire/maxent/<br>
	Перевод: Максим Дубинин ~~и Юля~~ Калашникова		Перевод: Максим Дубинин, Юлия Калашникова (с [http://wiki.gis-lab.info/index.php?title=%D0%9A%D1%80%D0%B0%D1%82%D0%BA%D0%BE%D0%B5_%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_MaxEnt&action=history изменениями] редакторов)
			Translation: Maxim Dubinin, Yulia Kalashnikova (with [http://wiki.gis-lab.info/index.php?title=%D0%9A%D1%80%D0%B0%D1%82%D0%BA%D0%BE%D0%B5_%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_MaxEnt&action=history edits])

	Это руководство представляет из себя краткое введение в использование программы MaxEnt, предназначенной для моделирования географического распространения биологических видов методом максимальной энтропии. Авторы руководства — Стивен Филлипс (Steven Phillips), Миро Дудик (Miro Dudik) и Роб Шапир (Rob Schapire), благодаря поддержке AT&T Labs-Research, Университета Принстона и Центра биоразнообразия и охраны природы Американского музея естественной истории (Center for Biodiversity and Conservation, American Museum of Natural History). Более подробное описание теории энтропийного моделирования и описание использованных наборов данных и типов статистического анализ можно найти в следующих статьях:		Это руководство представляет из себя краткое введение в использование программы MaxEnt, предназначенной для моделирования географического распространения биологических видов методом максимальной энтропии. Авторы руководства — Стивен Филлипс (Steven Phillips), Миро Дудик (Miro Dudik) и Роб Шапир (Rob Schapire), благодаря поддержке AT&T Labs-Research, Университета Принстона и Центра биоразнообразия и охраны природы Американского музея естественной истории (Center for Biodiversity and Conservation, American Museum of Natural History). Более подробное описание теории энтропийного моделирования и описание использованных наборов данных и типов статистического анализ можно найти в следующих статьях:

Yulia-Kl в 05:01, 1 марта 2013

2013-03-01T05:01:21Z

← Предыдущая версия		Версия от 07:01, 1 марта 2013
Строка 226:		Строка 226:
	<center>[[Файл:Maxent replicate pre.gif]][[Файл:Maxent replicate preann.gif]]</center>		<center>[[Файл:Maxent replicate pre.gif]][[Файл:Maxent replicate preann.gif]]</center>

	Поддерживаются две формы репликации: повторяющаяся выборка, в процессе которой образцы несколько раз случайно разбиваются на тренировочный и тестовый набор, и ~~бутстрэппинг~~, когда тренировочный набор создается выборкой с заменой из образцов, количество выборок равно количеству образцов. В случае ~~бутстрэппинга~~, число образцов в каждом наборе будет равно общему количеству образцов ('''ШТО?!'''), так что тренировочный набор будет содержать повторяющиеся записи.		Поддерживаются две формы репликации: повторяющаяся выборка, в процессе которой образцы несколько раз случайно разбиваются на тренировочный и тестовый набор, и метод рэндомизации, когда тренировочный набор создается выборкой с заменой из образцов, количество выборок равно количеству образцов. В случае использования метода рэндомизации, число образцов в каждом наборе будет равно общему количеству образцов ('''ШТО?!'''), так что тренировочный набор будет содержать повторяющиеся записи.

	В обоих случаях, может оказаться полезным отключение опции записи выходных матриц (“write output grids”), что не даст создавать выходные матрицы для каждой репликации и сэкономит дисковое пространство. Созданы будут только общие статистики, среднее, стандартное отклонение и т.д.		В обоих случаях, может оказаться полезным отключение опции записи выходных матриц (“write output grids”), что не даст создавать выходные матрицы для каждой репликации и сэкономит дисковое пространство. Созданы будут только общие статистики, среднее, стандартное отклонение и т.д.
Строка 422:		Строка 422:
	<center>[[Файл:Maxent rplot.gif]]</center>		<center>[[Файл:Maxent rplot.gif]]</center>

	команда “performance” показывает AUC значение 0.8677759, что совпадает с AUC отчетом у Maxent. Далее, в качестве примера теста доступного в R, но не в Maxent, мы запустим ~~бутстрэп~~-анализ стандартного отклонения AUC.		команда “performance” показывает AUC значение 0.8677759, что совпадает с AUC отчетом у Maxent. Далее, в качестве примера теста доступного в R, но не в Maxent, мы запустим рэндом-анализ стандартного отклонения AUC.

	<pre>AUC <- function(p,ind) {		<pre>AUC <- function(p,ind) {
Строка 432:		Строка 432:
	}		}

	b1 <- boot(testpp, AUC, 100) # сделать 100 ~~бутстрэп~~ AUC вычислений</pre>		b1 <- boot(testpp, AUC, 100) # сделать 100 AUC вычислений методом рэндомизации</pre>

	Получаем результат:		Получаем результат:
Строка 446:		Строка 446:
	t1* 0.8677759 -0.0003724138 0.02972513</pre>		t1* 0.8677759 -0.0003724138 0.02972513</pre>

	и мы видим, что ~~бутстрэп-анализ~~ стандартной ошибки (0.02972513) близок к стандартной ошибке вычисленной Maxent (0.028). ~~Бутстрэп результат~~ так же может быть использован для оценки надежности интервалов для AUC:		и мы видим, что вычисление стандартной ошибки методом рэндомизации (0.02972513) близок к стандартной ошибке вычисленной Maxent (0.028). Метод рэндомизации так же может быть использован для оценки надежности интервалов для AUC:

	<pre>boot.ci(b1)</pre>		<pre>boot.ci(b1)</pre>
Строка 459:		Строка 459:
	95% ( 0.8064, 0.9252 ) ( 0.7786, 0.9191 ) </pre>		95% ( 0.8064, 0.9252 ) ( 0.7786, 0.9191 ) </pre>

	Тот, кто знаком с использованием ~~бутсрэп-анализа~~ заметит, что мы ~~бутсрэпим~~ только значения находок. Мы можем так же ~~отбутсрэпить~~ и фоновые показатели, но эти результаты не изменят картины, учитывая очень большие значения фоновых показателей (10000).		Тот, кто знаком с использованием метода рэндомизации заметит, что мы используем в нем только значения находок. Мы можем так же использовать и фоновые показатели, но эти результаты не изменят картины, учитывая очень большие значения фоновых показателей (10000).

	В качестве последнего примера мы рассмотрим вычисление биноминальной статистики и Cohen’s Kappa на примере правил для пороговых значений. Для начала, следующий код вычисляет Kappa для порога заданного минимальным значением предсказаний:		В качестве последнего примера мы рассмотрим вычисление биноминальной статистики и Cohen’s Kappa на примере правил для пороговых значений. Для начала, следующий код вычисляет Kappa для порога заданного минимальным значением предсказаний:

Максим Дубинин: /* Какие переменные имеют больший вес? */

2013-02-28T19:15:23Z

Какие переменные имеют больший вес?

← Предыдущая версия		Версия от 21:15, 28 февраля 2013
Строка 141:		Строка 141:
	<center>[[Файл:Maxent jackknife test auc.gif]]</center>		<center>[[Файл:Maxent jackknife test auc.gif]]</center>

	Сравнение диаграмм может быть весьма полезным. Диаграмма AUC показывает, что годовые осадки – переменная, наиболее эффективно ~~предсказывающая~~ распределение точек находок, которые были выделены в тестовый набор данных. ~~<span style="color:#009000">Если~~ эффективность предсказания ~~измеряется~~ с ~~использованием~~ AUC, ~~несмотря на то~~, ~~что она почти совсем~~ не используется для построения модели когда используются все переменные.~~</span>~~ Относительная важность годовых осадков также достаточно велика судя по диаграмме прироста по тестовым данным, по сравнению с тренировочными. Дополнительно, эти две диаграммы показывают, что некоторые из светло-голубых столбцов (особенно для месячных осадков) длиннее чем красный столбец, что говорит о том, что предсказательная сила модели увеличивается если эти переменные не используются.		Сравнение диаграмм может быть весьма полезным. Диаграмма AUC показывает, что годовые осадки - это переменная, которая в одиночку наиболее эффективно предсказывает распределение точек находок, которые были выделены в тестовый набор данных. Эта эффективность предсказания измерена с помощью AUC, однако, эта переменная практически не используется для построения модели когда используются все переменные. Относительная важность годовых осадков также достаточно велика судя по диаграмме прироста по тестовым данным, по сравнению с тренировочными. Дополнительно, эти две диаграммы показывают, что некоторые из светло-голубых столбцов (особенно для месячных осадков) длиннее чем красный столбец, что говорит о том, что предсказательная сила модели увеличивается если эти переменные не используются.

	Это говорит нам о том, что переменные месячных осадков помогают Maxent хорошо описать тренировочные данные, но годовые осадки лучше генерализуют, показывая сравнительно лучший результат для отложенных тестовых данных. Другими словами, модели созданные с месячными осадками являются менее переносимыми. Это важно, если нашей целью является перенос модели, например применение ее к будущим климатическим переменным с тем, чтобы оценить будущее распространение вида при условии изменения климата. То, что месячные значения осадков являются менее переносимыми – логично: вероятно, что подходящие местообитания для ''Bradypus'' будут зависеть не от точных значений осадков в конкретный месяц, а от общих значений и, возможно, периодичности дождей и отсутствия сухих периодов. При моделировании на континентальном уровне весьма вероятны сдвиги в точном времени сезонных осадков, которые будут влиять на месячные осадки, но не на подходящие условия для ''Bradypus''.		Это говорит нам о том, что переменные месячных осадков помогают Maxent хорошо описать тренировочные данные, но годовые осадки лучше генерализуют, показывая сравнительно лучший результат для отложенных тестовых данных. Другими словами, модели созданные с месячными осадками являются менее переносимыми. Это важно, если нашей целью является перенос модели, например применение ее к будущим климатическим переменным с тем, чтобы оценить будущее распространение вида при условии изменения климата. То, что месячные значения осадков являются менее переносимыми – логично: вероятно, что подходящие местообитания для ''Bradypus'' будут зависеть не от точных значений осадков в конкретный месяц, а от общих значений и, возможно, периодичности дождей и отсутствия сухих периодов. При моделировании на континентальном уровне весьма вероятны сдвиги в точном времени сезонных осадков, которые будут влиять на месячные осадки, но не на подходящие условия для ''Bradypus''.

Максим Дубинин: /* Как предсказание зависит от переменных? */

2013-02-28T19:11:45Z

Как предсказание зависит от переменных?

← Предыдущая версия		Версия от 21:11, 28 февраля 2013
Строка 173:		Строка 173:
	<center>[[Файл:Maxent response hinge.gif]]</center>		<center>[[Файл:Maxent response hinge.gif]]</center>

	Общий контур двух профилей похож, но в деталях они разные, так как разные типы функций позволяют разные возможные формы кривых зависимостей. ~~<u>~~Экспонента в модели Maxent является суммой числовых характеристик функций среды, а сумма пороговых числовых характеристик это всегда ступенчатая функция, так что логистический результат - тоже ступенчатая функция (также как сырой и кумулятивный результат). Для сравнения, сумма нелинейных числовых характеристик - всегда кусочно-линейная функция, так что если используются только нелинейные признаки, экспонента Maxent является кусочно линейной~~</u>~~. Это объясняет последовательность соединенных линейных сегментов во второй кривой зависимости приведенной выше. (Отметьте, что линии слегка кривые, особенно там где значения переменной близки к экстремальным; это происходит потому что логистический результат применяет сигмоидную функцию к экспоненте Maxent.) Использование всех видов объектов (по умолчанию, если достаточно данных) позволяет точно моделировать даже сложные зависимости. Более подробное объяснение различных видов функций доступно в справке программы (кнопка help).		Общий контур двух профилей похож, но в деталях они разные, так как разные типы функций позволяют разные возможные формы кривых зависимостей. Экспонента в модели Maxent является суммой числовых характеристик функций среды, а сумма пороговых числовых характеристик (threshold features) это всегда ступенчатая функция, так что логистический результат - тоже ступенчатая функция (также как сырой и кумулятивный результат). Для сравнения, сумма нелинейных числовых характеристик (hinge features) - всегда кусочно-линейная функция, так что если используются только нелинейные признаки, экспонента Maxent является кусочно линейной. Это объясняет последовательность соединенных линейных сегментов во второй кривой зависимости приведенной выше. (Отметьте, что линии слегка кривые, особенно там где значения переменной близки к экстремальным; это происходит потому что логистический результат применяет сигмоидную функцию к экспоненте Maxent.) Использование всех видов объектов (по умолчанию, если достаточно данных) позволяет точно моделировать даже сложные зависимости. Более подробное объяснение различных видов функций доступно в справке программы (кнопка help).

	== Интерактивное изучение результатов предсказания: инструмент Explain (объяснение) ==		== Интерактивное изучение результатов предсказания: инструмент Explain (объяснение) ==

Максим Дубинин: /* Словарь */

2013-02-28T19:10:59Z

Словарь

← Предыдущая версия		Версия от 21:10, 28 февраля 2013
Строка 15:		Строка 15:

	==Словарь==		==Словарь==
	feature — ~~числовые признаки~~, ~~являющиеся функциями~~ входных данных (градиентов среды) или ~~попросту~~ функция градиента среды		*feature — числовой признак, являющийся функцией входных данных (градиентов среды) или, другими словами, функция градиента среды
			*product feature — произведение числовых признаков
	product feature — произведение числовых признаков		*hinge feature — нелинейные числовой признак
			*threshold feature - пороговый числовой признак
	hinge ~~features~~ — нелинейные ~~числовые признаки~~		*presence — присутствие
			*absence — отсутствие
	presence — присутствие		*response curve — кривая зависимости (кривая отклика)
			*predicted suitability — пригодность местообитаний
	absence — отсутствие		*threshold features — пороговые числовые характеристики
			*step function — ступенчатая функция
	response curve — кривая зависимости (кривая отклика)		*piece-wise linear function — кусочно-линейная функция
			*sigmoid function — сигмоидная функция
	predicted suitability — пригодность местообитаний		*additive function — аддитивная функция
			*Maxent exponent — экспонента Maxent
	threshold features — пороговые числовые характеристики		*overfitting — переобучение (излишнее обучение) модели
			*clamping — слияние
	step function — ступенчатая функция		*boostrapping - методы рандомизации
			*gain - прирост
	piece-wise linear function — кусочно-линейная функция

	sigmoid function — сигмоидная функция

	additive function — аддитивная функция

	Maxent exponent — экспонента Maxent

	overfitting — переобучение модели

	clamping — слияние

	boostrapping - методы рандомизации

	gain - прирост

	== Начало ==		== Начало ==