Классические и новые методы повышения разрешения мультиспектральных изображений: различия между версиями

Материал из GIS-Lab
Перейти к навигации Перейти к поиску
(абзац об алгоритмах замены компонентов)
Нет описания правки
 
(не показано 9 промежуточных версий этого же участника)
Строка 1: Строка 1:
<big>данная страница являет собой сокращенный перевод статьи [http://asp.eurasipjournals.com/content/2011/1/79/#sec3 A survey of classical methods and new trends in pansharpening of multispectral images].Авторы Israa Amro, Javier Mateos, Miguel Vega, Rafael Molina и Aggelos K Katsaggelos</big><br />
<big>данная страница являет собой сокращенный перевод статьи [http://asp.eurasipjournals.com/content/2011/1/79/#sec3 A survey of classical methods and new trends in pansharpening of multispectral images].Авторы Israa Amro, Javier Mateos, Miguel Vega, Rafael Molina и Aggelos K Katsaggelos</big><br />
= КРАТКОЕ СОДЕРЖАНИЕ =
= КРАТКОЕ СОДЕРЖАНИЕ =
<br />
<br/>
Существует целый ряд спутников  ДЗЗ, дающих как панхроматические, так и спектрозональные изображения.  Для увеличения пространственного разрешения мультиспектральных изображений при одновременном сохранении спектральной информации используется паншарпенинг (pansharpening ) -  техника  слияния изображений на уровне пикселя. В этой статье мы приводим обзор методов паншарпенинга, предложенных в литературе, даем их классификацию и описание основных характеристик. Также в работе проводится анализ и оценка качества изображения, прошедшего паншарпенинг, как визуальная, так и количественная, и рассматриваются различные показатели качества, предложенные для этой цели.<br />
Существует целый ряд спутников  ДЗЗ, дающих как панхроматические, так и спектрозональные изображения.  Для увеличения пространственного разрешения мультиспектральных изображений при одновременном сохранении спектральной информации используется паншарпенинг (pansharpening) -  техника  слияния изображений на уровне пикселя. В этой статье мы приводим обзор методов паншарпенинга, предложенных в литературе, даем их классификацию и описание основных характеристик. Также в работе проводится анализ и оценка качества изображения, прошедшего паншарпенинг, как визуальная, так и количественная, и рассматриваются различные показатели качества, предложенные для этой цели.<br />
= Предварительная обработка изображений =
= Предварительная обработка изображений =
После того, как данные прошли стандартную обработку (об уровнях обработки изображений см. на сайтах поставщиков снимков), изображения необходимо предварительно обработать для проведения собственно алгоритма паншарпенинга. Эта предварительная обработка может включать в себя регистрацию, передискретизацию и согласование гистограммы мультиспектральных и панхроматических изображений. Изучим теперь эти процессы в деталях.
После того, как данные прошли стандартную обработку (об уровнях обработки изображений см. на сайтах поставщиков снимков), изображения необходимо предварительно обработать для проведения собственно алгоритма паншарпенинга. Эта предварительная обработка может включать в себя регистрацию, передискретизацию и согласование гистограммы мультиспектральных и панхроматических изображений. Изучим теперь эти процессы в деталях.
Строка 10: Строка 10:
Существует множество методов корегистрации изображений. Их можно разделить на две категории: зональные методы и объектные методы. Зональные методы, которые  не ищут на изображениях одинаковые объекты, включают методы Фурье, методы кросс-корреляции и методы взаимной информации <ref name="Zitova">''B Zitova, J Flusser'', Image registration methods: A survey. Image and Vision Computing 21, 977–1000 (2003). </ref>. С серого уровня значений изображения могут быть совершенно разными, и из-за того, что для любых двух различных изображений ни корреляции, ни взаимная информация не является максимальной, если изображения пространственно выровнены, - зональные методы плохо приспособлены к корегистрации мультисенсорных изображений <ref name="yang"/>. Объектные методы призваны находить одинаковые объекты на двух изображениях, и они, как показано в литературе, больше подходят для этой задачи. К методам этой категории относятся методы, использующие пространственные отношения, основанные на инвариантных дескрипторах, смягчении (?) и пирамидальных и вейвлет-разложениях изображения <ref name="Zitova"/>.
Существует множество методов корегистрации изображений. Их можно разделить на две категории: зональные методы и объектные методы. Зональные методы, которые  не ищут на изображениях одинаковые объекты, включают методы Фурье, методы кросс-корреляции и методы взаимной информации <ref name="Zitova">''B Zitova, J Flusser'', Image registration methods: A survey. Image and Vision Computing 21, 977–1000 (2003). </ref>. С серого уровня значений изображения могут быть совершенно разными, и из-за того, что для любых двух различных изображений ни корреляции, ни взаимная информация не является максимальной, если изображения пространственно выровнены, - зональные методы плохо приспособлены к корегистрации мультисенсорных изображений <ref name="yang"/>. Объектные методы призваны находить одинаковые объекты на двух изображениях, и они, как показано в литературе, больше подходят для этой задачи. К методам этой категории относятся методы, использующие пространственные отношения, основанные на инвариантных дескрипторах, смягчении (?) и пирамидальных и вейвлет-разложениях изображения <ref name="Zitova"/>.
== Увеличение частоты дискретизации изображения и интерполяция ==
== Увеличение частоты дискретизации изображения и интерполяция ==
Если зарегистрированный снимок является слишком грубым и не обладает требуемым разрешением, увеличение частоты дискретизации может быть необходимым для получения более высокого разрешения. Процесс дискретизации может включать в себя интерполяцию, которая, как правило, выполняется посредством свертки изображения с интерполяцией ядра (?) <ref>''RC Gonzalez, RE Woods'', Digital image processing, 3rd edn. (Prentice Hall, 2008).</ref> Методы интерполяции <ref name="KK Teoh">''KK Teoh, H Ibrahim, SK Bejo'', Investigation on several basic interpolation methods for the use in remote sensing application. Proceedings of the 2008 IEEE Conference on Innovative Technologies (2008)</ref> включают ''метод ближайшего соседа'', который рассматривает только ближайший к точке интерполяции пиксель (требует наименьшего времени обработки), ''метод билинейной интерполяции'', который создает в целевом изображении новый пиксель как средневзвешенный из четырех ближайших соседних пикселов изображения-источника, и ''интерполяция со сглаживающим фильтром'', которая создает пиксель как средневзвешенное  пикселей, содержащихся в области, оказавшейся под фильтром. Этот процесс формирует изображения с плавными переходами в сером уровне, тогда как ''интерполяция с фильтром резкости'' усиливает детали, которые были размыты, и выделяет мелкие детали. Тем не менее, усиливающие фильтры производят нежелательное сглаживание в выходном изображении, которого можно избежать путем применением ''интерполяции с нерезким маскированием'', которая вычитает размытую версию изображения из исходного изображения. Авторы работы <ref name="KK Teoh"/> делают вывод, что только билинейная интерполяция, интерполяция со сглаживающим фильтром и интерполяция с нерезким маскированием имеют потенциал для обработки данных дистанционного зондирования. Следует отметить, что интерполяция не приводит к увеличению подробности информации в изображении, но это необходимо для приведение в соответствие количества пикселей изображений с разным пространственным разрешением.
Если зарегистрированный снимок является слишком грубым и не обладает требуемым разрешением, увеличение частоты дискретизации может быть необходимым для получения более высокого разрешения. Процесс дискретизации может включать в себя интерполяцию, которая, как правило, выполняется посредством свертки изображения с интерполяцией ядра (?) <ref name="gonz">''RC Gonzalez, RE Woods'', Digital image processing, 3rd edn. (Prentice Hall, 2008).</ref> Методы интерполяции <ref name="KK Teoh">''KK Teoh, H Ibrahim, SK Bejo'', Investigation on several basic interpolation methods for the use in remote sensing application. Proceedings of the 2008 IEEE Conference on Innovative Technologies (2008)</ref> включают ''метод ближайшего соседа'', который рассматривает только ближайший к точке интерполяции пиксель (требует наименьшего времени обработки), ''метод билинейной интерполяции'', который создает в целевом изображении новый пиксель как средневзвешенный из четырех ближайших соседних пикселов изображения-источника, и ''интерполяция со сглаживающим фильтром'', которая создает пиксель как средневзвешенное  пикселей, содержащихся в области, оказавшейся под фильтром. Этот процесс формирует изображения с плавными переходами в сером уровне, тогда как ''интерполяция с фильтром резкости'' усиливает детали, которые были размыты, и выделяет мелкие детали. Тем не менее, усиливающие фильтры производят нежелательное сглаживание в выходном изображении, которого можно избежать путем применением ''интерполяции с нерезким маскированием'', которая вычитает размытую версию изображения из исходного изображения. Авторы работы <ref name="KK Teoh"/> делают вывод, что только билинейная интерполяция, интерполяция со сглаживающим фильтром и интерполяция с нерезким маскированием имеют потенциал для обработки данных дистанционного зондирования. Следует отметить, что интерполяция не приводит к увеличению подробности информации в изображении, но это необходимо для приведение в соответствие количества пикселей изображений с разным пространственным разрешением.
== Согласование гистограммы ==
== Согласование гистограммы ==
Некоторые алгоритмы паншарпенинга требуют, чтобы спектральная яркость панхроматического изображения соответствовала каждому из диапазонов мультиспектрального снимка или совпадала с преобразованным на основе мультиспектрального снимка изображением.  К сожалению, это не всегда так <ref name="richards"/>, и такие методы склонны к спектральным искажениям. Приведение в соответствие гистограмм панхроматических и мультиспектральных изображений позволяет свести к минимуму несовпадение яркости  во время панашрпенинга и уменьшить спектральные искажения результирующего изображения. Методы,применяемые для согласования гистограмм изображений ДЗЗ описаны, например, в <ref>''W Dou, Y Chen '', An improved IHS image fusion method with high spectral fidelity. The Int Archiv of the Photogramm, Rem Sensing and Spat Inform Sciences XXXVII, 1253–1256 (2008) (part, 2008), . B7 </ref>. Методика, описанная в этой работе, минимизирует изменение спектральной яркости результирующего изображения (HRMS) относительно исходного  мультиспектрального изображения с более низким разрешением (LRMS). Этот метод рассчитывает значение каждого пикселя (I, J), как<br />
Некоторые алгоритмы паншарпенинга требуют, чтобы спектральная яркость панхроматического изображения соответствовала каждому из диапазонов мультиспектрального снимка или совпадала с преобразованным на основе мультиспектрального снимка изображением.  К сожалению, это не всегда так <ref name="richards"/>, и такие методы склонны к спектральным искажениям. Приведение в соответствие гистограмм панхроматических и мультиспектральных изображений позволяет свести к минимуму несовпадение яркости  во время панашрпенинга и уменьшить спектральные искажения результирующего изображения. Методы,применяемые для согласования гистограмм изображений ДЗЗ описаны, например, в <ref>''W Dou, Y Chen '', An improved IHS image fusion method with high spectral fidelity. The Int Archiv of the Photogramm, Rem Sensing and Spat Inform Sciences XXXVII, 1253–1256 (2008) (part, 2008), . B7 </ref>. Методика, описанная в этой работе, минимизирует изменение спектральной яркости результирующего изображения (HRMS) относительно исходного  мультиспектрального изображения с более низким разрешением (LRMS). Этот метод рассчитывает значение каждого пикселя (I, J), как<br />
Строка 20: Строка 20:
= Классификация методов паншарпенинга =
= Классификация методов паншарпенинга =
После того снимок прошел предварительную обработку, описанную выше, проводится собственно сам паншерпенинг. В литературе описано множество методов, разработанных в течение последних двух десятилетий, и даже приведено большое количество терминов, используемых для обозначения слияния изображений. В 1980 году Вонг и соавторы <ref> ''FH Wong, R Orth'', Registration of SEASAT/LANDSAT composite images to UTM coordinates. Proceedings of the Sixth Canadian Syinposium on Remote Sensing, 161–164 (1980) </ref> предложили метод слияния каналов Landsat MSS и радарного снимка Seasat. Метод основывался на модуляции интенсивности каждого пикселя каналов MSS со значением соответствующего пикселя изображения радарного снимка и поэтому так и был назван - слияние изображений методом ''модуляции интенсивности (IM)''. Другие ученые оценивали методы паншарпенинга изображений с разных сенсоров с точки зрения корегистрации <ref> ''P Rebillard, PT Nguyen'', An exploration of co-registered SIR-A, SEASAT and Landsat images. Proceeidngs International Symposium on RS of Environment, RS for Exploration Geology, 109–118 (1982)</ref>, повышения разрешения <ref>''R Simard'', Improved spatial and altimetric information from SPOT composite imagery. Proceedings International Symposium of Photogrammetry and Remote Sensing), 434–440 (1982)</ref>  или совместного анализа данных <ref> ''EP Crist'', Comparison of coincident Landsat-4 MSS and TM data over an agricultural region. Proceedings of the 50th Annual Meeting ASP-ACSM Symposium, ASPRS, 508–517 (1984)</ref>.<br />
После того снимок прошел предварительную обработку, описанную выше, проводится собственно сам паншерпенинг. В литературе описано множество методов, разработанных в течение последних двух десятилетий, и даже приведено большое количество терминов, используемых для обозначения слияния изображений. В 1980 году Вонг и соавторы <ref> ''FH Wong, R Orth'', Registration of SEASAT/LANDSAT composite images to UTM coordinates. Proceedings of the Sixth Canadian Syinposium on Remote Sensing, 161–164 (1980) </ref> предложили метод слияния каналов Landsat MSS и радарного снимка Seasat. Метод основывался на модуляции интенсивности каждого пикселя каналов MSS со значением соответствующего пикселя изображения радарного снимка и поэтому так и был назван - слияние изображений методом ''модуляции интенсивности (IM)''. Другие ученые оценивали методы паншарпенинга изображений с разных сенсоров с точки зрения корегистрации <ref> ''P Rebillard, PT Nguyen'', An exploration of co-registered SIR-A, SEASAT and Landsat images. Proceeidngs International Symposium on RS of Environment, RS for Exploration Geology, 109–118 (1982)</ref>, повышения разрешения <ref>''R Simard'', Improved spatial and altimetric information from SPOT composite imagery. Proceedings International Symposium of Photogrammetry and Remote Sensing), 434–440 (1982)</ref>  или совместного анализа данных <ref> ''EP Crist'', Comparison of coincident Landsat-4 MSS and TM data over an agricultural region. Proceedings of the 50th Annual Meeting ASP-ACSM Symposium, ASPRS, 508–517 (1984)</ref>.<br />
После запуска французской спутниковой системы SPOT в феврале 1986 года появилась возможность применения мультиспектральных снимков высокого разрешения для нужд землепользования и анализа почвенно-растительного покрова. Клише и соавт. <ref>''G Cliche, F Bonn, P Teillet'', Integration of the SPOT panchromatic channel into its multispectral mode for image sharpness enhancement. Photogramm Eng Remote Sens 51(3), 311–316 (1985)</ref>, который работал с моделированными данными SPOT еще до запуска аппарата, показал, что смоделированные спектрозональные 10-метровые изображения могут быть получены путем слияния каждого из диапазонов SPOT MS (XS) с панхроматическим SPOT PAN с использованием трех различных методов модуляции интенсивности. Уэлч и соавт.<ref>''R Welch, M Ehlers'', Merging multiresolution SPOT HRV and landsat TM data. Photogramm Eng Remote Sens 53(3), 301–303 (1987)</ref> использовал термин "слияние (merge)", а не "интеграция", и предложил слияние PAN и SPOT XS данных с использованием ''IHS-преобразований''. Данный метод был ранее предложен Гайдном и соавторами <ref>''R Haydn, GW Dalke, J Henkel'', Application of the IHS color transform to the processing of multisensor data and image enhancement. lnternational Symposium on Remote Sensing of Arid and Semi-Arid Lands, 599–616 (1982)</ref> для слияния Landsat MSS со снимком Return Beam Vidicon (RBV, аппарат на борту [http://en.wikipedia.org/wiki/Landsat_1 Landsat1]) и снимка Landsat MSS с данными [http://en.wikipedia.org/wiki/Heat_Capacity_Mapping_Mission Heat Capacity Mapping Mission]. В 1988 году Чавес и соавт. <ref>''PS Chavez, JA Bowell Jr.'', Comparison of the spectral information content of Landsat Thematic Mapper and SPOT for three different sites in the Phoenix, Arizona region. Photogramm Eng Remote Sens 54(12), 1699–1708 (1988)</ref> использовали панхроматические данные SPOT  для повышения разрешения Landsat TM с помощью ''высокочастотной фильтрации'' (high-pass filtering, HPF) данных SPOT PAN перед его слиянием  с данными TM. Анализ так называемых классических методов, которые включают в себя IHS, HPF, ''преобразование Brovey''  (BT) <ref> ''AR Gillespie, AB Kahle, RE Walker'', Color enhancement of highly correlated images. II. Channel Ratio and "Chromaticity" Transformation Techniques. Remote Sensing Of Environment 22, 343–365 (1987)</ref> и ''замену главной компоненты''(PCS) <ref> ''PS Chavez, AY Kwarteng'', Extracting spectral contrast in Landsat thematic mapper image data using selective principal component analysis. Photogramm Eng Remote Sens 55(3), 339–348 (1989)</ref>, <ref> ''P Chavez, S Sides, J Anderson'', Comparison of three different methods to merge multiresolution and multispectral data: Landsat TM and SPOT panchromatic. Photogramm Eng Remote Sens 57(3), 295–303 (1991)</ref>, можно найти в <ref> ''C Pohl, JLV Genderen'', Multi-sensor image fusion in remote sensing: Concepts, methods, and applications. Int J Remote Sens 19(5), 823–854 (1998)</ref>.<br />
После запуска французской спутниковой системы SPOT в феврале 1986 года появилась возможность применения мультиспектральных снимков высокого разрешения для нужд землепользования и анализа почвенно-растительного покрова. Клише и соавт. <ref>''G Cliche, F Bonn, P Teillet'', Integration of the SPOT panchromatic channel into its multispectral mode for image sharpness enhancement. Photogramm Eng Remote Sens 51(3), 311–316 (1985)</ref>, который работал с моделированными данными SPOT еще до запуска аппарата, показал, что смоделированные спектрозональные 10-метровые изображения могут быть получены путем слияния каждого из диапазонов SPOT MS (XS) с панхроматическим SPOT PAN с использованием трех различных методов модуляции интенсивности. Уэлч и соавт.<ref>''R Welch, M Ehlers'', Merging multiresolution SPOT HRV and landsat TM data. Photogramm Eng Remote Sens 53(3), 301–303 (1987)</ref> использовал термин "слияние (merge)", а не "интеграция", и предложил слияние данных PAN и SPOT XS с использованием ''IHS-преобразований''. Данный метод был ранее предложен Гайдном и соавторами <ref>''R Haydn, GW Dalke, J Henkel'', Application of the IHS color transform to the processing of multisensor data and image enhancement. lnternational Symposium on Remote Sensing of Arid and Semi-Arid Lands, 599–616 (1982)</ref> для слияния Landsat MSS со снимком Return Beam Vidicon (RBV, аппарат на борту [http://en.wikipedia.org/wiki/Landsat_1 Landsat1]) и снимка Landsat MSS с данными [http://en.wikipedia.org/wiki/Heat_Capacity_Mapping_Mission Heat Capacity Mapping Mission]. В 1988 году Чавес и соавт. <ref name="chav1">''PS Chavez, JA Bowell Jr.'', Comparison of the spectral information content of Landsat Thematic Mapper and SPOT for three different sites in the Phoenix, Arizona region. Photogramm Eng Remote Sens 54(12), 1699–1708 (1988)</ref> использовали панхроматические данные SPOT  для повышения разрешения Landsat TM с помощью ''высокочастотной фильтрации'' (high-pass filtering, HPF) данных SPOT PAN перед его слиянием  с данными TM. Анализ так называемых классических методов, которые включают в себя IHS, HPF, ''преобразование Brovey''  (BT) <ref> ''AR Gillespie, AB Kahle, RE Walker'', Color enhancement of highly correlated images. II. Channel Ratio and "Chromaticity" Transformation Techniques. Remote Sensing Of Environment 22, 343–365 (1987)</ref> и ''замену главной компоненты''(PCS) <ref name="chav2"> ''PS Chavez, AY Kwarteng'', Extracting spectral contrast in Landsat thematic mapper image data using selective principal component analysis. Photogramm Eng Remote Sens 55(3), 339–348 (1989)</ref>, <ref> ''P Chavez, S Sides, J Anderson'', Comparison of three different methods to merge multiresolution and multispectral data: Landsat TM and SPOT panchromatic. Photogramm Eng Remote Sens 57(3), 295–303 (1991)</ref>, можно найти в <ref> ''C Pohl, JLV Genderen'', Multi-sensor image fusion in remote sensing: Concepts, methods, and applications. Int J Remote Sens 19(5), 823–854 (1998)</ref>.<br />
В 1987 году Прайс <ref> ''JC Price'', Combining panchromatic and multispectral imagery from dual resolution satellite instruments. Remote Sensing Of Environment 21, 119–128 (1987) </ref> разработал  методику слияния, основанную на ''статистических свойствах изображений''. Методика пригодна для комбинации двух изображений различного пространственного разрешения сенсора  SPOT High Resolution Visible (HRV). Кроме метода Прайса описаны и другие методы, основанные на статистических свойствах изображений, например, ''пространственно адаптивные методы'' <ref>''J Park, M Kang'', Spatially adaptive multi-resolution multispectral image fusion. Int J Remote Sensing 25(23), 5491–5508 (2004)</ref> и ''методы на основе алгоритма Байеса'' <ref> ''NDA Mascarenhas, GJF Banon, ALB Candeias'', Multispectral image data fusion under a Bayesian approach. Int J Remote Sensing 17, 1457–1471 (1996)</ref>, <ref> ''M Vega, J Mateos, R Molina, A Katsaggelos'', Super-resolution of multispectral images. The Computer Journal 1, 1–15 (2008)</ref>.<br />
В 1987 году Прайс <ref> ''JC Price'', Combining panchromatic and multispectral imagery from dual resolution satellite instruments. Remote Sensing Of Environment 21, 119–128 (1987) </ref> разработал  методику слияния, основанную на ''статистических свойствах изображений''. Методика пригодна для комбинации двух изображений различного пространственного разрешения сенсора  SPOT High Resolution Visible (HRV). Кроме метода Прайса описаны и другие методы, основанные на статистических свойствах изображений, например, ''пространственно адаптивные методы'' <ref>''J Park, M Kang'', Spatially adaptive multi-resolution multispectral image fusion. Int J Remote Sensing 25(23), 5491–5508 (2004)</ref> и ''методы на основе алгоритма Байеса'' <ref> ''NDA Mascarenhas, GJF Banon, ALB Candeias'', Multispectral image data fusion under a Bayesian approach. Int J Remote Sensing 17, 1457–1471 (1996)</ref>, <ref> ''M Vega, J Mateos, R Molina, A Katsaggelos'', Super-resolution of multispectral images. The Computer Journal 1, 1–15 (2008)</ref>.<br />
Сравнительно недавно появились методы слияния изображений с использованием ''обобщенной пирамиды Лапласа (GLP)''<ref>''B Aiazzi, L Alparone, S Baronti, A Garzelli'', Context-driven fusion of high spatial and spectral resolution images based on oversampled multiresolution analysis. IEEE Trans Geosc Remote Sens 40(10), 2300–2312 (2002)</ref>,<ref>''A Garzelli, F Nencini'', Interband structure modeling for pan-sharpening of very high-resolution multispectral images. Information Fusion 6, 213–224 (2005)</ref>, ''дискретного вейвлет-преобразования'' <ref>''SG Mallat'', A theory for multiresolution signal decomposition: The wavelet representation. IEEE Transactions On Pattern Analysis And Machine Intelligence 11(7), 674–693 (1989)</ref>,<ref>''J Zhou, DL Civco, JA Silander'', A wavelet transform method to merge Landsat TM and SPOT panchromatic data. Int J Remote Sens 19(4), 743–757 (1998)</ref> и ''преобразования contourlet(?)''  <ref> ''AL da Cunha, J Zhou, MN Do'', The nonsubsampled contourlet transform: Theory, design, and applications. IEEE Trans. Image Process 15(10), 3089–3101 (2006)</ref>, <ref> ''M Gonzalo, C Lillo-Saavedra'', Multispectral images fusion by a joint multidirectional and multiresolution representation. Int J Remote Sens 28(18), 4065–4079 (2007)</ref>, <ref>''I Amro, J Mateos'', Multispectral image pansharpening based on the contourlet transform. Journal of Physics Conference Series 206(1), 1–3 (2010) </ref>. Основной идеей этих методов является извлечение из изображения с более высоким разрешением пространственной информации, отсутствующей на снимке с низким разрешением, чтобы затем внедрить ее в результирующее изображение.<br />
Сравнительно недавно появились методы слияния изображений с использованием ''обобщенной пирамиды Лапласа (GLP)''<ref>''B Aiazzi, L Alparone, S Baronti, A Garzelli'', Context-driven fusion of high spatial and spectral resolution images based on oversampled multiresolution analysis. IEEE Trans Geosc Remote Sens 40(10), 2300–2312 (2002)</ref>,<ref>''A Garzelli, F Nencini'', Interband structure modeling for pan-sharpening of very high-resolution multispectral images. Information Fusion 6, 213–224 (2005)</ref>, ''дискретного вейвлет-преобразования'' <ref>''SG Mallat'', A theory for multiresolution signal decomposition: The wavelet representation. IEEE Transactions On Pattern Analysis And Machine Intelligence 11(7), 674–693 (1989)</ref>,<ref>''J Zhou, DL Civco, JA Silander'', A wavelet transform method to merge Landsat TM and SPOT panchromatic data. Int J Remote Sens 19(4), 743–757 (1998)</ref> и ''преобразования contourlet(?)''  <ref> ''AL da Cunha, J Zhou, MN Do'', The nonsubsampled contourlet transform: Theory, design, and applications. IEEE Trans. Image Process 15(10), 3089–3101 (2006)</ref>, <ref> ''M Gonzalo, C Lillo-Saavedra'', Multispectral images fusion by a joint multidirectional and multiresolution representation. Int J Remote Sens 28(18), 4065–4079 (2007)</ref>, <ref>''I Amro, J Mateos'', Multispectral image pansharpening based on the contourlet transform. Journal of Physics Conference Series 206(1), 1–3 (2010) </ref>. Основной идеей этих методов является извлечение из изображения с более высоким разрешением пространственной информации, отсутствующей на снимке с низким разрешением, чтобы затем внедрить ее в результирующее изображение.<br />
Строка 27: Строка 27:
(1) Группа ''замены компонентов (CS)'', которая включает методы IHS, PC и Грам-Шмидта (GS), поскольку все эти способы используют, как правило, линейные преобразования и замены некоторых компонентов в преобразованной области.<br />
(1) Группа ''замены компонентов (CS)'', которая включает методы IHS, PC и Грам-Шмидта (GS), поскольку все эти способы используют, как правило, линейные преобразования и замены некоторых компонентов в преобразованной области.<br />
(2) Группа  ''относительного спектрального вклада'', которая включает методы BT, IM и P+XS, где вместо замены применяется линейная комбинация спектральных диапазонов.<br />
(2) Группа  ''относительного спектрального вклада'', которая включает методы BT, IM и P+XS, где вместо замены применяется линейная комбинация спектральных диапазонов.<br />
(3) Группа ''внедрения деталей изображения с высоким разрешением в изображение с более низким разрешением'', которая включает методы HPF и HPM. Эти два способа основаны на придании деталей, извлекаемых путем вычитания низкочастотной фильтрации PAN изображения из оригинального изображения.<br />
(3) Группа ''внедрения деталей изображения с высоким разрешением в изображение с более низким разрешением'', которая включает методы HPF и HPM. Эти два способа основаны на придании деталей, извлекаемых путем вычитания низкочастотной фильтрации панхроматического изображения из оригинального изображения.<br />
(4) Методы, основанные на ''статистике изображения'', которые включают в себя метод Прайса, пространственно адаптивные методы, байесовский метод и метод [http://en.wikipedia.org/wiki/Superresolution супер-разрешения].<br />
(4) Методы, основанные на ''статистике изображения'', которые включают в себя метод Прайса, пространственно адаптивные методы, байесовский метод и метод [http://en.wikipedia.org/wiki/Superresolution супер-разрешения].<br />
(5) Группа методов, основанных на ''кратном увеличении разрешения (multiresolution)'', которая включает [http://www.cs.utah.edu/~arul/report/node12.html обобщенные пирамиды Лапласа], вейвлет и contourlet методы и любые их комбинации  с методами из других категорий.<br />
(5) Группа методов, основанных на ''кратном увеличении разрешения (multiresolution)'', которая включает [http://www.cs.utah.edu/~arul/report/node12.html обобщенные пирамиды Лапласа], вейвлет и contourlet методы и любые их комбинации  с методами из других категорий.<br />
Отметим, что хотя предложенная классификация насчитывает пять категорий, некоторые методы могут быть отнесены сразу к нескольким категориям, и в этом случае границы каждой категории нечеткие, существуют связи между категориями. Эти связи будут описаны ниже.
Отметим, что хотя предложенная классификация насчитывает пять категорий, некоторые методы могут быть отнесены сразу к нескольким категориям, и в этом случае границы каждой категории нечеткие, существуют связи между категориями. Эти связи будут описаны ниже.
== Методы, основанные на замене компонентов ==
== Методы, основанные на замене компонентов ==
Методы, основанные на замене компонентов(CS), требуют передискретизации изображения с низким разрешением (мультиспектр, MS) к разрешению PAN-изображения. Затем изображение МС преобразуется в набор компонентов, как правило с использованием линейного преобразования диапазонов MS.  Метод CS  работает путем замены компонента (преобразованного) MS изображения, Cj, компонентом Ch PAN-изображения. Эти методы имеют физический смысл только тогда, когда эти два компонента, Cj и Ch, содержат почти одинаковую спектральную информацию. Другими словами, Cj компонент должен содержать всю избыточную информацию как MS, так и PAN изображения, но Ch должен содержать больше пространственной информации. Неправильное построение компонента Cj приводит к сильным спектральным искажениям.Общий алгоритм повышения резкости CS обобщен ниже. Этот алгоритм был описан Ту и соавт. <ref name="Tu"/>. В этой работе авторы также доказали, что прямые и обратные преобразования не нужны и шаги 2-5 алгоритма 1 можно свести к поиску нового Cj компонента и добавлении разницы между PAN и этим новым компонентом для каждой группы передискретизованных мультиспектральных изображений. Эту структуру дополнили Ванг и соавт.<ref name="wang2"/>  и Aiazzi с соавт. <ref name="Aiazzi"/> в так называемом общем алгоритме  слияния изображений (GIF) и расширенном GIF (EGIF)соответственно.<br />
Методы, основанные на замене компонентов(CS), требуют передискретизации изображения с низким разрешением (мультиспектр) к разрешению панхроматического изображения. Затем мультиспектральное изображение преобразуется в набор компонентов, как правило с использованием линейного преобразования диапазонов MS.  Метод CS  работает путем замены компонента (преобразованного) мультиспектрального изображения, Cj, компонентом Ch панхроматического изображения. Эти методы имеют физический смысл только тогда, когда эти два компонента, Cj и Ch, содержат почти одинаковую спектральную информацию. Другими словами, Cj компонент должен содержать всю избыточную информацию как мультиспектрального, так и панхроматического изображения, но Ch должен содержать больше пространственной информации. Неправильное построение компонента Cj приводит к сильным спектральным искажениям.Общий алгоритм повышения резкости CS обобщен ниже. Этот алгоритм был описан Ту и соавт. <ref name="Tu"/>. В этой работе авторы также доказали, что прямые и обратные преобразования не нужны и шаги 2-5 Алгоритма 1 см. ниже)  можно свести к поиску нового Cj компонента и добавлении разницы между PAN и этим новым компонентом для каждой группы передискретизованных мультиспектральных изображений. Эту структуру дополнили Ванг и соавт.<ref name="wang2"/>  и Aiazzi с соавт. <ref name="Aiazzi"/> в так называемом общем алгоритме  слияния изображений (GIF) и расширенном GIF (EGIF)соответственно.<br />
Алгоритм 1 Паншарпенинг методом замены компонента
<b>Алгоритм 1 Паншарпенинг методом замены компонента</b>
# Повышение дискретизации изображения MS до размера PAN-изображения.
# Повышение дискретизации мультиспектрального изображения до размера панхроматического изображения.
# Прямое преобразование изображения MS в нужные компоненты.
# Прямое преобразование мультиспектрального изображения в нужные компоненты.
# Согласование гистограммы PAN-изображения с компонентом, который должен быть заменен.
# Согласование гистограммы панхроматического изображения с компонентом, который должен быть заменен.
# Замена компонента на прошедшее обработку в предыдущем пункте PAN-изображение.
# Замена компонента на прошедшее обработку в предыдущем пункте панхроматическое изображение.
# Обратное преобразование компонентов для получения результирующего изображения.<br />
# Обратное преобразование компонентов для получения результирующего изображения.<br />
Группа CS включает в себя многие популярные методы паншарпенинга, такие как IHS, PCS и метод Грам-Шмидта (GS) <ref name="shef"/>, <ref> ''W Dou, Y Chen, X Li, DZ Sui'', A general framework for component substitution image fusion: An implementation using the fast image fusion method. Computers & Geosciences 33, 219–228 (2007)</ref>, основанные на различной трансформации мультиспектрального изображения. CS методы привлекательны тем, что они быстры и просты в реализации и в большинстве случаев обеспечивают паншарпенинг изображений с хорошими визуальными/геометрическими качествами <ref> ''B Aiazzi, S Baronti, M Selva'', Improving component substitution pansharpening through multivariate regression of MS + Pan data. IEEE Trans Geosc Remote Sens 45(10), 3230–3239 (2007)</ref>. Тем не менее, результаты, полученные с помощью этих методов, сильно зависят от соотношения между диапазонами, а поскольку преобразование применяется ко всему изображению, она не принимает во внимание местные различия между панхроматическим и мультиспектральным изображением <ref>''C Thomas, T Ranchin, L Wald, J Chanussot'', Synthesis of multispectral images to high spatial resolution: A critical review of fusion methods based on remote sensing physics. IEEE Trans Geosci Remote Sens 46, 1301–1312 (2008)</ref>, <ref> ''L Alparone, B Aiazzi, SBA Garzelli, F Nencini'', A critical review of fusion methods for true colour display of very high resolution images of urban areas. 1st EARSeL Workshop of the SIG Urban Remote Sensing, Humboldt-Universität zu Berlin (2006)</ref>.
Группа CS включает в себя многие популярные методы паншарпенинга, такие как IHS, PCS и метод Грам-Шмидта (GS) <ref name="shef"/>, <ref> ''W Dou, Y Chen, X Li, DZ Sui'', A general framework for component substitution image fusion: An implementation using the fast image fusion method. Computers & Geosciences 33, 219–228 (2007)</ref>, основанные на различных трансформациях мультиспектрального изображения. CS методы привлекательны тем, что они быстры и просты в реализации и в большинстве случаев обеспечивают паншарпенинг изображений с хорошими визуальными/геометрическими качествами <ref> ''B Aiazzi, S Baronti, M Selva'', Improving component substitution pansharpening through multivariate regression of MS + Pan data. IEEE Trans Geosc Remote Sens 45(10), 3230–3239 (2007)</ref>. Тем не менее, результаты, полученные с помощью этих методов, сильно зависят от соотношения между диапазонами, а поскольку преобразование применяется ко всему изображению, она не принимает во внимание местные различия между панхроматическим и мультиспектральным изображением <ref name="Thomas">''C Thomas, T Ranchin, L Wald, J Chanussot'', Synthesis of multispectral images to high spatial resolution: A critical review of fusion methods based on remote sensing physics. IEEE Trans Geosci Remote Sens 46, 1301–1312 (2008)</ref>, <ref> ''L Alparone, B Aiazzi, SBA Garzelli, F Nencini'', A critical review of fusion methods for true colour display of very high resolution images of urban areas. 1st EARSeL Workshop of the SIG Urban Remote Sensing, Humboldt-Universität zu Berlin (2006)</ref>.<br />
Единственный тип преобразования не всегда способен дать оптимальный компонент, необходимый для замены, и поэтому трудно выбрать подходящий метод спектрального преобразования для различных наборов данных. Поэтому современные методы включают статистические тесты или различные взвешивающие коэффициенты для адаптивного выбора оптимального компонента для замены и преобразования. Это приводит к новому подходу, известному как адаптивная замена компонента <ref name="rah"> ''S Rahmani, M Strait, D Merkurjev, M Moeller, T Wittman'', An adaptive HIS pan-sharpening method. IEEE Geoscience And Remote Sensing Letters 7(3), 746–750 (2010)</ref>, <ref> ''VP Shah, NH Younan, RL King'', An efficient pan-sharpening method via a combined adaptive PCA approach and contourlets. IEEE Trans Geosc Remote Sens 46(5), 1323–1335 (2008)</ref>,<ref>''B Aiazzi, S Baronti, M Selva, L Alparone'', Enhanced Gram-Schmidt spectral sharpening based on multivariate regression of MS and pan data. IEEE International Conference on Geoscience and Remote Sensing Symposium, IGARSS 2006, 3806–3809 (2006)</ref>.<br />
IHS-метод паншарпенинга является одним из классических методов группы 3.1 <ref name="chav1"/>, <ref> ''WJ Carper, TM Lillesand, RW Kiefer'', The use of Intensity-Hue-Saturation transform for merging SPOT panchromatic and multispectral image data. Photogramm Eng Remote Sens 56(4), 459–467 (1990)</ref>. Он использует цветовое пространство IHS, которое часто выбирают из-за тенденции визуальной когнитивной системы человека воспринимать интенсивность (I), оттенок (H) и насыщенность (S) компонентов  как систему примерно ортогональных осей. IHS преобразование первоначально было применено к RGB True Color, но для задач дистанционного зондирования и в демонстрационных целях, произвольные диапазоны собираются в RGB-изображение, и получаются  композиты в ложном цвете <ref name="wang2"/>. Способность IHS эффективно отделить пространственную информацию (диапазон I) от спектральной информации (диапазоны H и S) делают его очень перспективным для паншарпенинга <ref name="gonz"/>. Существуют различные модели IHS преобразования, отличающиеся методом, используемым для вычисления значения интенсивности. Наиболее часто используется гексагон Смита (Smith's hexacone) и триангуляционные модели <ref>''V Vijayaraj'', A quantitative analysis of pansharpened images. Master's thesis, Mississippi State Univ (2004).</ref>. Пример  изображения, полученного IHS-методом, показан на [http://asp.eurasipjournals.com/content/2011/1/79/figure/F2 | рисунке].<br/>
Основным недостатком метода является участие в синтезе только трех диапазонов. Ту и соавт. <ref name="Tu"/> предложили обобщенное IHS преобразование, которое преодолевает ограничения размерности. В любом случае, поскольку спектральный отклик I, синтезированный из канала мультиспектрального изображения, как правило, не соответствует радиометрическим характеристикам  панхроматического изображения, прошедшего согласование гистограммы <ref name="Aiazzi"/>, когда результат паншарпенинга отображается в цветовой композиции, при изменениях цвета (?) могут появляться большие спектральные искажения. Для того, чтобы свести к минимуму искажения спектра при IHS, Ту и соавт.  <ref name="Tu2"> ''TM Tu, PS Huang, CL Hung, CP Chang'', A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery. IEEE Geoscience And Remote Sensing Letters 1(4), 309–312 (2004)</ref> предложили новый метод адаптивного IHS для изображений IKONOS, в котором интенсивность диапазона приближается к интенсивности панхроматического изображения, насколько это возможно. Эта технология получила развитие в работе Рахмани и соавт. <ref name="rah"/> для любых изображений путем определения максимально аппроксимирующих коэффициентов α<sub>i</sub><br/>
PAN=∑<sub>i</sub>α<sub>i</sub>MS<sub>i</sub>,
благодаря (?) физической неотрицательности коэффициента α<sub>i</sub>. Необходимо заметить, что хотя этот метод снижает искажения спектра, местные различия между мультиспектральными и панхроматическими снимками могут остаться <ref name="Thomas"/>.<br />
Еще один метод группы CS - это метод замены главной компоненты  (PCS), который опирается на математическое преобразование методом анализа главных компонент (PCA). Преобразование, известное также как преобразование Karhunen-Loéve или Hotelling, широко используется в обработке сигналов, статистике и многих других областях. Это преобразование создает новый набор повернутых координатных осей, в которых  спектральные компоненты  нового изображения не коррелируют. Наибольшая дисперсия сопоставляется с первым компонентом, у каждого из последующих дисперсия уменьшается. Сумма дисперсий по всем компонентам равна общей дисперсии исходного изображения. Алгоритм PCA и вычисления матрицы преобразования показаны в работе <ref name="gonz"/>. Теоретически, первая главная компонента, PC1, собирает информацию, которая является общей для всех диапазонов, используемых в качестве входных данных в PCA, т. е. пространственную информацию, в то время как спектральную информацию, специфичную для каждого диапазона, захватывают другие компоненты <ref>''J Zhou, DL Civco, JA Silander'', A wavelet transform method to merge Landsat TM and SPOT panchromatic data. Int J Remote Sens 19(4), 743–757 (1998)</ref>,<ref name="chav2"/>. Это делает PCS адекватным методом слияния мультиспектральных и панхроматических изображений. PCS аналогичен методу IHS, с тем основным преимуществом, что можно обрабатывать произвольное число диапазонов. Однако некоторые детали пространственной информации не могут быть отображены первой компонентой - это зависит от степени корреляции и спектрального контраста, существующих между диапазонами <ref name="chav2"/>. В результате образуются те же проблемы, что и у метода IHS.
= Список литературы =
= Список литературы =
<references>
<references>
<references/>
<references/>

Текущая версия от 11:48, 27 августа 2013

данная страница являет собой сокращенный перевод статьи A survey of classical methods and new trends in pansharpening of multispectral images.Авторы Israa Amro, Javier Mateos, Miguel Vega, Rafael Molina и Aggelos K Katsaggelos

КРАТКОЕ СОДЕРЖАНИЕ


Существует целый ряд спутников ДЗЗ, дающих как панхроматические, так и спектрозональные изображения. Для увеличения пространственного разрешения мультиспектральных изображений при одновременном сохранении спектральной информации используется паншарпенинг (pansharpening) - техника слияния изображений на уровне пикселя. В этой статье мы приводим обзор методов паншарпенинга, предложенных в литературе, даем их классификацию и описание основных характеристик. Также в работе проводится анализ и оценка качества изображения, прошедшего паншарпенинг, как визуальная, так и количественная, и рассматриваются различные показатели качества, предложенные для этой цели.

Предварительная обработка изображений

После того, как данные прошли стандартную обработку (об уровнях обработки изображений см. на сайтах поставщиков снимков), изображения необходимо предварительно обработать для проведения собственно алгоритма паншарпенинга. Эта предварительная обработка может включать в себя регистрацию, передискретизацию и согласование гистограммы мультиспектральных и панхроматических изображений. Изучим теперь эти процессы в деталях.

Корегистрация изображений

Для решения большинства прикладных задач на один и тот же географический регион требуется совместная обработка двух или более сцен, полученных в разное время или с различных сенсоров. В данном случае роль регистрации изображений состоит в том, чтобы пиксели обоих изображений точно совпадали с соответствующими точками на земле, [1]. Два изображения могут быть взаимно корегистрированы путем привязки каждого из них по координатам наземных точек (или точек, взятых с карты), или же одно из изображений выбирается в качестве главного, к которому привязываются другие [2]. В связи с различными аппаратными характеристиками, проблема корегистрации снимков с различных сенсоров является более сложной, чем корегистрация изображений одного и того же сенсора [3]. Здесь можно столкнуться с такими проблемами, как присутствие на одном из изображений объектов, которые могут только частично появиться на другом изображении или не появляются вообще. Изменение контрастности некоторых областей изображения, множество значений интенсивности одного снимка, которые должны быть отображены одним значением интенсивности на другом снимке или значительная разнородность изображений одной и той же сцены, полученная в результате конфигураций с различным параметрами - также проблемы, решаемые различными методами корегистрации . Существует множество методов корегистрации изображений. Их можно разделить на две категории: зональные методы и объектные методы. Зональные методы, которые не ищут на изображениях одинаковые объекты, включают методы Фурье, методы кросс-корреляции и методы взаимной информации [4]. С серого уровня значений изображения могут быть совершенно разными, и из-за того, что для любых двух различных изображений ни корреляции, ни взаимная информация не является максимальной, если изображения пространственно выровнены, - зональные методы плохо приспособлены к корегистрации мультисенсорных изображений [3]. Объектные методы призваны находить одинаковые объекты на двух изображениях, и они, как показано в литературе, больше подходят для этой задачи. К методам этой категории относятся методы, использующие пространственные отношения, основанные на инвариантных дескрипторах, смягчении (?) и пирамидальных и вейвлет-разложениях изображения [4].

Увеличение частоты дискретизации изображения и интерполяция

Если зарегистрированный снимок является слишком грубым и не обладает требуемым разрешением, увеличение частоты дискретизации может быть необходимым для получения более высокого разрешения. Процесс дискретизации может включать в себя интерполяцию, которая, как правило, выполняется посредством свертки изображения с интерполяцией ядра (?) [5] Методы интерполяции [6] включают метод ближайшего соседа, который рассматривает только ближайший к точке интерполяции пиксель (требует наименьшего времени обработки), метод билинейной интерполяции, который создает в целевом изображении новый пиксель как средневзвешенный из четырех ближайших соседних пикселов изображения-источника, и интерполяция со сглаживающим фильтром, которая создает пиксель как средневзвешенное пикселей, содержащихся в области, оказавшейся под фильтром. Этот процесс формирует изображения с плавными переходами в сером уровне, тогда как интерполяция с фильтром резкости усиливает детали, которые были размыты, и выделяет мелкие детали. Тем не менее, усиливающие фильтры производят нежелательное сглаживание в выходном изображении, которого можно избежать путем применением интерполяции с нерезким маскированием, которая вычитает размытую версию изображения из исходного изображения. Авторы работы [6] делают вывод, что только билинейная интерполяция, интерполяция со сглаживающим фильтром и интерполяция с нерезким маскированием имеют потенциал для обработки данных дистанционного зондирования. Следует отметить, что интерполяция не приводит к увеличению подробности информации в изображении, но это необходимо для приведение в соответствие количества пикселей изображений с разным пространственным разрешением.

Согласование гистограммы

Некоторые алгоритмы паншарпенинга требуют, чтобы спектральная яркость панхроматического изображения соответствовала каждому из диапазонов мультиспектрального снимка или совпадала с преобразованным на основе мультиспектрального снимка изображением. К сожалению, это не всегда так [2], и такие методы склонны к спектральным искажениям. Приведение в соответствие гистограмм панхроматических и мультиспектральных изображений позволяет свести к минимуму несовпадение яркости во время панашрпенинга и уменьшить спектральные искажения результирующего изображения. Методы,применяемые для согласования гистограмм изображений ДЗЗ описаны, например, в [7]. Методика, описанная в этой работе, минимизирует изменение спектральной яркости результирующего изображения (HRMS) относительно исходного мультиспектрального изображения с более низким разрешением (LRMS). Этот метод рассчитывает значение каждого пикселя (I, J), как

StretchedPAN(i,j)=((PAN(i,j)−μPAN))*σb/σPAN+μb
где μPAN и μb - средние значения гистограммы (?) панхроматического снимка и каждого канала мультиспектрального снимка, а и σPAN и σb - стандартные отклонения гистограммы (?) панхроматического снимка и каждого канала мультиспектрального снимка
В результате работы этого метода среднее значение и стандартное отклонение панхроматического изображения и каждого канала мультиспектрального изображения оказывается в одном и том же диапазоне, что позволяет снизить хроматическую разность между двумя изображениями.

Классификация методов паншарпенинга

После того снимок прошел предварительную обработку, описанную выше, проводится собственно сам паншерпенинг. В литературе описано множество методов, разработанных в течение последних двух десятилетий, и даже приведено большое количество терминов, используемых для обозначения слияния изображений. В 1980 году Вонг и соавторы [8] предложили метод слияния каналов Landsat MSS и радарного снимка Seasat. Метод основывался на модуляции интенсивности каждого пикселя каналов MSS со значением соответствующего пикселя изображения радарного снимка и поэтому так и был назван - слияние изображений методом модуляции интенсивности (IM). Другие ученые оценивали методы паншарпенинга изображений с разных сенсоров с точки зрения корегистрации [9], повышения разрешения [10] или совместного анализа данных [11].
После запуска французской спутниковой системы SPOT в феврале 1986 года появилась возможность применения мультиспектральных снимков высокого разрешения для нужд землепользования и анализа почвенно-растительного покрова. Клише и соавт. [12], который работал с моделированными данными SPOT еще до запуска аппарата, показал, что смоделированные спектрозональные 10-метровые изображения могут быть получены путем слияния каждого из диапазонов SPOT MS (XS) с панхроматическим SPOT PAN с использованием трех различных методов модуляции интенсивности. Уэлч и соавт.[13] использовал термин "слияние (merge)", а не "интеграция", и предложил слияние данных PAN и SPOT XS с использованием IHS-преобразований. Данный метод был ранее предложен Гайдном и соавторами [14] для слияния Landsat MSS со снимком Return Beam Vidicon (RBV, аппарат на борту Landsat1) и снимка Landsat MSS с данными Heat Capacity Mapping Mission. В 1988 году Чавес и соавт. [15] использовали панхроматические данные SPOT для повышения разрешения Landsat TM с помощью высокочастотной фильтрации (high-pass filtering, HPF) данных SPOT PAN перед его слиянием с данными TM. Анализ так называемых классических методов, которые включают в себя IHS, HPF, преобразование Brovey (BT) [16] и замену главной компоненты(PCS) [17], [18], можно найти в [19].
В 1987 году Прайс [20] разработал методику слияния, основанную на статистических свойствах изображений. Методика пригодна для комбинации двух изображений различного пространственного разрешения сенсора SPOT High Resolution Visible (HRV). Кроме метода Прайса описаны и другие методы, основанные на статистических свойствах изображений, например, пространственно адаптивные методы [21] и методы на основе алгоритма Байеса [22], [23].
Сравнительно недавно появились методы слияния изображений с использованием обобщенной пирамиды Лапласа (GLP)[24],[25], дискретного вейвлет-преобразования [26],[27] и преобразования contourlet(?) [28], [29], [30]. Основной идеей этих методов является извлечение из изображения с более высоким разрешением пространственной информации, отсутствующей на снимке с низким разрешением, чтобы затем внедрить ее в результирующее изображение.
Существует несколько классификаций методов слияния изображения. Шовенгарт [1] классифицировал их по спектральному охвату, пространственному охвату и пространственно-масштабным алгоритмам (? проверить у Шовенгарта). Ранчин и Уалд [31] разделили методы паншарпенинга на три группы: методы, основанные на проекции и замещении, методы, основанные на относительном спектральном участии (?) и методы, связанные с концепцией ARSIS (от французской аббревиатуры "Amélioration de la Résolution Spatiale par Injection de Structures", что означает «Повышение пространственного разрешения путем введения структур"). Было показано [32], что многие из существующих методов слияния изображений, такие как HPF и аддитивное вейвлет-преобразование (АВТ), соотносятся с ARSIS-концепцией , но Ту и соавт. [33] показали, что PCS, и BT AWT методы также можно рассматривать как IHS-подобные методы слияния изображений. В то же время, Бретшнейдер и соавт. [34] классифицировали IHS и PCA как методы, основанные на преобразовании, вместе с несколькими другими категориями, такими как аддитивное и мультипликативное слияние, слияние с использованием фильтра (которое включает HPF-метод), слияние на основе междиапазонных связей, вейвлет-слияние и методы синтеза на основе статистических свойств. Методы, которые включают линейные прямые и обратные преобразования, были классифицированы в работе [35] в качестве методов замены компонента. Недавно вышли две комплексные работы [36], [37], обобщающие ранее предложенные методы слияния, такие как IHS, BT, PCA, HPF и AWT, и изучающие связи между различными методами.
Невозможно предложить универсальную классификацию методов паншарпенинга, а в данной работе мы приводим классификацию по основному используемому алгоритму.
(1) Группа замены компонентов (CS), которая включает методы IHS, PC и Грам-Шмидта (GS), поскольку все эти способы используют, как правило, линейные преобразования и замены некоторых компонентов в преобразованной области.
(2) Группа относительного спектрального вклада, которая включает методы BT, IM и P+XS, где вместо замены применяется линейная комбинация спектральных диапазонов.
(3) Группа внедрения деталей изображения с высоким разрешением в изображение с более низким разрешением, которая включает методы HPF и HPM. Эти два способа основаны на придании деталей, извлекаемых путем вычитания низкочастотной фильтрации панхроматического изображения из оригинального изображения.
(4) Методы, основанные на статистике изображения, которые включают в себя метод Прайса, пространственно адаптивные методы, байесовский метод и метод супер-разрешения.
(5) Группа методов, основанных на кратном увеличении разрешения (multiresolution), которая включает обобщенные пирамиды Лапласа, вейвлет и contourlet методы и любые их комбинации с методами из других категорий.
Отметим, что хотя предложенная классификация насчитывает пять категорий, некоторые методы могут быть отнесены сразу к нескольким категориям, и в этом случае границы каждой категории нечеткие, существуют связи между категориями. Эти связи будут описаны ниже.

Методы, основанные на замене компонентов

Методы, основанные на замене компонентов(CS), требуют передискретизации изображения с низким разрешением (мультиспектр) к разрешению панхроматического изображения. Затем мультиспектральное изображение преобразуется в набор компонентов, как правило с использованием линейного преобразования диапазонов MS. Метод CS работает путем замены компонента (преобразованного) мультиспектрального изображения, Cj, компонентом Ch панхроматического изображения. Эти методы имеют физический смысл только тогда, когда эти два компонента, Cj и Ch, содержат почти одинаковую спектральную информацию. Другими словами, Cj компонент должен содержать всю избыточную информацию как мультиспектрального, так и панхроматического изображения, но Ch должен содержать больше пространственной информации. Неправильное построение компонента Cj приводит к сильным спектральным искажениям.Общий алгоритм повышения резкости CS обобщен ниже. Этот алгоритм был описан Ту и соавт. [33]. В этой работе авторы также доказали, что прямые и обратные преобразования не нужны и шаги 2-5 Алгоритма 1 см. ниже) можно свести к поиску нового Cj компонента и добавлении разницы между PAN и этим новым компонентом для каждой группы передискретизованных мультиспектральных изображений. Эту структуру дополнили Ванг и соавт.[36] и Aiazzi с соавт. [37] в так называемом общем алгоритме слияния изображений (GIF) и расширенном GIF (EGIF)соответственно.
Алгоритм 1 Паншарпенинг методом замены компонента

  1. Повышение дискретизации мультиспектрального изображения до размера панхроматического изображения.
  2. Прямое преобразование мультиспектрального изображения в нужные компоненты.
  3. Согласование гистограммы панхроматического изображения с компонентом, который должен быть заменен.
  4. Замена компонента на прошедшее обработку в предыдущем пункте панхроматическое изображение.
  5. Обратное преобразование компонентов для получения результирующего изображения.

Группа CS включает в себя многие популярные методы паншарпенинга, такие как IHS, PCS и метод Грам-Шмидта (GS) [35], [38], основанные на различных трансформациях мультиспектрального изображения. CS методы привлекательны тем, что они быстры и просты в реализации и в большинстве случаев обеспечивают паншарпенинг изображений с хорошими визуальными/геометрическими качествами [39]. Тем не менее, результаты, полученные с помощью этих методов, сильно зависят от соотношения между диапазонами, а поскольку преобразование применяется ко всему изображению, она не принимает во внимание местные различия между панхроматическим и мультиспектральным изображением [40], [41].
Единственный тип преобразования не всегда способен дать оптимальный компонент, необходимый для замены, и поэтому трудно выбрать подходящий метод спектрального преобразования для различных наборов данных. Поэтому современные методы включают статистические тесты или различные взвешивающие коэффициенты для адаптивного выбора оптимального компонента для замены и преобразования. Это приводит к новому подходу, известному как адаптивная замена компонента [42], [43],[44].
IHS-метод паншарпенинга является одним из классических методов группы 3.1 [15], [45]. Он использует цветовое пространство IHS, которое часто выбирают из-за тенденции визуальной когнитивной системы человека воспринимать интенсивность (I), оттенок (H) и насыщенность (S) компонентов как систему примерно ортогональных осей. IHS преобразование первоначально было применено к RGB True Color, но для задач дистанционного зондирования и в демонстрационных целях, произвольные диапазоны собираются в RGB-изображение, и получаются композиты в ложном цвете [36]. Способность IHS эффективно отделить пространственную информацию (диапазон I) от спектральной информации (диапазоны H и S) делают его очень перспективным для паншарпенинга [5]. Существуют различные модели IHS преобразования, отличающиеся методом, используемым для вычисления значения интенсивности. Наиболее часто используется гексагон Смита (Smith's hexacone) и триангуляционные модели [46]. Пример изображения, полученного IHS-методом, показан на | рисунке.
Основным недостатком метода является участие в синтезе только трех диапазонов. Ту и соавт. [33] предложили обобщенное IHS преобразование, которое преодолевает ограничения размерности. В любом случае, поскольку спектральный отклик I, синтезированный из канала мультиспектрального изображения, как правило, не соответствует радиометрическим характеристикам панхроматического изображения, прошедшего согласование гистограммы [37], когда результат паншарпенинга отображается в цветовой композиции, при изменениях цвета (?) могут появляться большие спектральные искажения. Для того, чтобы свести к минимуму искажения спектра при IHS, Ту и соавт. [47] предложили новый метод адаптивного IHS для изображений IKONOS, в котором интенсивность диапазона приближается к интенсивности панхроматического изображения, насколько это возможно. Эта технология получила развитие в работе Рахмани и соавт. [42] для любых изображений путем определения максимально аппроксимирующих коэффициентов αi
PAN=∑iαiMSi, благодаря (?) физической неотрицательности коэффициента αi. Необходимо заметить, что хотя этот метод снижает искажения спектра, местные различия между мультиспектральными и панхроматическими снимками могут остаться [40].
Еще один метод группы CS - это метод замены главной компоненты (PCS), который опирается на математическое преобразование методом анализа главных компонент (PCA). Преобразование, известное также как преобразование Karhunen-Loéve или Hotelling, широко используется в обработке сигналов, статистике и многих других областях. Это преобразование создает новый набор повернутых координатных осей, в которых спектральные компоненты нового изображения не коррелируют. Наибольшая дисперсия сопоставляется с первым компонентом, у каждого из последующих дисперсия уменьшается. Сумма дисперсий по всем компонентам равна общей дисперсии исходного изображения. Алгоритм PCA и вычисления матрицы преобразования показаны в работе [5]. Теоретически, первая главная компонента, PC1, собирает информацию, которая является общей для всех диапазонов, используемых в качестве входных данных в PCA, т. е. пространственную информацию, в то время как спектральную информацию, специфичную для каждого диапазона, захватывают другие компоненты [48],[17]. Это делает PCS адекватным методом слияния мультиспектральных и панхроматических изображений. PCS аналогичен методу IHS, с тем основным преимуществом, что можно обрабатывать произвольное число диапазонов. Однако некоторые детали пространственной информации не могут быть отображены первой компонентой - это зависит от степени корреляции и спектрального контраста, существующих между диапазонами [17]. В результате образуются те же проблемы, что и у метода IHS.

Список литературы

<references>

  1. ↑ 1,0 1,1 RA Schowengerdt, Remote Sensing: Models and Methods for Image Processing, 3rd edn. (Orlando, FL: Academic, 1997)
  2. ↑ 2,0 2,1 JA Richards, X Jia, Remote Sensing Digital Image Analysis: An Introduction, 4th edn. (Secaucus, NJ, USA: Springer-Verlag New York, Inc, 2005)
  3. ↑ 3,0 3,1 Y Yang, X Gao, Remote sensing image registration via active contour model. Int J Electron Commun 63, 227–234 (2009)
  4. ↑ 4,0 4,1 B Zitova, J Flusser, Image registration methods: A survey. Image and Vision Computing 21, 977–1000 (2003).
  5. ↑ 5,0 5,1 5,2 RC Gonzalez, RE Woods, Digital image processing, 3rd edn. (Prentice Hall, 2008).
  6. ↑ 6,0 6,1 KK Teoh, H Ibrahim, SK Bejo, Investigation on several basic interpolation methods for the use in remote sensing application. Proceedings of the 2008 IEEE Conference on Innovative Technologies (2008)
  7. ↑ W Dou, Y Chen , An improved IHS image fusion method with high spectral fidelity. The Int Archiv of the Photogramm, Rem Sensing and Spat Inform Sciences XXXVII, 1253–1256 (2008) (part, 2008), . B7
  8. ↑ FH Wong, R Orth, Registration of SEASAT/LANDSAT composite images to UTM coordinates. Proceedings of the Sixth Canadian Syinposium on Remote Sensing, 161–164 (1980)
  9. ↑ P Rebillard, PT Nguyen, An exploration of co-registered SIR-A, SEASAT and Landsat images. Proceeidngs International Symposium on RS of Environment, RS for Exploration Geology, 109–118 (1982)
  10. ↑ R Simard, Improved spatial and altimetric information from SPOT composite imagery. Proceedings International Symposium of Photogrammetry and Remote Sensing), 434–440 (1982)
  11. ↑ EP Crist, Comparison of coincident Landsat-4 MSS and TM data over an agricultural region. Proceedings of the 50th Annual Meeting ASP-ACSM Symposium, ASPRS, 508–517 (1984)
  12. ↑ G Cliche, F Bonn, P Teillet, Integration of the SPOT panchromatic channel into its multispectral mode for image sharpness enhancement. Photogramm Eng Remote Sens 51(3), 311–316 (1985)
  13. ↑ R Welch, M Ehlers, Merging multiresolution SPOT HRV and landsat TM data. Photogramm Eng Remote Sens 53(3), 301–303 (1987)
  14. ↑ R Haydn, GW Dalke, J Henkel, Application of the IHS color transform to the processing of multisensor data and image enhancement. lnternational Symposium on Remote Sensing of Arid and Semi-Arid Lands, 599–616 (1982)
  15. ↑ 15,0 15,1 PS Chavez, JA Bowell Jr., Comparison of the spectral information content of Landsat Thematic Mapper and SPOT for three different sites in the Phoenix, Arizona region. Photogramm Eng Remote Sens 54(12), 1699–1708 (1988)
  16. ↑ AR Gillespie, AB Kahle, RE Walker, Color enhancement of highly correlated images. II. Channel Ratio and "Chromaticity" Transformation Techniques. Remote Sensing Of Environment 22, 343–365 (1987)
  17. ↑ 17,0 17,1 17,2 PS Chavez, AY Kwarteng, Extracting spectral contrast in Landsat thematic mapper image data using selective principal component analysis. Photogramm Eng Remote Sens 55(3), 339–348 (1989)
  18. ↑ P Chavez, S Sides, J Anderson, Comparison of three different methods to merge multiresolution and multispectral data: Landsat TM and SPOT panchromatic. Photogramm Eng Remote Sens 57(3), 295–303 (1991)
  19. ↑ C Pohl, JLV Genderen, Multi-sensor image fusion in remote sensing: Concepts, methods, and applications. Int J Remote Sens 19(5), 823–854 (1998)
  20. ↑ JC Price, Combining panchromatic and multispectral imagery from dual resolution satellite instruments. Remote Sensing Of Environment 21, 119–128 (1987)
  21. ↑ J Park, M Kang, Spatially adaptive multi-resolution multispectral image fusion. Int J Remote Sensing 25(23), 5491–5508 (2004)
  22. ↑ NDA Mascarenhas, GJF Banon, ALB Candeias, Multispectral image data fusion under a Bayesian approach. Int J Remote Sensing 17, 1457–1471 (1996)
  23. ↑ M Vega, J Mateos, R Molina, A Katsaggelos, Super-resolution of multispectral images. The Computer Journal 1, 1–15 (2008)
  24. ↑ B Aiazzi, L Alparone, S Baronti, A Garzelli, Context-driven fusion of high spatial and spectral resolution images based on oversampled multiresolution analysis. IEEE Trans Geosc Remote Sens 40(10), 2300–2312 (2002)
  25. ↑ A Garzelli, F Nencini, Interband structure modeling for pan-sharpening of very high-resolution multispectral images. Information Fusion 6, 213–224 (2005)
  26. ↑ SG Mallat, A theory for multiresolution signal decomposition: The wavelet representation. IEEE Transactions On Pattern Analysis And Machine Intelligence 11(7), 674–693 (1989)
  27. ↑ J Zhou, DL Civco, JA Silander, A wavelet transform method to merge Landsat TM and SPOT panchromatic data. Int J Remote Sens 19(4), 743–757 (1998)
  28. ↑ AL da Cunha, J Zhou, MN Do, The nonsubsampled contourlet transform: Theory, design, and applications. IEEE Trans. Image Process 15(10), 3089–3101 (2006)
  29. ↑ M Gonzalo, C Lillo-Saavedra, Multispectral images fusion by a joint multidirectional and multiresolution representation. Int J Remote Sens 28(18), 4065–4079 (2007)
  30. ↑ I Amro, J Mateos, Multispectral image pansharpening based on the contourlet transform. Journal of Physics Conference Series 206(1), 1–3 (2010)
  31. ↑ T Ranchln, L Wald, Fusion of high spatial and spectral resolution images: The ARSIS concept and its implementation. Photogramm Eng Remote Sens 66, 49–61 (2000)
  32. ↑ T Ranchin, B Aiazzi, L Alparone, S Baronti, L Wald, Image fusion: The ARSIS concept and some successful implementation schemes. ISPRS Journal of Photogrammetry & Remote Sensing 58, 4–18 (2003)
  33. ↑ 33,0 33,1 33,2 TM Tu, SC Su, HC Shyu, PS Huang, A new look at IHS-like image fusion methods. Inf Fusion 2(3), 177–186 (2001)
  34. ↑ T Bretschneider, O Kao, Image fusion in remote sensing (Technical University of Clausthal, Germany)
  35. ↑ 35,0 35,1 VK Sheftigara, A generalized component substitution technique for spatial enhancement of multispectral lmages using a higher resolution data set. Photogramm Eng Remote Sens 58(5), 561–567 (1992)
  36. ↑ 36,0 36,1 36,2 Z Wang, D Ziou, C Armenakis, D Li, Q Li, A comparative analysis of image fusion methods. IEEE Trans Geosci Remote Sens 43(6), 1391–1402 (2005)
  37. ↑ 37,0 37,1 37,2 B Aiazzi, S Baronti, F Lotti, M Selva, A comparison between global and contextadaptive pansharpening of multispectral images. IEEE Geoscience and Remote Sensing Letters 6(2), 302–306 (2009)
  38. ↑ W Dou, Y Chen, X Li, DZ Sui, A general framework for component substitution image fusion: An implementation using the fast image fusion method. Computers & Geosciences 33, 219–228 (2007)
  39. ↑ B Aiazzi, S Baronti, M Selva, Improving component substitution pansharpening through multivariate regression of MS + Pan data. IEEE Trans Geosc Remote Sens 45(10), 3230–3239 (2007)
  40. ↑ 40,0 40,1 C Thomas, T Ranchin, L Wald, J Chanussot, Synthesis of multispectral images to high spatial resolution: A critical review of fusion methods based on remote sensing physics. IEEE Trans Geosci Remote Sens 46, 1301–1312 (2008)
  41. ↑ L Alparone, B Aiazzi, SBA Garzelli, F Nencini, A critical review of fusion methods for true colour display of very high resolution images of urban areas. 1st EARSeL Workshop of the SIG Urban Remote Sensing, Humboldt-Universität zu Berlin (2006)
  42. ↑ 42,0 42,1 S Rahmani, M Strait, D Merkurjev, M Moeller, T Wittman, An adaptive HIS pan-sharpening method. IEEE Geoscience And Remote Sensing Letters 7(3), 746–750 (2010)
  43. ↑ VP Shah, NH Younan, RL King, An efficient pan-sharpening method via a combined adaptive PCA approach and contourlets. IEEE Trans Geosc Remote Sens 46(5), 1323–1335 (2008)
  44. ↑ B Aiazzi, S Baronti, M Selva, L Alparone, Enhanced Gram-Schmidt spectral sharpening based on multivariate regression of MS and pan data. IEEE International Conference on Geoscience and Remote Sensing Symposium, IGARSS 2006, 3806–3809 (2006)
  45. ↑ WJ Carper, TM Lillesand, RW Kiefer, The use of Intensity-Hue-Saturation transform for merging SPOT panchromatic and multispectral image data. Photogramm Eng Remote Sens 56(4), 459–467 (1990)
  46. ↑ V Vijayaraj, A quantitative analysis of pansharpened images. Master's thesis, Mississippi State Univ (2004).
  47. ↑ TM Tu, PS Huang, CL Hung, CP Chang, A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery. IEEE Geoscience And Remote Sensing Letters 1(4), 309–312 (2004)
  48. ↑ J Zhou, DL Civco, JA Silander, A wavelet transform method to merge Landsat TM and SPOT panchromatic data. Int J Remote Sens 19(4), 743–757 (1998)
Источник — https://wiki.gis-lab.info/index.php?title=Классические_и_новые_методы_повышения_разрешения_мультиспектральных_изображений&oldid=14730