Просмотр кода страницы Классические и новые методы повышения разрешения мультиспектральных изображений

<big>данная страница являет собой сокращенный перевод статьи [http://asp.eurasipjournals.com/content/2011/1/79/#sec3 A survey of classical methods and new trends in pansharpening of multispectral images].Авторы Israa Amro, Javier Mateos, Miguel Vega, Rafael Molina и Aggelos K Katsaggelos</big><br />
= КРАТКОЕ СОДЕРЖАНИЕ =
<br />
Существует целый ряд спутников  ДЗЗ, дающих как панхроматические, так и спектрозональные изображения.  Для увеличения пространственного разрешения мультиспектральных изображений при одновременном сохранении спектральной информации используется паншарпенинг (pansharpening ) -  техника  слияния изображений на уровне пикселя. В этой статье мы приводим обзор методов паншарпенинга, предложенных в литературе, даем их классификацию и описание основных характеристик. Также в работе проводится анализ и оценка качества изображения, прошедшего паншарпенинг, как визуальная, так и количественная, и рассматриваются различные показатели качества, предложенные для этой цели.<br />
= Предварительная обработка изображений =
После того, как данные прошли стандартную обработку (об уровнях обработки изображений см. на сайтах поставщиков снимков), изображения необходимо предварительно обработать для проведения собственно алгоритма паншарпенинга. Эта предварительная обработка может включать в себя регистрацию, передискретизацию и согласование гистограммы мультиспектральных и панхроматических изображений. Изучим теперь эти процессы в деталях.
<br />
== Корегистрация изображений ==
Для решения большинства прикладных задач на один и тот же географический регион требуется совместная обработка двух или более сцен, полученных в разное время или с различных сенсоров. В данном случае роль регистрации изображений состоит в том, чтобы пиксели обоих изображений точно совпадали с соответствующими точками на земле, <ref name="Shov">''RA Schowengerdt'', Remote Sensing: Models and Methods for Image Processing, 3rd edn. (Orlando, FL: Academic, 1997)</ref>. Два изображения могут быть взаимно корегистрированы путем привязки каждого из них по координатам наземных точек (или точек, взятых с карты), или же одно из изображений выбирается в качестве главного, к которому привязываются другие <ref name="richards">''JA Richards, X Jia'', Remote Sensing Digital Image Analysis: An Introduction, 4th edn. (Secaucus, NJ, USA: Springer-Verlag New York, Inc, 2005)</ref>. В связи с различными аппаратными характеристиками, проблема корегистрации снимков с различных сенсоров является более сложной, чем корегистрация изображений одного и того же сенсора <ref name="yang"> ''Y Yang, X Gao'', Remote sensing image registration via active contour model. Int J Electron Commun 63, 227–234 (2009)</ref>. Здесь можно столкнуться с такими проблемами, как присутствие на одном из изображений объектов, которые могут только частично появиться  на другом изображении или не появляются вообще.  Изменение контрастности некоторых областей изображения, множество значений интенсивности одного снимка, которые должны быть отображены одним значением интенсивности на другом снимке или значительная разнородность изображений одной и той же сцены, полученная в результате конфигураций с различным параметрами - также проблемы, решаемые различными методами корегистрации .
Существует множество методов корегистрации изображений. Их можно разделить на две категории: зональные методы и объектные методы. Зональные методы, которые  не ищут на изображениях одинаковые объекты, включают методы Фурье, методы кросс-корреляции и методы взаимной информации <ref name="Zitova">''B Zitova, J Flusser'', Image registration methods: A survey. Image and Vision Computing 21, 977–1000 (2003). </ref>. С серого уровня значений изображения могут быть совершенно разными, и из-за того, что для любых двух различных изображений ни корреляции, ни взаимная информация не является максимальной, если изображения пространственно выровнены, - зональные методы плохо приспособлены к корегистрации мультисенсорных изображений <ref name="yang"/>. Объектные методы призваны находить одинаковые объекты на двух изображениях, и они, как показано в литературе, больше подходят для этой задачи. К методам этой категории относятся методы, использующие пространственные отношения, основанные на инвариантных дескрипторах, смягчении (?) и пирамидальных и вейвлет-разложениях изображения <ref name="Zitova"/>.
== Увеличение частоты дискретизации изображения и интерполяция ==
Если зарегистрированный снимок является слишком грубым и не обладает требуемым разрешением, увеличение частоты дискретизации может быть необходимым для получения более высокого разрешения. Процесс дискретизации может включать в себя интерполяцию, которая, как правило, выполняется посредством свертки изображения с интерполяцией ядра (?) <ref>''RC Gonzalez, RE Woods'', Digital image processing, 3rd edn. (Prentice Hall, 2008).</ref> Методы интерполяции <ref name="KK Teoh">''KK Teoh, H Ibrahim, SK Bejo'', Investigation on several basic interpolation methods for the use in remote sensing application. Proceedings of the 2008 IEEE Conference on Innovative Technologies (2008)</ref> включают ''метод ближайшего соседа'', который рассматривает только ближайший к точке интерполяции пиксель (требует наименьшего времени обработки), ''метод билинейной интерполяции'', который создает в целевом изображении новый пиксель как средневзвешенный из четырех ближайших соседних пикселов изображения-источника, и ''интерполяция со сглаживающим фильтром'', которая создает пиксель как средневзвешенное  пикселей, содержащихся в области, оказавшейся под фильтром. Этот процесс формирует изображения с плавными переходами в сером уровне, тогда как ''интерполяция с фильтром резкости'' усиливает детали, которые были размыты, и выделяет мелкие детали. Тем не менее, усиливающие фильтры производят нежелательное сглаживание в выходном изображении, которого можно избежать путем применением ''интерполяции с нерезким маскированием'', которая вычитает размытую версию изображения из исходного изображения. Авторы работы <ref name="KK Teoh"/> делают вывод, что только билинейная интерполяция, интерполяция со сглаживающим фильтром и интерполяция с нерезким маскированием имеют потенциал для обработки данных дистанционного зондирования. Следует отметить, что интерполяция не приводит к увеличению подробности информации в изображении, но это необходимо для приведение в соответствие количества пикселей изображений с разным пространственным разрешением.
== Согласование гистограммы ==
Некоторые алгоритмы паншарпенинга требуют, чтобы спектральная яркость панхроматического изображения соответствовала каждому из диапазонов мультиспектрального снимка или совпадала с преобразованным на основе мультиспектрального снимка изображением.  К сожалению, это не всегда так <ref name="richards"/>, и такие методы склонны к спектральным искажениям. Приведение в соответствие гистограмм панхроматических и мультиспектральных изображений позволяет свести к минимуму несовпадение яркости  во время панашрпенинга и уменьшить спектральные искажения результирующего изображения. Методы,применяемые для согласования гистограмм изображений ДЗЗ описаны, например, в <ref>''W Dou, Y Chen '', An improved IHS image fusion method with high spectral fidelity. The Int Archiv of the Photogramm, Rem Sensing and Spat Inform Sciences XXXVII, 1253–1256 (2008) (part, 2008), . B7 </ref>. Методика, описанная в этой работе, минимизирует изменение спектральной яркости результирующего изображения (HRMS) относительно исходного  мультиспектрального изображения с более низким разрешением (LRMS). Этот метод рассчитывает значение каждого пикселя (I, J), как<br />

'''<big>StretchedPAN(i,j)=((PAN(i,j)−μPAN))*σb/σPAN+μb</big>'''<br />
где μPAN и μb - средние значения гистограммы (?) панхроматического снимка и каждого канала мультиспектрального снимка, а и σPAN и σb - стандартные отклонения гистограммы (?) панхроматического снимка и каждого канала мультиспектрального снимка <br />
В результате работы этого метода среднее значение и стандартное отклонение панхроматического изображения и каждого канала мультиспектрального изображения  оказывается в одном и том же диапазоне, что позволяет снизить хроматическую разность между двумя изображениями.

= Классификация методов паншарпенинга =
После того снимок прошел предварительную обработку, описанную выше, проводится собственно сам паншерпенинг. В литературе описано множество методов, разработанных в течение последних двух десятилетий, и даже приведено большое количество терминов, используемых для обозначения слияния изображений. В 1980 году Вонг и соавторы <ref> ''FH Wong, R Orth'', Registration of SEASAT/LANDSAT composite images to UTM coordinates. Proceedings of the Sixth Canadian Syinposium on Remote Sensing, 161–164 (1980) </ref> предложили метод слияния каналов Landsat MSS и радарного снимка Seasat. Метод основывался на модуляции интенсивности каждого пикселя каналов MSS со значением соответствующего пикселя изображения радарного снимка и поэтому так и был назван - слияние изображений методом ''модуляции интенсивности (IM)''. Другие ученые оценивали методы паншарпенинга изображений с разных сенсоров с точки зрения корегистрации <ref> ''P Rebillard, PT Nguyen'', An exploration of co-registered SIR-A, SEASAT and Landsat images. Proceeidngs International Symposium on RS of Environment, RS for Exploration Geology, 109–118 (1982)</ref>, повышения разрешения <ref>''R Simard'', Improved spatial and altimetric information from SPOT composite imagery. Proceedings International Symposium of Photogrammetry and Remote Sensing), 434–440 (1982)</ref>  или совместного анализа данных <ref> ''EP Crist'', Comparison of coincident Landsat-4 MSS and TM data over an agricultural region. Proceedings of the 50th Annual Meeting ASP-ACSM Symposium, ASPRS, 508–517 (1984)</ref>.<br />
После запуска французской спутниковой системы SPOT в феврале 1986 года появилась возможность применения мультиспектральных снимков высокого разрешения для нужд землепользования и анализа почвенно-растительного покрова. Клише и соавт. <ref>''G Cliche, F Bonn, P Teillet'', Integration of the SPOT panchromatic channel into its multispectral mode for image sharpness enhancement. Photogramm Eng Remote Sens 51(3), 311–316 (1985)</ref>, который работал с моделированными данными SPOT еще до запуска аппарата, показал, что смоделированные спектрозональные 10-метровые изображения могут быть получены путем слияния каждого из диапазонов SPOT MS (XS) с панхроматическим SPOT PAN с использованием трех различных методов модуляции интенсивности. Уэлч и соавт.<ref>''R Welch, M Ehlers'', Merging multiresolution SPOT HRV and landsat TM data. Photogramm Eng Remote Sens 53(3), 301–303 (1987)</ref> использовал термин "слияние (merge)", а не "интеграция", и предложил слияние PAN и SPOT XS данных с использованием ''IHS-преобразований''. Данный метод был ранее предложен Гайдном и соавторами <ref>''R Haydn, GW Dalke, J Henkel'', Application of the IHS color transform to the processing of multisensor data and image enhancement. lnternational Symposium on Remote Sensing of Arid and Semi-Arid Lands, 599–616 (1982)</ref> для слияния Landsat MSS со снимком Return Beam Vidicon (RBV, аппарат на борту [http://en.wikipedia.org/wiki/Landsat_1 Landsat1]) и снимка Landsat MSS с данными [http://en.wikipedia.org/wiki/Heat_Capacity_Mapping_Mission Heat Capacity Mapping Mission]. В 1988 году Чавес и соавт. <ref>''PS Chavez, JA Bowell Jr.'', Comparison of the spectral information content of Landsat Thematic Mapper and SPOT for three different sites in the Phoenix, Arizona region. Photogramm Eng Remote Sens 54(12), 1699–1708 (1988)</ref> использовали панхроматические данные SPOT  для повышения разрешения Landsat TM с помощью ''высокочастотной фильтрации'' (high-pass filtering, HPF) данных SPOT PAN перед его слиянием  с данными TM. Анализ так называемых классических методов, которые включают в себя IHS, HPF, ''преобразование Brovey''  (BT) <ref> ''AR Gillespie, AB Kahle, RE Walker'', Color enhancement of highly correlated images. II. Channel Ratio and "Chromaticity" Transformation Techniques. Remote Sensing Of Environment 22, 343–365 (1987)</ref> и ''замену главной компоненты''(PCS) <ref> ''PS Chavez, AY Kwarteng'', Extracting spectral contrast in Landsat thematic mapper image data using selective principal component analysis. Photogramm Eng Remote Sens 55(3), 339–348 (1989)</ref>, <ref> ''P Chavez, S Sides, J Anderson'', Comparison of three different methods to merge multiresolution and multispectral data: Landsat TM and SPOT panchromatic. Photogramm Eng Remote Sens 57(3), 295–303 (1991)</ref>, можно найти в <ref> ''C Pohl, JLV Genderen'', Multi-sensor image fusion in remote sensing: Concepts, methods, and applications. Int J Remote Sens 19(5), 823–854 (1998)</ref>.<br />
В 1987 году Прайс <ref> ''JC Price'', Combining panchromatic and multispectral imagery from dual resolution satellite instruments. Remote Sensing Of Environment 21, 119–128 (1987) </ref> разработал  методику слияния, основанную на ''статистических свойствах изображений''. Методика пригодна для комбинации двух изображений различного пространственного разрешения сенсора  SPOT High Resolution Visible (HRV). Кроме метода Прайса описаны и другие методы, основанные на статистических свойствах изображений, например, ''пространственно адаптивные методы'' <ref>''J Park, M Kang'', Spatially adaptive multi-resolution multispectral image fusion. Int J Remote Sensing 25(23), 5491–5508 (2004)</ref> и ''методы на основе алгоритма Байеса'' <ref> ''NDA Mascarenhas, GJF Banon, ALB Candeias'', Multispectral image data fusion under a Bayesian approach. Int J Remote Sensing 17, 1457–1471 (1996)</ref>, <ref> ''M Vega, J Mateos, R Molina, A Katsaggelos'', Super-resolution of multispectral images. The Computer Journal 1, 1–15 (2008)</ref>.<br />
Сравнительно недавно появились методы слияния изображений с использованием ''обобщенной пирамиды Лапласа (GLP)''<ref>''B Aiazzi, L Alparone, S Baronti, A Garzelli'', Context-driven fusion of high spatial and spectral resolution images based on oversampled multiresolution analysis. IEEE Trans Geosc Remote Sens 40(10), 2300–2312 (2002)</ref>,<ref>''A Garzelli, F Nencini'', Interband structure modeling for pan-sharpening of very high-resolution multispectral images. Information Fusion 6, 213–224 (2005)</ref>, ''дискретного вейвлет-преобразования'' <ref>''SG Mallat'', A theory for multiresolution signal decomposition: The wavelet representation. IEEE Transactions On Pattern Analysis And Machine Intelligence 11(7), 674–693 (1989)</ref>,<ref>''J Zhou, DL Civco, JA Silander'', A wavelet transform method to merge Landsat TM and SPOT panchromatic data. Int J Remote Sens 19(4), 743–757 (1998)</ref> и ''преобразования contourlet(?)''  <ref> ''AL da Cunha, J Zhou, MN Do'', The nonsubsampled contourlet transform: Theory, design, and applications. IEEE Trans. Image Process 15(10), 3089–3101 (2006)</ref>, <ref> ''M Gonzalo, C Lillo-Saavedra'', Multispectral images fusion by a joint multidirectional and multiresolution representation. Int J Remote Sens 28(18), 4065–4079 (2007)</ref>, <ref>''I Amro, J Mateos'', Multispectral image pansharpening based on the contourlet transform. Journal of Physics Conference Series 206(1), 1–3 (2010) </ref>. Основной идеей этих методов является извлечение из изображения с более высоким разрешением пространственной информации, отсутствующей на снимке с низким разрешением, чтобы затем внедрить ее в результирующее изображение.<br />
Существует несколько классификаций методов слияния изображения. Шовенгарт <ref name="Shov"/> классифицировал их по спектральному охвату, пространственному охвату и пространственно-масштабным алгоритмам (? проверить у Шовенгарта). Ранчин и Уалд <ref> ''T Ranchln, L Wald'', Fusion of high spatial and spectral resolution images: The ARSIS concept and its implementation. Photogramm Eng Remote Sens 66, 49–61 (2000)</ref> разделили методы паншарпенинга на три группы: методы, основанные на проекции и замещении, методы, основанные на относительном спектральном участии (?)  и методы, связанные с  концепцией ARSIS (от французской аббревиатуры "Amélioration de la Résolution Spatiale par Injection de Structures", что означает «Повышение пространственного разрешения путем введения структур"). Было показано <ref> ''T Ranchin, B Aiazzi, L Alparone, S Baronti, L Wald'', Image fusion: The ARSIS concept and some successful implementation schemes. ISPRS Journal of Photogrammetry & Remote Sensing 58, 4–18 (2003)</ref>, что многие из существующих методов слияния изображений, такие как HPF и аддитивное вейвлет-преобразование (АВТ), соотносятся с ARSIS-концепцией , но Ту и соавт.  <ref> ''TM Tu, SC Su, HC Shyu, PS Huang'', A new look at IHS-like image fusion methods. Inf Fusion 2(3), 177–186 (2001) </ref> показали, что PCS, и BT AWT методы также можно рассматривать как IHS-подобные методы слияния изображений. В то же время, Бретшнейдер и соавт. <ref> ''T Bretschneider, O Kao'', Image fusion in remote sensing (Technical University of Clausthal, Germany)</ref> классифицировали IHS и PCA как методы, основанные на преобразовании, вместе с несколькими другими категориями, такими как аддитивное и мультипликативное слияние, слияние с использованием фильтра (которое включает HPF-метод), слияние на основе междиапазонных связей,  вейвлет-слияние и  методы синтеза на основе статистических свойств. Методы, которые включают линейные прямые и обратные преобразования, были классифицированы в работе <ref> ''VK Sheftigara'', A generalized component substitution technique for spatial enhancement of multispectral lmages using a higher resolution data set. Photogramm Eng Remote Sens 58(5), 561–567 (1992) </ref> в качестве методов  замены компонента. Недавно вышли две комплексные работы <ref> ''Z Wang, D Ziou, C Armenakis, D Li, Q Li'', A comparative analysis of image fusion methods. IEEE Trans Geosci Remote Sens 43(6), 1391–1402 (2005)</ref>, <ref> ''B Aiazzi, S Baronti, F Lotti, M Selva'', A comparison between global and contextadaptive pansharpening of multispectral images. IEEE Geoscience and Remote Sensing Letters 6(2), 302–306 (2009)</ref>, обобщающие ранее предложенные методы слияния, такие как IHS, BT, PCA, HPF и AWT, и изучающие связи между различными методами.<br />
Невозможно предложить универсальную классификацию методов паншарпенинга, а в данной работе мы приводим классификацию по основному используемому алгоритму.<br />
(1) Группа ''замены компонентов (CS)'', которая включает методы IHS, PC и Грам-Шмидта (GS), поскольку все эти способы используют, как правило, линейные преобразования и замены некоторых компонентов в преобразованной области.<br />
(2) Группа  ''относительного спектрального вклада'', которая включает методы BT, IM и P+XS, где вместо замены применяется линейная комбинация спектральных диапазонов.<br />
(3) Группа ''внедрения деталей изображения с высоким разрешением в изображение с более низким разрешением'', которая включает методы HPF и HPM. Эти два способа основаны на придании деталей, извлекаемых путем вычитания низкочастотной фильтрации PAN изображения из оригинального изображения.<br />
(4) Методы, основанные на ''статистике изображения'', которые включают в себя метод Прайса, пространственно адаптивные методы, байесовский метод и метод [http://en.wikipedia.org/wiki/Superresolution супер-разрешения].<br />
(5) Группа методов, основанных на ''кратном увеличении разрешения (multiresolution)'', которая включает [http://www.cs.utah.edu/~arul/report/node12.html обобщенные пирамиды Лапласа], вейвлет и contourlet методы и любые их комбинации  с методами из других категорий.<br />
Отметим, что хотя предложенная классификация насчитывает пять категорий, некоторые методы могут быть отнесены сразу к нескольким категориям, и в этом случае границы каждой категории нечеткие, существуют связи между категориями. Эти связи будут описаны ниже.
= Список литературы =
<references>
<references/>