Классические и новые методы повышения разрешения мультиспектральных изображений

Материал из GIS-Lab
Перейти к навигации Перейти к поиску

данная страница являет собой сокращенный перевод статьи A survey of classical methods and new trends in pansharpening of multispectral images.Авторы Israa Amro, Javier Mateos, Miguel Vega, Rafael Molina и Aggelos K Katsaggelos

КРАТКОЕ СОДЕРЖАНИЕ


Существует целый ряд спутников ДЗЗ, дающих как панхроматические, так и спектрозональные изображения. Для увеличения пространственного разрешения мультиспектральных изображений при одновременном сохранении спектральной информации используется паншарпенинг (pansharpening ) - техника слияния изображений на уровне пикселя. В этой статье мы приводим обзор методов паншарпенинга, предложенных в литературе, даем их классификацию и описание основных характеристик. Также в работе проводится анализ и оценка качества изображения, прошедшего паншарпенинг, как визуальная, так и количественная, и рассматриваются различные показатели качества, предложенные для этой цели.

Предварительная обработка изображений

После того, как данные прошли стандартную обработку (об уровнях обработки изображений см. на сайтах поставщиков снимков), изображения необходимо предварительно обработать для проведения собственно алгоритма паншарпенинга. Эта предварительная обработка может включать в себя регистрацию, передискретизацию и согласование гистограммы мультиспектральных и панхроматических изображений. Изучим теперь эти процессы в деталях.

Корегистрация изображений

Для решения большинства прикладных задач на один и тот же географический регион требуется совместная обработка двух или более сцен, полученных в разное время или с различных сенсоров. В данном случае роль регистрации изображений состоит в том, чтобы пиксели обоих изображений точно совпадали с соответствующими точками на земле, [1]. Два изображения могут быть взаимно корегистрированы путем привязки каждого из них по координатам наземных точек (или точек, взятых с карты), или же одно из изображений выбирается в качестве главного, к которому привязываются другие [2]. В связи с различными аппаратными характеристиками, проблема корегистрации снимков с различных сенсоров является более сложной, чем корегистрация изображений одного и того же сенсора [3]. Здесь можно столкнуться с такими проблемами, как присутствие на одном из изображений объектов, которые могут только частично появиться на другом изображении или не появляются вообще. Изменение контрастности некоторых областей изображения, множество значений интенсивности одного снимка, которые должны быть отображены одним значением интенсивности на другом снимке или значительная разнородность изображений одной и той же сцены, полученная в результате конфигураций с различным параметрами - также проблемы, решаемые различными методами корегистрации . Существует множество методов корегистрации изображений. Их можно разделить на две категории: зональные методы и объектные методы. Зональные методы, которые не ищут на изображениях одинаковые объекты, включают методы Фурье, методы кросс-корреляции и методы взаимной информации [4]. С серого уровня значений изображения могут быть совершенно разными, и из-за того, что для любых двух различных изображений ни корреляции, ни взаимная информация не является максимальной, если изображения пространственно выровнены, - зональные методы плохо приспособлены к корегистрации мультисенсорных изображений [3]. Объектные методы призваны находить одинаковые объекты на двух изображениях, и они, как показано в литературе, больше подходят для этой задачи. К методам этой категории относятся методы, использующие пространственные отношения, основанные на инвариантных дескрипторах, смягчении (?) и пирамидальных и вейвлет-разложениях изображения [4].

Увеличение частоты дискретизации изображения и интерполяция

Если зарегистрированный снимок является слишком грубым и не обладает требуемым разрешением, увеличение частоты дискретизации может быть необходимым для получения более высокого разрешения. Процесс дискретизации может включать в себя интерполяцию, которая, как правило, выполняется посредством свертки изображения с интерполяцией ядра (?) [5] Методы интерполяции [6] включают метод ближайшего соседа, который рассматривает только ближайший к точке интерполяции пиксель (требует наименьшего времени обработки), метод билинейной интерполяции, который создает в целевом изображении новый пиксель как средневзвешенный из четырех ближайших соседних пикселов изображения-источника, и интерполяция со сглаживающим фильтром, которая создает пиксель как средневзвешенное пикселей, содержащихся в области, оказавшейся под фильтром. Этот процесс формирует изображения с плавными переходами в сером уровне, тогда как интерполяция с фильтром резкости усиливает детали, которые были размыты, и выделяет мелкие детали. Тем не менее, усиливающие фильтры производят нежелательное сглаживание в выходном изображении, которого можно избежать путем применением интерполяции с нерезким маскированием, которая вычитает размытую версию изображения из исходного изображения. Авторы работы [6] делают вывод, что только билинейная интерполяция, интерполяция со сглаживающим фильтром и интерполяция с нерезким маскированием имеют потенциал для обработки данных дистанционного зондирования. Следует отметить, что интерполяция не приводит к увеличению подробности информации в изображении, но это необходимо для приведение в соответствие количества пикселей изображений с разным пространственным разрешением.

Согласование гистограммы

Некоторые алгоритмы паншарпенинга требуют, чтобы спектральная яркость панхроматического изображения соответствовала каждому из диапазонов мультиспектрального снимка или совпадала с преобразованным на основе мультиспектрального снимка изображением. К сожалению, это не всегда так [2], и такие методы склонны к спектральным искажениям. Приведение в соответствие гистограмм панхроматических и мультиспектральных изображений позволяет свести к минимуму несовпадение яркости во время панашрпенинга и уменьшить спектральные искажения результирующего изображения. Методы,применяемые для согласования гистограмм изображений ДЗЗ описаны, например, в [7]. Методика, описанная в этой работе, минимизирует изменение спектральной яркости результирующего изображения (HRMS) относительно исходного мультиспектрального изображения с более низким разрешением (LRMS). Этот метод рассчитывает значение каждого пикселя (I, J), как

StretchedPAN(i,j)=((PAN(i,j)−μPAN))*σb/σPAN+μb
где μPAN и μb - средние значения гистограммы (?) панхроматического снимка и каждого канала мультиспектрального снимка, а и σPAN и σb - стандартные отклонения гистограммы (?) панхроматического снимка и каждого канала мультиспектрального снимка
В результате работы этого метода среднее значение и стандартное отклонение панхроматического изображения и каждого канала мультиспектрального изображения оказывается в одном и том же диапазоне, что позволяет снизить хроматическую разность между двумя изображениями.

Классификация методов паншарпенинга

После того снимок прошел предварительную обработку, описанную выше, проводится собственно сам паншерпенинг. В литературе описано множество методов, разработанных в течение последних двух десятилетий, и даже приведено большое количество терминов, используемых для обозначения слияния изображений. В 1980 году Вонг и соавторы [8] предложили метод слияния каналов Landsat MSS и радарного снимка Seasat. Метод основывался на модуляции интенсивности каждого пикселя каналов MSS со значением соответствующего пикселя изображения радарного снимка и поэтому так и был назван - слияние изображений методом модуляции интенсивности (IM). Другие ученые оценивали методы паншарпенинга изображений с разных сенсоров с точки зрения корегистрации [9], повышения разрешения [10] или совместного анализа данных [11].
После запуска французской спутниковой системы SPOT в феврале 1986 года появилась возможность применения мультиспектральных снимков высокого разрешения для нужд землепользования и анализа почвенно-растительного покрова. Клише и соавт. [12], который работал с моделированными данными SPOT еще до запуска аппарата, показал, что смоделированные спектрозональные 10-метровые изображения могут быть получены путем слияния каждого из диапазонов SPOT MS (XS) с панхроматическим SPOT PAN с использованием трех различных методов модуляции интенсивности. Уэлч и соавт.[13] использовал термин "слияние (merge)", а не "интеграция", и предложил слияние PAN и SPOT XS данных с использованием IHS-преобразований. Данный метод был ранее предложен Гайдном и соавторами [14] для слияния Landsat MSS со снимком Return Beam Vidicon (RBV, аппарат на борту Landsat1) и снимка Landsat MSS с данными Heat Capacity Mapping Mission. В 1988 году Чавес и соавт. [15] использовали панхроматические данные SPOT для повышения разрешения Landsat TM с помощью высокочастотной фильтрации (high-pass filtering, HPF) данных SPOT PAN перед его слиянием с данными TM. Анализ так называемых классических методов, которые включают в себя IHS, HPF, преобразование Brovey (BT) [16] и замену главной компоненты(PCS) [17], [18], можно найти в [19].
В 1987 году Прайс [20] разработал методику слияния, основанную на статистических свойствах изображений. Методика пригодна для комбинации двух изображений различного пространственного разрешения сенсора SPOT High Resolution Visible (HRV). Кроме метода Прайса описаны и другие методы, основанные на статистических свойствах изображений, например, пространственно адаптивные методы [21] и методы на основе алгоритма Байеса [22], [23].
Сравнительно недавно появились методы слияния изображений с использованием обобщенной пирамиды Лапласа (GLP)[24],[25], дискретного вейвлет-преобразования [26],[27] и преобразования contourlet(?) [28], [29], [30]. Основной идеей этих методов является извлечение из изображения с более высоким разрешением пространственной информации, отсутствующей на снимке с низким разрешением, чтобы затем внедрить ее в результирующее изображение.
Существует несколько классификаций методов слияния изображения. Шовенгарт [1] классифицировал их по спектральному охвату, пространственному охвату пространственно-масштабным алгоритмам (? проверить у Шовенгарта). Ранчин и Уалд [31] разделяли методы паншарпенинга на три группы: методы, основанные на проекции и замещении, методы, основанные на относительном спектральном участии (?) и методы, связанные с концепцией ARSIS (от французской аббревиатуры "Amélioration de la Résolution Spatiale par Injection de Structures", что означает «Повышение пространственное разрешения путем введения структур").

Список литературы

<references>

  1. ↑ 1,0 1,1 RA Schowengerdt, Remote Sensing: Models and Methods for Image Processing, 3rd edn. (Orlando, FL: Academic, 1997)
  2. ↑ 2,0 2,1 JA Richards, X Jia, Remote Sensing Digital Image Analysis: An Introduction, 4th edn. (Secaucus, NJ, USA: Springer-Verlag New York, Inc, 2005)
  3. ↑ 3,0 3,1 Y Yang, X Gao, Remote sensing image registration via active contour model. Int J Electron Commun 63, 227–234 (2009)
  4. ↑ 4,0 4,1 B Zitova, J Flusser, Image registration methods: A survey. Image and Vision Computing 21, 977–1000 (2003).
  5. ↑ RC Gonzalez, RE Woods, Digital image processing, 3rd edn. (Prentice Hall, 2008).
  6. ↑ 6,0 6,1 KK Teoh, H Ibrahim, SK Bejo, Investigation on several basic interpolation methods for the use in remote sensing application. Proceedings of the 2008 IEEE Conference on Innovative Technologies (2008)
  7. ↑ W Dou, Y Chen , An improved IHS image fusion method with high spectral fidelity. The Int Archiv of the Photogramm, Rem Sensing and Spat Inform Sciences XXXVII, 1253–1256 (2008) (part, 2008), . B7
  8. ↑ FH Wong, R Orth, Registration of SEASAT/LANDSAT composite images to UTM coordinates. Proceedings of the Sixth Canadian Syinposium on Remote Sensing, 161–164 (1980)
  9. ↑ P Rebillard, PT Nguyen, An exploration of co-registered SIR-A, SEASAT and Landsat images. Proceeidngs International Symposium on RS of Environment, RS for Exploration Geology, 109–118 (1982)
  10. ↑ R Simard, Improved spatial and altimetric information from SPOT composite imagery. Proceedings International Symposium of Photogrammetry and Remote Sensing), 434–440 (1982)
  11. ↑ EP Crist, Comparison of coincident Landsat-4 MSS and TM data over an agricultural region. Proceedings of the 50th Annual Meeting ASP-ACSM Symposium, ASPRS, 508–517 (1984)
  12. ↑ G Cliche, F Bonn, P Teillet, Integration of the SPOT panchromatic channel into its multispectral mode for image sharpness enhancement. Photogramm Eng Remote Sens 51(3), 311–316 (1985)
  13. ↑ R Welch, M Ehlers, Merging multiresolution SPOT HRV and landsat TM data. Photogramm Eng Remote Sens 53(3), 301–303 (1987)
  14. ↑ R Haydn, GW Dalke, J Henkel, Application of the IHS color transform to the processing of multisensor data and image enhancement. lnternational Symposium on Remote Sensing of Arid and Semi-Arid Lands, 599–616 (1982)
  15. ↑ PS Chavez, JA Bowell Jr., Comparison of the spectral information content of Landsat Thematic Mapper and SPOT for three different sites in the Phoenix, Arizona region. Photogramm Eng Remote Sens 54(12), 1699–1708 (1988)
  16. ↑ AR Gillespie, AB Kahle, RE Walker, Color enhancement of highly correlated images. II. Channel Ratio and "Chromaticity" Transformation Techniques. Remote Sensing Of Environment 22, 343–365 (1987)
  17. ↑ PS Chavez, AY Kwarteng, Extracting spectral contrast in Landsat thematic mapper image data using selective principal component analysis. Photogramm Eng Remote Sens 55(3), 339–348 (1989)
  18. ↑ P Chavez, S Sides, J Anderson, Comparison of three different methods to merge multiresolution and multispectral data: Landsat TM and SPOT panchromatic. Photogramm Eng Remote Sens 57(3), 295–303 (1991)
  19. ↑ C Pohl, JLV Genderen, Multi-sensor image fusion in remote sensing: Concepts, methods, and applications. Int J Remote Sens 19(5), 823–854 (1998)
  20. ↑ JC Price, Combining panchromatic and multispectral imagery from dual resolution satellite instruments. Remote Sensing Of Environment 21, 119–128 (1987)
  21. ↑ J Park, M Kang, Spatially adaptive multi-resolution multispectral image fusion. Int J Remote Sensing 25(23), 5491–5508 (2004)
  22. ↑ NDA Mascarenhas, GJF Banon, ALB Candeias, Multispectral image data fusion under a Bayesian approach. Int J Remote Sensing 17, 1457–1471 (1996)
  23. ↑ M Vega, J Mateos, R Molina, A Katsaggelos, Super-resolution of multispectral images. The Computer Journal 1, 1–15 (2008)
  24. ↑ B Aiazzi, L Alparone, S Baronti, A Garzelli, Context-driven fusion of high spatial and spectral resolution images based on oversampled multiresolution analysis. IEEE Trans Geosc Remote Sens 40(10), 2300–2312 (2002)
  25. ↑ A Garzelli, F Nencini, Interband structure modeling for pan-sharpening of very high-resolution multispectral images. Information Fusion 6, 213–224 (2005)
  26. ↑ SG Mallat, A theory for multiresolution signal decomposition: The wavelet representation. IEEE Transactions On Pattern Analysis And Machine Intelligence 11(7), 674–693 (1989)
  27. ↑ J Zhou, DL Civco, JA Silander, A wavelet transform method to merge Landsat TM and SPOT panchromatic data. Int J Remote Sens 19(4), 743–757 (1998)
  28. ↑ AL da Cunha, J Zhou, MN Do, The nonsubsampled contourlet transform: Theory, design, and applications. IEEE Trans. Image Process 15(10), 3089–3101 (2006)
  29. ↑ M Gonzalo, C Lillo-Saavedra, Multispectral images fusion by a joint multidirectional and multiresolution representation. Int J Remote Sens 28(18), 4065–4079 (2007)
  30. ↑ I Amro, J Mateos, Multispectral image pansharpening based on the contourlet transform. Journal of Physics Conference Series 206(1), 1–3 (2010)
  31. ↑ T Ranchln, L Wald, Fusion of high spatial and spectral resolution images: The ARSIS concept and its implementation. Photogramm Eng Remote Sens 66, 49–61 (2000)
Источник — https://wiki.gis-lab.info/index.php?title=Классические_и_новые_методы_повышения_разрешения_мультиспектральных_изображений&oldid=14162