Просмотр кода страницы Corona - описание и получение данных

{{Статья|Опубликована|corona}}
{{Аннотация|Описание данных дистанционного зондирования Corona и процедуры их получения}}

== Введение ==
Данные дистанционного зондирования Corona - источник исторической спутниковой информации среднего и высокого разрешения в свое время рассекреченной Министерством Обороны США и находящиеся в открытом доступе (отвечающие [http://gis-lab.info/qa/opendefinition.html определению открытых данных] OKFN).

Оригиналы плёнок хранятся в Службе архивов и записей США ([http://www.nara.gov National Archives and Records Administration] (NARA)), копии плёнок хранятся в USGS EROS Data Center, который и занимается сканированием и продажей данных. Снимок продается один раз и после этого становится общедоступным.

Данные этого типа собирались по всему миру в рамках военных разведывательных миссий CORONA, ARGON, LANYARD осуществляемых спутниками [http://gis-lab.info/projects/ss/sat/kh-1.html KH-1], [http://gis-lab.info/projects/ss/sat/kh-2.html KH-2], [http://gis-lab.info/projects/ss/sat/kh-3.html KH-3], [http://gis-lab.info/projects/ss/sat/kh-4.html KH-4], [http://gis-lab.info/projects/ss/sat/kh-4a.html KH-4a], [http://gis-lab.info/projects/ss/sat/kh-4b.html KH-4b] (CORONA), [http://gis-lab.info/projects/ss/sat/kh-5-argon.html KH-5] (ARGON), [http://gis-lab.info/projects/ss/sat/kh-6-lanyard.html KH-6] (LANYARD), KH-7, KH-9.

Всего в рамках программы было получено более 900 тысяч изображений земной поверхности. Данные были рассекречены и стали общественным достоянием (public domain) двумя порциями в 1996 (DECLASS 1: KH-1,2,3,4,4a,4b,5,6) и 2002 (DECLASS 2: KH-7,9) (согласно распоряжению Билла Клинтона [https://www.fas.org/sgp/clinton/eo12951.html Executive Order 12951]).

Каталоги данных DECLASS (в том числе уже доступных для скачивания) можно найти на [http://gis-lab.info/qa/declass-catalog.html отдельной странице].

==Описание данных==

Описание данных в основном зашифровано в идентификаторе сцены, некоторое дополнительное количество информации также содержится в метаданных.

Для данных DECLASS1:
*Идентификатор сцены. Формат идентификатора: DSMMMMMMRRRRCFFF (16 символов). Примеры: DS009009009DV008, DS1016-1010DF029
*#DS = Название набора данных (2 символа)
*#MMMMMM = Миссия (6 символов, дополняется нулями спереди)
*#RRRR = Виток (4 символа), включая 1 символ для типа витка: A = Ascending (восходящий), D = Descending (нисходящий), M = Mapping (картирование).
*#C = тип камеры (1 символ), A = Aft (назадсмотрящая,стерео), C = Cartographic, F = Forward (впередсмотрящая,стерео), V = Vertical (надирная). Ранние системы (KH-1, KH-2, KH-3, KH-6) несли только одну панорамную или рамочную камеру (KH-5). Более поздние системы (KH-4, KH-4A, KH-4B) несли две панорамных камеры каждая под углом 30° смотрящие вперед и назад.
*#FFF = номер кадра в рулоне пленки (3 символа)

Типы разрешений: Stereo Medium, Stereo High, Unknown, Vertical Low, Vertical Medium, Vertical High (см. таблицу)

Типы пленок: 70мм панорамная (примерный размер 70мм x 29.8 дюймов), 5 дюймовая панорамная (примерный размер 5 дюймов x 25 дюймов), 5 дюймовая кадровая пленка (примерный размер 5 дюймов x 5 дюймов)

Для данных DECLASS2:
*Идентификатор сцены. Формат идентификатора: DZIMMMMMMOOOOOCFFFSSS (21 символов). Примеры: DZC1206-500145L001001,DZB1214-500347L001001
*#DZ = Название набора данных (2 символа)
*#I = Тип изображения (1 символ) B (черно-белое) или C (цветное)
*#MMMMMM = Номер миссии и кассеты (6 символов, дополняется нулями спереди, номер кассеты отделен тире)
*#OOOOO = Номер операции, фотосессии в рамках миссии (5 символов).
*#C = тип камеры (1 символ), L = Low (низкое разрешение), H = High (высокое разрешение). 
*#FFF = номер кадра в рулоне пленки (3 символа)
*#SSS = количество 30-дюймовых сегментов на изображении (3 символа)

Типы разрешений: KH-7, KH-9 (см. таблицу)

Типы пленок: 9 дюймов x 18 дюймов, 9 дюймов на переменную


=== Разрешение съемки ===
Таблица для определения примерного разрешения съемки:

{| class="wikitable"
! Система
! Название миссии
! Камера
! Номер миссии
! Период съемки
! Разрешение,метров
|-
| CORONA
| KH-1
| [http://gis-lab.info/projects/ss/sensor/c.html C]
| 9009
| 8/1960
| 12
|-
| CORONA
| KH-2
| [http://gis-lab.info/projects/ss/sensor/cc.html C']
| 9009<br>
9017<br>
9019
| 12/1960-7/1961
| 9
|-
| CORONA
| KH-3
| [http://gis-lab.info/projects/ss/sensor/ccc.html C<nowiki>'''</nowiki>]
| 9022<br>
9023<br>
9025<br>
9028<br>
9029
| 8/1961-12/1961
| 7.6
|-
| CORONA
| KH-4
| [http://gis-lab.info/projects/ss/sensor/mural.html MURAL]
| 9031-9032<br>
9035<br>
9037-9041<br>
9043-9045<br>
9047-9048<br>
9050-9051<br>
9053-9054<br>
9056-9057<br>
9062
| 2/1962-12/1963
| 7.6
|-
| CORONA
| KH-4A
| [http://gis-lab.info/projects/ss/sensor/j-1.html J-1]
| 1001-1002<br>
1004<br>
1006-1031<br>
1033-1052
| 8/1963-9/1969
| 2.7
|-
| CORONA
| KH-4B
| [http://gis-lab.info/projects/ss/sensor/j-3.html J-3]
| 1101-1112<br>
1114-1117
| 9/1967-5/1972
| 1.8
|-
| ARGON
| KH-5
| [http://gis-lab.info/projects/ss/sensor/argon.html ARGON]
| 9034A<br>
9046A<br>
9058A<br>
9059A<br>
9065A<br>
9066A
| 5/1962-8/1964
| 140
|-
| LANYARD
| KH-6
| [http://gis-lab.info/projects/ss/sensor/lanyard.html LANYARD]
| 8003
| 7/1963-8/1963
| 1.8
|-
| LANYARD
| KH-7
| High Resolution Surveillance Camera
| 
| 7/1963-6/1967
| 0.6 - 1.2
|-
| LANYARD
| KH-9
| Lower Resolution Mapping Camera
| 
| 3/1973-10/1980
| 6 - 12
|}

==Примеры данных==
Примеры кадров в полном разрешении и оригинальной комплектации. Без привязки.
=== AFT, Stereo High ===
Пример сцены полученной камерой AFT: [http://gis-lab.info/data/samples/corona-sample-aft.7z скачать] (670 Мб)

Файловая комплектация: 
<pre>description.txt
DS1111-2180DA027_27_a.tif
DS1111-2180DA027_27_b.tif 
DS1111-2180DA027_27_c.tif 
DS1111-2180DA027_27_d.tif
README.txt</pre>

Описание примера сцены (идентификатор+метаданные):
*Идентификатор сцены: DS1111-2180DA027
*Дата съемки: 1970/08/03
*Миссия: 1111-2 (CORONA, KH-4B)
*Виток: 180D, нисходящий
*Номер кадра: 27
*Тип камеры: AFT (назадсмотрящая)
*Тип съемки: Stereo High, максимальное разрешение: 1.8 метра
*Цветность, например: BW (black and white - черно-белая)

Каждая полоса сцены этого типа разбита вертикально на 4 накладывающихся фрагмента размером 24 см (9.5 дюймов) каждый. Фрагменты обозначаются суффиксами a, b, c, d (например: DS1111-2180DA027_27_a.tif) каждый фрагмент имеет размер 33568x10563 пикселей (354 Мб), включая закадровое оформление: поля, логотипы, служебную информацию. Формат данных - обычный TIF (тегов GeoTIFF нет).

{| class="wikitable"
! a
! b
! c
! d
|-
| [[Файл:Corona-15.gif|187px|thumb|]]
| [[Файл:Corona-14.gif|187px|thumb|]]
| [[Файл:Corona-13.gif|187px|thumb|]]
| [[Файл:Corona-12.gif|187px|thumb|]]
|}
[[Файл:Corona-05.jpg|750px|thumb|center|Крайний правый фрагмент (d) сцены]]

=== Cartographic, Vertical Low ===
Пример сцены полученной камерой Cartographic: [http://gis-lab.info/data/samples/corona-sample-cartographic.7z скачать] (177 Мб)

Файловая комплектация: 
<pre>description.txt
DS09058A024MC028_28_a.tif 
DS09058A024MC028_28_Newton_rings.txt 
README.txt</pre>

Описание примера сцены (идентификатор+метаданные): 
*Идентификатор: DS09058A024MC028
*Дата съемки: 1963/08/29
*Миссия: 9058A (ARGON, KH-5)
*Виток: 024M
*Номер сцены: 28
*Тип камеры: Cartographic
*Разрешение: Vertical Low, низкое 140 метров, не стерео.
*Цветность, например: BW (black and white - черно-белая)
*Пленка: 5х5 дюймов

Сцены этого типа на фрагменты не разбиваются. Сцена имеет размер 17240x18535 пикселей (354 Мб), формат - обычный TIF (не GeoTIFF).

[[Файл:Corona-06.jpg|750px|thumb|center|Пример снимка низкого разрешения, камера Cartographic, Костромская область]]

=== Forward, Stereo Medium ===
Пример сцены полученной камерой Forward: [http://gis-lab.info/data/samples/corona-sample-forward.7z скачать] (670 Мб)

Файловая комплектация: 
<pre>DS1040-1056DF113_a.tif
DS1040-1056DF113_b.tif 
DS1040-1056DF113_c.tif
DS1040-1056DF113_d.tif</pre>

Описание примера сцены (идентификатор+метаданные): 
*Идентификатор: DS1040-1056DF113
*Дата съемки: 1967/04/03
*Миссия: 1040-1 (KH-4A,J-1)
*Виток: 056D
*Номер сцены: 113
*Тип камеры: Forward
*Разрешение: Stereo Medium, высокое 2.7 метров, стерео.
*Цветность: BW (black and white - черно-белая)
*Пленка: 70 мм панорамная

Каждая полоса сцены этого типа разбита вертикально на 4 фрагмента с суффиксами a, b, c, d (например: DS1040-1056DF113_a.tif) каждый фрагмент имеет размер 31423x10992 пикселей (354 Мб), формат - обычный TIF (не GeoTIFF). То есть размеры практически такие же, как и у Stereo High, несмотря на то что у последнего выше разрешение.

[[Файл:Corona-10.gif|750px|thumb|center|Пример снимка высокого разрешения, камера Forward, Дельта р. Волги]]

[[Файл:Corona-11.gif|750px|thumb|center|Пример снимка высокого разрешения, камера Forward, г. Астрахань]]

== Получение ==

=== Поиск ===

Поиск и отбор данных CORONA осуществляется используя интерфейс [http://earthexplorer.usgs.gov/ EarthExplorer]. Чтобы найти данные нужно:

#Выбрать географическую область по которой нужно найти данные
#Выбрать временной диапазон

[[Файл:Corona-09.gif]]

Переключиться на закладку Data Sets (наборы данных) и выбрать две коллекции данных в группе Declassified data:

[[Файл:Corona-07.gif]]

*[http://eros.usgs.gov/#/Find_Data/Products_and_Data_Available/Declassified_Satellite_Imagery_-_1 Declass 1] (1996)
*[http://eros.usgs.gov/#/Find_Data/Products_and_Data_Available/Declassified_Satellite_Imagery_-_2 Declass 2] (2002)

Год в названии коллекции соответствует дате, когда данные стали общедоступными, а не году съемки.

Для перехода к просмотру данных необходимо нажать кнопку Results.

После некоторого времени, будет получен результат. Отметьте, что количество найденных сцен сразу не показывается, нужно некоторое время, чтобы оно было рассчитано.

[[Файл:Corona-08.gif]]

'''Примечание:''' Если отдельно не указано обратное, будут найдены все подходящие сцены, независимо от того, есть ли для них изображение предварительного просмотра (preview) или нет. Если нужно найти изображения только с превью, то на закладке Additional Criteria нужно выбрать Image Preview Availability: Yes

=== Отбор ===
Для отбора данных удобно также воспользоваться [http://gis-lab.info/qa/declass-catalog.html готовыми каталогами] данных DECLASS (в том числе уже доступных для скачивания).

Отбор можно осуществлять по значениям следующих атрибутивных полей:

*Entity ID - внутренний идентификационный номер сцены;
*Acquisition Date - дата съемки;
*Mission Number - номер миссии;
*Frame Number - номер кадра;
*Revolution - виток орбиты [только для declass I]
*NW Corner - северо-западный угол (формат: DD°MM'SS.SS"N, DD°MM'SS.SS"E , например: 45°03'28.80"N, 43°50'20.40"E);
*NE Corner - северо-восточный угол;
*SW Corner - юго-западный угол;
*SE Corner - юго-восточный угол;
*Operations Number - номер фотосессии в миссии [только для declass II]
*Data Source - источник данных;
*Segment Count - количество 30 дюймовых сегментов в кадре [только для declass II]
*Camera Resolution - разрешение;
*Camera Type - тип камеры;
*Image Type - тип изображения;
*Film Type - тип пленки;
*Generation - поколение;
*Polarity - поляризация;
*Download - no если данные нельзя скачать, yes - если можно;

===Точность привязки абрисов снимков===
Необходимо отметить, что точность привязки абрисов сцен по всей видимости очень низка и может составлять первые десятки километров.

[[Файл:Corona-16.gif|750px|thumb|center|Фрагмент абриса снимка DS009013038DV130 - зеленым, синяя граница - характерный изгиб реки, который, судя по привязке абриса - вообще не попадает на снимок.]]

[[Файл:Corona-17.gif|750px|thumb|center|Фрагмент снимка DS009013038DV130, синяя граница - этот же характерный изгиб реки, на снимке.]]

===Размер изображений предварительного просмотра (preview)===
По неведомой причине, после изменения интерфейса отбора результатов поиска, EarthExplorer стал давать уменьшенные версии изображений предварительного просмотра (preview). Размер текущих превью (для 70 мм пленок) составляет всего 300 пикселей по широте, что совершенно не помогает определить, хотя бы ориентировочно, содержание снимка.

[[Файл:DS009013038DV130-s.jpg|750px|thumb|center|Превью снимка DS009013038DV130 в разрешении предоставляемом системой отбора EarthExplorer по-умолчанию.]]

[[Файл:DS009013038DV130.jpg|1480px|thumb|center|Превью этого же снимка в полном разрешении после редактирования адреса.]]

Чтобы обойти это ограничение, нужно:

#Получить url изображения, в браузере - щелкнуть правой кнопкой мыши по изображению и выбрать Копировать ссылку на изображение.
#Вставить url в строку адреса браузера и удалить все до знака =, включительно и удалить все после ".jpg"

Пример для DECLASS I:<br>
Было:
<pre>http://earthexplorer.usgs.gov/form/metadataimage/?img=http://earthexplorer.usgs.gov/browse/DIT/9013/038D/V/DS009013038DV130.jpg&angle=0&size=300</pre>

Стало:
<pre>http://earthexplorer.usgs.gov/browse/DIT/9013/038D/V/DS009013038DV130.jpg</pre>


Пример для DECLASS II:<br>
Было:
<pre>http://earthexplorer.usgs.gov/form/metadataimage/?img=http://earthexplorer.usgs.gov/browse/declassii/004001/00008/40010000008006-00101164.jpg&angle=0&size=300</pre>

Стало:
<pre>http://earthexplorer.usgs.gov/browse/declassii/004001/00008/40010000008006-00101164.jpg</pre>

===Скачивание===
Для скачивания данных необходимо зарегистрироваться в системе EarthExplorer ([https://earthexplorer.usgs.gov/register/ страница регистрации]).

Примерные размеры файлов результатов:

9in x 18in BW film source = 117 MB - 1.3GB<br>
9in x 18in Color/CIR film source = 350 MB - 787 MB<br>
70mm BW film source = 15 MB - 105 MB<br>
70mm Color/CIR film source = 45 MB - 90 MB<br>
5in x 5in BW film source = 40 MB - 325 MB<br>
5in x 5in Color/CIR film source = 120 MB - 240 MB<br>
70mm x 29.8in BW film source = 36 MB - 319 MB<br>
9in x variable BW film source = 95 MB - 854 MB<br>
9in x variable Color/CIR film source = 283 MB - 854 MB

=== Заказ ===

Стоимость одной сцены: 30 USD, независимо от ее типа. К любому заказу добавляется сбор 5$ за обработку независимо от количества сцен.

Иногда попадаются сцены, которые можно скачать сразу (это сцены, которые кто-то уже купил). Чтобы видеть только сцены, которые можно скачать, то на закладке Additional Criteria нужно выбрать Download Available: Yes. Снимки можно скачать только получив учетную запись и войдя в систему EarthExplorer. Файлы передаются в архиве TGZ.

При заказе, за дополнительные 10$ можно заказать так называемый сертификат. Он представляет из себя подтверждение официальности копии данных ([http://gis-lab.info/docs/corona-certificate.pdf скачать пример]), красивую бумажку с ленточкой и позолоченной "печатью" со следующим содержанием:

<div style="background-color:#eee; padding: 2ex; margin: 0 2em;">UNITED STATES OF AMERICA
UNITED STATES DEPARTMENT OF THE INTERIOR<br>
U.S.GEOLOGICAL SURVEY<br>
Sioux Falls, South Dakota 57198

May 20, 2009

CERTIFICATE OF EXACT COPY<br>
PURSUANT to 43 U.S.C. 1460, I hereby certify that the product identified below is an authentic reproduction of an official record of the government that is in the legal custody of United States Geological Survey at EROS.

USGS Order Numer: 0800905070224<br>
Product Description: Black & White Aircraft<br>
Scene Identification: DS1111-2180DA027<br>
Agency: USGS<br>
Roll Number: 3673<br>
Processing Parameters:<br>
Micron Spot Size: 7 microns<br>
Media: DVD<br>
Date of Order: 05/07/2009<br>
Project: 111-21<br>
Frame Number: 27<br>

IN TESTIMONY WHEREOF, I have hereunto subscribed my name and caused the seal of the Geological Survey, Department of the Interior to be affixed, the day and year first above written.

Signature

Wayne A. Miller<br>
Manager, Long Term Archive<br>
USGS/EROS</div>

===Автоматизация процесса скачивания и привязки превью===
После получения списка результатов, сохраните его как list-full.csv

[[Файл:Corona-18.gif]]

Затем используйте скрипт для автоматического скачивания полных превью и их автоматической привязки по углам. Скрипт работает пока только для данных DECLASS I.

[http://gis-lab.info/programs/python/corona-preview-process.7z Скачать скрипт] (Python, GDAL)

'''Note: Было бы здорово, если бы кто-то разобрался как генерируется название файла превью для DECLASS II'''

===Покупка===
Процесс покупки данных выглядит следующим образом.

#Вы заказываете необходимые сцены, заказ отправляется через систему менеджеру.
#На адрес электронной почты указанный вами при регистрации через 1-2 дня приходит письмо от менеджера.
#Вам предлагается на выбор - оплатить заказ переводом (wire transfer) или картой, других способов на данный момент (февраль 2013) нет. PayPal оплатить нельзя.
#Если вы хотите оплатить картой, нужно отправить ее номер, срок действия и имя менеджеру, он снимет сумму заказа и пришлет уведомление о том, что транзакция прошла успешно и что отправлен заказ на сканирование.
#Через 1-2 дня он также пришлет чек.
#Через 5-7 дней с адреса: lta@usgs.gov также придет ссылка на сайт, с которого можно скачать результаты. На скачивание дается 10 дней. После их истечения придется заново делать заказ!

===Покупка через PayPal (ноябрь 2019)===
Опыт покупки снимка с оплатой через PayPal (Статья в Google Docs)<br />
https://docs.google.com/document/d/1BhsGKs97WOH4mywh-Nxu60bhfHAsLeukr-d88uSN5Rw/edit?usp=sharing

== Ссылки ==

*Eye in the sky: the story of the Corona spy satellites//edited by Dwayne A. Day, John M. Longdon, and Brian Latell. Smithonian history of aviation series. 1998
*[https://lta.cr.usgs.gov/declass_1 Declassified Satellite Imagery - 1 Guide]