Д.И. Федоткин Технологии предварительной обработки данных ДЗЗ: опыт ИТЦ «СканЭкс» в создании программного обеспечения и организации обработки данных в составе приемных комплексов
Д.И. Федоткин (ИТЦ «СканЭкс»)
Наиболее важными моментами при разработке и введении в эксплуатацию систем предварительной обработки данных ДЗЗ представляются: стандартизация процессов обработки и форматов представления данных, повышение быстродействия программных комплексов и автоматизация обработки
При всем многообразии спутниковых систем дистанционного зондирования Земли (ДЗЗ), режимов работы съемочной аппаратуры и форматов представления данных в процессе их обработки прослеживаются характерные особенности и технологические решения, присущие большинству мировых систем сбора и обработки данных ДЗЗ.
Как правило, обработку данных ДЗЗ разделяют на предварительную и тематическую. Под первой обычно понимают набор действий (процессов), преобразующих исходную информацию, полученную наземной станцией приема, в некоторые продукты ДЗЗ стандартных уровней обработки, пригодные для архивации и дальнейшего использования. Предварительная обработка включает в себя радиометрическую калибровку, географическую привязку, геометрическую коррекцию изображений и др. Под тематической понимают обработку с целью интерпретации данных ДЗЗ в рамках конкретной задачи с получением тематических информационных продуктов (картографические основы, маски облачности, модели рельефа и т. д.).
Исходная информация (поток «сырых» данных), регистрируемая наземным приемным центром, представляет собой сигнал со спутника в виде битовой последовательности, содержащий как результаты съемки Земли, так и служебную информацию о движении и ориентации космического аппарата, режимах работы съемочной аппаратуры и др. При этом информационный сигнал проходит несколько стадий обработки (демодуляция, синхронизация, декодирование и др.), часть из которых выполняется аппаратно, часть с помощью программных средств приемного комплекса непосредственно после сеанса связи со спутником. Зная структуру (формат) потока данных, можно извлечь из него отснятые изображения.
Если на спутнике функционирует несколько комплектов съемочной аппаратуры или ведется съемка в различных режимах, то в наземный приемный центр одновременно поступает несколько потоков данных. Как правило, один поток содержит информацию, принятую по одному частотному каналу. Например, индийские спутники серии IRS-1C, -1D, -P6 транслируют отснятую информацию по двум радиоканалам.
В наземном приемном комплексе задачи предварительнойобработки данных ДЗЗ распаковка принятого потока данных, извлечение изображений и сопутствующей служебной информации, обработка и представление информации в форматах хранения.
Различают несколько уровней обработки данных ДЗЗ, обозначение и перечень которых у различных компаний-операторов систем ДЗЗ могут отличаться. Чаще всего встречается следующая номенклатура уровней предварительной обработки данных:
0 необработанные (первичные) данные съемочного прибора;
1A данные, прошедшие радиометрическую коррекцию и калибровку;
1B радиометрически скорректированные и географически привязанные данные;
2A радиометрически и геометрически скорректированные данные, представленные в картографической проекции.
Далее идут продукты более высоких уровней обработки, для получения которых используется дополнительная информация (опорные точки, модели рельефа для ортокоррекции и др.) и генерацию которых обычно относят к последующей тематической обработке.
Продукты ДЗЗ более высоких, чем 2A, уровней обработки, как правило, распространяются в общедоступных форматах хранения (например, GeoTIFF или форматы систем обработки изображений ERDAS, ENVI, PCI и др.). Это объясняется тем, что в большинстве случаев они представляют собой картографически привязанные изображения и для их использования уже не нужна специфическая информация о модели движения космического аппарата в момент съемки, его ориентации, параметрах съемочной аппаратуры и др. Единственное требование формат должен содержать параметры географической привязки растра (например, в виде описания картографической проекции).
Продукты начальных уровней обработки обязаны (в большинстве случаев это обеспечивается) содержать служебную информацию, которая в дальнейшем используется для генерации продуктов более высоких уровней обработки. К сожалению, в настоящее время не существует общих форматов хранения и распространения продуктов начальных уровней обработки, что объясняется уникальностью спутников, комплектов съемочной аппаратуры, режимов съемки и т. д. Возможно, в будущем компании-операторы систем ДЗЗ договорятся и предложат пользователям стандартизованные форматы, но сейчас каждый оператор использует собственные форматы хранения (например, RADARSAT CEOS, IRS Super Structured и т. п.). Часто структура этих форматов открыта, и компании идут навстречу пользователям, предлагая более приемлемые решения. Так, программа EOS NASA (спутники Terra, Aqua; США) предполагает хранение и передачу продуктов в формате EOSHDF, являющемся модификацией общеизвестного формата HDF (Hierarchical Data Format) для представления данных научных исследований произвольного типа и состава. Существуют доступные программные средства, позволяющие работать с этим форматом, и многие современные системы обработки данных ДЗЗ поддерживают hdf-файлы. Другой пример: данные SPOT-5 (Франция) распространяются в формате DIMAP, который содержит растр в формате (Geo)TIFF и метаданные (служебная информация) в формате XML, что существенно облегчает дальнейшее использование продуктов. Похожие решения используются и другими компаниями, в частности, данные с отечественного аппарата «Монитор-Э» будут доступны в формате RSML, метаданные которого представлены в файлах на базе XML.
Ведущие мировые компании-операторы систем ДЗЗ обычно рекомендуют (реже требуют) соответствия их номенклатуре выходных продуктов и форматов хранения данных, что обеспечивает стандартизацию хранения и распространения результатов ДЗЗ потребителями данных. Например, компания MDA (Канада) предъявляет весьма жесткие требования к наземным приемным комплексам, функционирующим в составе их сети центров приема данных RADARSAT-1, в том числе к качеству генерируемых продуктов и структуре выходных форматов. Обязательное требование сертификация каждого вновь создаваемого приемного центра (в России и Казахстане сертифицированы три центра, оснащенные аппаратно-программными комплексами «УниСкан»; при этом пакет программ предварительной обработки данных RADARSAT-1 разработан специалистами ИТЦ «СканЭкс» по предоставленным канадской стороной спецификациям).
Принятую со спутника информацию в большинстве случаев сохраняют в архивах для дальнейшего использования (исключением может быть оперативный мониторинг, когда ценность имеют только «свежие» изображения). При этом различают архивирование, т. е. размещение данных в архиве на определенных носителях (DLT, HDD, CD, DVD и др.), и каталогизацию создание каталога метаданных (атрибутов), описывающих архивируемые изображения. Каталогизация позволяет в дальнейшем организовать поиск и выборку из архива интересующей информации, например, изображений по географическим координатам.
Как свидетельствует опыт работы ИТЦ «СканЭкс», при принятии решения об уровне обработки данных, помещаемых в архив, наиболее значимыми выступают следующие положения.
1. Чем ниже уровень обработки данных, тем меньше вероятность возникновения ошибок; при необходимости можно менять алгоритмы обработки; возможны максимальная автоматизация процесса и сокращение времени обработки, а также экономия места, так как часто данные низкого уровня обработки имеют наиболее компактную структуру.
2. Важное требование целостность архивируемых данных, т. е. крайне желательно не подвергать их нарезке на небольшие сюжеты; если же это необходимо для каталогизации, то нарезка может быть выполнена виртуально. Это позволит избежать лишних операций и минимизировать вероятность возникновения ошибок. Кроме того, хранение в архиве протяженного изображения (например, соответствующего одному сбросу) позволяет при последующей генерации продуктов легко извлекать нужные сюжеты. Рассмотрим эту операцию подробнее.
Поток данных представляет собой протяженное изображение, обычно соответствующее сеансу съемки (несколько тысяч километров). При распространении продуктов ДЗЗ зачастую оперируют понятием «сцена», под которым подразумевают часть потока (как правило, квадратной формы). Сцены извлекаются из потока по определенной схеме (правилам), чтобы соответствовать участкам на местности. Обычно схема нарезки потока на сцены называется WRS (World Reference System мировая система привязки). WRS используется такими системами ДЗЗ, как Landsat (США) и IRS. В терминологии программы SPOT это GRS (Grille de Reference SPOT). Схемы имеют отличия, обусловленные параметрами движения спутника и характером съемки, но основополагающий принцип один. WRS это сетка «путей» (пролеты спутника) и «рядов» (параллели), покрывающая поверхность Земли. Пересечения путей и рядов образуют множество номинальных центров сцен. WRS позволяет пользователям позиционировать, каталогизировать и запрашивать изображения любой части земной поверхности указанием номинального центра сцены, задаваемого параметрами «путь» (Path) и «ряд» (Row) (рис. 1).
Рис. 1. Landsat-7, cцена 195/028
При подобной схеме нарезки отдельные сцены незначительно перекрываются. А как быть пользователю, если интересующая территория находится на стыке двух сцен? Чтобы потенциальному покупателю не пришлось приобретать заведомо лишнюю информацию, многие компании-операторы ДЗЗ (например, SPOT Image) позволяют вырезать из потока сцены со смещением вдоль пути. Таким образом, хранение в архиве целых (не нарезанных на сцены) потоков позволяет легко извлекать произвольные сцены и генерировать на их основе выходные продукты.
У ИТЦ «СканЭкс» имеется как опыт интегрирования в свои приемные аппаратно-программные комплексы готовых зарубежных программных пакетов предварительной обработки данных от компаний-операторов (EROS A, Израиль; IRS-P6 и др.), так и создания собственных программных средств предварительной обработки на основе имеющихся спецификаций (RADARSAT-1, SPOT-4 и др.). Как правило, в состав пакетов предварительной обработки ИТЦ «СканЭкс» входят программные компоненты, позволяющие выполнять:
перевод данных в форматы, пригодные для дальнейшей обработки;
разделение и извлечение данных от различных сенсоров и режимов съемки;
выборку данных по качественному признаку (например, без облачности);
виртуальную нарезку потока на сцены с генерацией для каждой из них файла метаданных и изображения быстрого просмотра для дальнейшей каталогизации;
генерацию продуктов стандартных уровней обработки в заданных форматах.
Хотя состав пакетов и назначение отдельных программных компонент могут меняться в зависимости от типа принимаемых и обрабатываемых данных ДЗЗ, обобщенная технологическая схема предварительной обработки данных, применяемая ИТЦ «СканЭкс», может быть представлена в следующем виде (рис. 2).
Рис. 2 Обобщенная технология предварительной обработки данных ИТЦ «СканЭкс»
Исходная информация, полученная приемной станцией, переводится в некоторый формат хранения (уровень 0) и делится на сегменты, каждый из которых соответствует одному режиму работы съемочной аппаратуры спутника. Затем данные проходят стадию виртуальной нарезки на сцены в соответствии с выбранной технологией обработки. Сегменты архивируются, а соответствующие им виртуальные сцены каталогизируются, при этом в каталог заносятся сжатые образы (квиклуки) и атрибуты (метаданные) изображений отдельных сцен. По запросу нужная сцена находится в каталоге, из соответствующего архивного сегмента вырезается часть данных, на основе которых генерируется выходной продукт требуемого уровня обработки.
Пакеты программ предварительной обработки данных, поставляемые ИТЦ «СканЭкс» со станциями «УниСкан», представлены в таблице.
Как видно из таблицы, перечисленные пакеты программ позволяют создавать продукты начальных уровней обработки (0, 1A, 1B). Создание продуктов уровня 2A, т. е. изображений, трансформированных в картографическую проекцию, уже мало зависит от типа обрабатываемых данных и практически универсально. Эта операция выполняется программой ScanMagic, которая входит в комплект поставки станции.
Кроме того, ИТЦ «СканЭкс» разрабатывает и поставляет пакеты программ тематической обработки (например, ScanEx Image Processor), позволяющие создавать продукты более высоких, чем 2A, уровней обработки. Для каталогизации данных ДЗЗ, принимаемых станциями «УниСкан», используется программное обеспечение ScanEx Catalog Manager.
Стоит отметить, что наличие консольных версий программ (без графического интерфейса пользователя) позволяет организовать обработку данных в пакетном режиме в рамках автономных систем предварительной обработки данных ДЗЗ. Это сводит к минимуму участие операторов станций приема в предварительной обработке данных и обеспечивает частичную или полную автоматизацию процесса. В то же время версии программ с графическим интерфейсом пользователя существенно облегчают работу операторов. Особенно это касается этапа генерации стандартных выходных продуктов, который подразумевает задание многочисленных параметров обработки. Поэтому пакеты ИТЦ «СканЭкс» имеют, как правило, консольные и графические версии программ. Все пакеты программ функционируют под управлением операционных систем Windows 2000, XP и последующих версий.
В заключение хочется отметить, что наиболее важными моментами при разработке и введении в эксплуатацию систем предварительной обработки данных ДЗЗ представляются: стандартизация процессов обработки и форматов представления данных, повышение быстродействия программных комплексов и автоматизация обработки.