Современная видеоинформатика: проблемы и перспективы
УДК 004.932, 519.722 СОВРЕМЕННАЯ ВИДЕОИНФОРМАТИКА: ПРОБЛЕМЫ И ПЕРСПЕКТИВЫ
© 2012 г. В. Н. Васильев, член-корреспондент РАН, доктор техн. наук; И. П. Гуров, доктор техн. наук; А. С. Потапов, доктор техн. наук
Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, Санкт-Петербург
E-mail: gurov@mail.ifmo.ru
Рассмотрены современные проблемы видеоинформатики в области формирования, передачи, обработки, анализа и визуализации видеоинформации. Отличительная особенность видеоинформатики состоит в рассмотрении данных проблем с единых теоретических позиций, что позволяет проводить разработку и оптимизацию характеристик видеоинформационных систем как единого целого. Показана эффективность использования теоретико-информационного подхода для анализа и оптимизации видеоинформационных систем, начиная от оптического канала распространения излучения в свободном пространстве при формировании изображений или многомерных видеоданных и заканчивая системой визуализации. Выделены перспективные направления дальнейшего развития методов видеоинформатики.
Ключевые слова: видеоинформатика, теория информации, формирование изображений, представление изображений, визуализация.
Коды OCIS: 100.2000, 110.2990, 110.3055
Поступила в редакцию 30.07.2012
Введение
Информационные технологии – наиболее активно развивающаяся область высоких технологий. Ввиду существенного расширения информационной емкости запоминающих устройств и пропускной способности каналов связи в общем объеме информации, хранимой и передаваемой в информационно-телекоммуникационных системах, заметно возросла доля информации, приходящейся на изображения [1].
Изображения наиболее информативны. Видеоинформация широко используется в таких областях, как компьютерное зрение, дистанционное зондирование, отображение трехмерных объектов, системы дополненной реальности, наблюдательные системы и системы безопасности, биомедицина и биометрия, диагностика
ценных предметов искусства и др. Видеоинформатика объединяет методы, применяемые в этих областях, и новые современные технологии, интегрированные с компьютерными технологиями и технологиями программирования – от формирования до анализа, классификации, распознавания и визуализации изображений – с привлечением эффективных математических методов и высокопроизводительных вычислительных алгоритмов обработки информации.
Видеоинформатика область информатики, ориентированная на формирование, передачу, обработку и визуализацию информации, представленной в форме изображений.
Обобщенная структура информационной системы иллюстрируется на рис. 1а. В информационной системе источник порождает сообщения, которые должны быть переданы через канал передачи получателю. Во многих слу-
(а) Источник
Кодер
Канал
Декодер
Получатель
(б) Объект
Излучение
Канал
Алгоритм
Получатель
Рис. 1. Блок-схемы информационной системы (а) и системы передачи видеоинформации (б).
“Оптический журнал”, 79, 11, 2012
5
чаях сообщения не могут быть переданы непосредственно, и требуется кодирование сообщения для передачи по каналу с последующим декодированием. В видеоинформационной системе (рис. 1б) кодирование осуществляется при взаимодействии оптического излучения с объектом, а для декодирования используют специальные технические средства и алгоритмы, обеспечивающие извлечение информации для получателя.
В настоящей статье проведено рассмотрение проблематики видеоинформационных систем, относящейся ко всем этапам от формирования до визуализации изображений.
Формирование видеоинформации
Этапы от формирования изображений до их визуализации можно описать в информационных терминах. При автоматическом анализе и преобразовании изображений этот подход оказывается эффективным и приобретает все большую популярность. Действительно, в методах автоматического анализа изображений всегда используются некоторые представления, или способы описания изображений, при этом к представлениям могут применяться информационные критерии качества. Гораздо менее распространенным является применение информационного подхода к процессу формирования изображений. Но и здесь этот подход является не только применимым, но и весьма перспективным, позволяющим с помощью единой системы понятий описать основные элементы видеоинформационных систем.
Источники видеоинформации можно разделить на две группы: абстрактные, такие как объекты виртуальной реальности, и объекты реальной физической природы. Основное различие между этими группами объектов состоит в степени влияния шума, который для объектов первой группы выражается погрешностями описания объектов при их дискретном представлении, тогда как объекты второй группы подвержены существенному влиянию внешних факторов, например, фоновых засветок, изменений условий наблюдения и др.
Источники видеоинформации в большинстве случаев характеризуются высокой степенью избыточности данных, поэтому весьма актуальна проблема оптимального представления (или эффективного кодирования) данных об объектах уже на этапе формирования изображений. Описание объектов реальной фи-
зической природы определяется особенностями конкретной решаемой задачи. Рассмотрим в качестве примера задачу представления трехмерной геометрической формы объекта [2].
Форму большинства реальных объектов можно представить гладкой поверхностью (т. е. низкими частотами пространственного спектра) и сравнительно малой составляющей, описывающей высокочастотные детали.
При применении классической теории информации [3, 4] к проблеме эффективного кодирования трехмерных данных на этапе их формирования естественным является представление формы объекта z(x, y) как реализации случайного процесса {z(x, y)} с автокорреляционной функцией Rzz(x, y) и спектральной плотностью мощности Gzz(fx, fy). Требуется выполнить такое преобразование данных, чтобы (в идеальном случае) обеспечить равномерную спектральную плотность мощности Gz z(fx, fy) = const в частотной полосе пропускания канала передачи информации. Однако большинство оптических систем не обеспечивают требуемого “отбеливания спектра”.
Один из возможных подходов состоит в выполнении пространственного дифференцирования функции z(x, y) [2], обеспечивающего получение более равномерного спектра за счет повышения относительного уровня составляющих с высокими частотами (рис. 2). При этом принципиально важно выполнить дифференцирование оптическими методами до передачи информации в канал с шумом. Подходящим
(а) Gzz
fx
(б) Gzz
fx Рис. 2. Модификация исходной спектральной плотности мощности в области пространственных частот (а) в результате оптического дифференцирования (б).
6 “Оптический журнал”, 79, 11, 2012
методом является метод формирования теневых изображений (shape from shading) [5].
Классическая (Шенноновская) теория информации [6] предполагает знание истинной статистической модели источника данных. Однако в большинстве случаев априорная информация о наблюдаемых объектах весьма ограниченна или отсутствует. Здесь более адекватным средством может служить алгоритмическая теория информации [7], в рамках которой выводится принцип минимальной длины описания для выбора оптимальной модели источника данных и оптимального представления информации (в том числе, изображений). В настоящее время данный принцип используется в методах автоматического анализа изображений (о чем будет сказано ниже), однако его применение в целях повышения эффективности систем формирования изображений является перспективным, хотя и малоисследованным направлением.
Канал передачи видеоинформации
Отличительная особенность видеоинформационных систем выражается в структуре канала передачи информации (рис. 3), который включает оптический канал распространения излучения в свободном пространстве, электронный канал с преобразованием оптического излучения в электрические сигналы и дискретный канал преобразования аналоговых сигналов в дискретные (цифровые) значения. Канал передачи информации должен обеспечивать требуемую пропускную способность при минимизации стоимости.
Известно [3, 4], что канал передачи информации характеризуется пропускной способностью (бит/с)
CT
=
B
log2
çèççæ1
+
Sin N
ø÷÷÷ö
=
B
log2
çèççæ
S N
÷ø÷÷ö,
(1)
где В односторонняя ширина частотной полосы полезного сигнала, Sin мощность сигнала
Оптический Электронный Дискретный
канал
канал
канал
Рис. 3. Блок-схема канала передачи видеоинформации.
на входе канала, N средняя мощность шума в канале, S = Sin + N мощность выходного сигнала, доступного для регистрации. Согласно теореме Шеннона [3, 4, 6] для канала с помехами, представляющими собой аддитивный гауссов шум, информация может быть передана по каналу со сколь угодно высокой степенью верности, если производительность источника сообщений H = H/t (бит/с) не превышает пропускной способности канала (1). Количество информации, переданной за время T, составляет
C = TBlog2(S/N).
Пропускная способность оптического кана-
ла передачи информации определяется в фор-
ме [2]
COÂ = 2XY Bx Bylog2 (SO /NO ) = = -4XYBxBylog2,
(2)
где XY размеры фотодетектора,
Bx
By
=
D2 16 2
f
2
– ширина полосы в области пространственных частот, D – диаметр линзы объектива, –
среднее значение длины волны излучения, f – фокусное расстояние объектива. Отношение
сигнал-шум в оптической системе
SO = NO
I2 2I
»
I2 2I
=
1 2
(3)
определяется, главным образом, шумом спеклов [2, 8]. В выражении (3) I2 дисперсия шума спеклов, – контраст спеклов.
Учитывая преобразование изображений объективом оптической системы, пропускную
способность можно охарактеризовать выраже-
нием [2]
CO
=-
pd 2f2
log2 ,
(4)
где p площадь зрачка оптической системы, d – площадь фотодетектора. Это выражение показывает, что для повышения пропускной способности оптического канала требуется источник излучения с наименьшей когерентностью (
© 2012 г. В. Н. Васильев, член-корреспондент РАН, доктор техн. наук; И. П. Гуров, доктор техн. наук; А. С. Потапов, доктор техн. наук
Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, Санкт-Петербург
E-mail: gurov@mail.ifmo.ru
Рассмотрены современные проблемы видеоинформатики в области формирования, передачи, обработки, анализа и визуализации видеоинформации. Отличительная особенность видеоинформатики состоит в рассмотрении данных проблем с единых теоретических позиций, что позволяет проводить разработку и оптимизацию характеристик видеоинформационных систем как единого целого. Показана эффективность использования теоретико-информационного подхода для анализа и оптимизации видеоинформационных систем, начиная от оптического канала распространения излучения в свободном пространстве при формировании изображений или многомерных видеоданных и заканчивая системой визуализации. Выделены перспективные направления дальнейшего развития методов видеоинформатики.
Ключевые слова: видеоинформатика, теория информации, формирование изображений, представление изображений, визуализация.
Коды OCIS: 100.2000, 110.2990, 110.3055
Поступила в редакцию 30.07.2012
Введение
Информационные технологии – наиболее активно развивающаяся область высоких технологий. Ввиду существенного расширения информационной емкости запоминающих устройств и пропускной способности каналов связи в общем объеме информации, хранимой и передаваемой в информационно-телекоммуникационных системах, заметно возросла доля информации, приходящейся на изображения [1].
Изображения наиболее информативны. Видеоинформация широко используется в таких областях, как компьютерное зрение, дистанционное зондирование, отображение трехмерных объектов, системы дополненной реальности, наблюдательные системы и системы безопасности, биомедицина и биометрия, диагностика
ценных предметов искусства и др. Видеоинформатика объединяет методы, применяемые в этих областях, и новые современные технологии, интегрированные с компьютерными технологиями и технологиями программирования – от формирования до анализа, классификации, распознавания и визуализации изображений – с привлечением эффективных математических методов и высокопроизводительных вычислительных алгоритмов обработки информации.
Видеоинформатика область информатики, ориентированная на формирование, передачу, обработку и визуализацию информации, представленной в форме изображений.
Обобщенная структура информационной системы иллюстрируется на рис. 1а. В информационной системе источник порождает сообщения, которые должны быть переданы через канал передачи получателю. Во многих слу-
(а) Источник
Кодер
Канал
Декодер
Получатель
(б) Объект
Излучение
Канал
Алгоритм
Получатель
Рис. 1. Блок-схемы информационной системы (а) и системы передачи видеоинформации (б).
“Оптический журнал”, 79, 11, 2012
5
чаях сообщения не могут быть переданы непосредственно, и требуется кодирование сообщения для передачи по каналу с последующим декодированием. В видеоинформационной системе (рис. 1б) кодирование осуществляется при взаимодействии оптического излучения с объектом, а для декодирования используют специальные технические средства и алгоритмы, обеспечивающие извлечение информации для получателя.
В настоящей статье проведено рассмотрение проблематики видеоинформационных систем, относящейся ко всем этапам от формирования до визуализации изображений.
Формирование видеоинформации
Этапы от формирования изображений до их визуализации можно описать в информационных терминах. При автоматическом анализе и преобразовании изображений этот подход оказывается эффективным и приобретает все большую популярность. Действительно, в методах автоматического анализа изображений всегда используются некоторые представления, или способы описания изображений, при этом к представлениям могут применяться информационные критерии качества. Гораздо менее распространенным является применение информационного подхода к процессу формирования изображений. Но и здесь этот подход является не только применимым, но и весьма перспективным, позволяющим с помощью единой системы понятий описать основные элементы видеоинформационных систем.
Источники видеоинформации можно разделить на две группы: абстрактные, такие как объекты виртуальной реальности, и объекты реальной физической природы. Основное различие между этими группами объектов состоит в степени влияния шума, который для объектов первой группы выражается погрешностями описания объектов при их дискретном представлении, тогда как объекты второй группы подвержены существенному влиянию внешних факторов, например, фоновых засветок, изменений условий наблюдения и др.
Источники видеоинформации в большинстве случаев характеризуются высокой степенью избыточности данных, поэтому весьма актуальна проблема оптимального представления (или эффективного кодирования) данных об объектах уже на этапе формирования изображений. Описание объектов реальной фи-
зической природы определяется особенностями конкретной решаемой задачи. Рассмотрим в качестве примера задачу представления трехмерной геометрической формы объекта [2].
Форму большинства реальных объектов можно представить гладкой поверхностью (т. е. низкими частотами пространственного спектра) и сравнительно малой составляющей, описывающей высокочастотные детали.
При применении классической теории информации [3, 4] к проблеме эффективного кодирования трехмерных данных на этапе их формирования естественным является представление формы объекта z(x, y) как реализации случайного процесса {z(x, y)} с автокорреляционной функцией Rzz(x, y) и спектральной плотностью мощности Gzz(fx, fy). Требуется выполнить такое преобразование данных, чтобы (в идеальном случае) обеспечить равномерную спектральную плотность мощности Gz z(fx, fy) = const в частотной полосе пропускания канала передачи информации. Однако большинство оптических систем не обеспечивают требуемого “отбеливания спектра”.
Один из возможных подходов состоит в выполнении пространственного дифференцирования функции z(x, y) [2], обеспечивающего получение более равномерного спектра за счет повышения относительного уровня составляющих с высокими частотами (рис. 2). При этом принципиально важно выполнить дифференцирование оптическими методами до передачи информации в канал с шумом. Подходящим
(а) Gzz
fx
(б) Gzz
fx Рис. 2. Модификация исходной спектральной плотности мощности в области пространственных частот (а) в результате оптического дифференцирования (б).
6 “Оптический журнал”, 79, 11, 2012
методом является метод формирования теневых изображений (shape from shading) [5].
Классическая (Шенноновская) теория информации [6] предполагает знание истинной статистической модели источника данных. Однако в большинстве случаев априорная информация о наблюдаемых объектах весьма ограниченна или отсутствует. Здесь более адекватным средством может служить алгоритмическая теория информации [7], в рамках которой выводится принцип минимальной длины описания для выбора оптимальной модели источника данных и оптимального представления информации (в том числе, изображений). В настоящее время данный принцип используется в методах автоматического анализа изображений (о чем будет сказано ниже), однако его применение в целях повышения эффективности систем формирования изображений является перспективным, хотя и малоисследованным направлением.
Канал передачи видеоинформации
Отличительная особенность видеоинформационных систем выражается в структуре канала передачи информации (рис. 3), который включает оптический канал распространения излучения в свободном пространстве, электронный канал с преобразованием оптического излучения в электрические сигналы и дискретный канал преобразования аналоговых сигналов в дискретные (цифровые) значения. Канал передачи информации должен обеспечивать требуемую пропускную способность при минимизации стоимости.
Известно [3, 4], что канал передачи информации характеризуется пропускной способностью (бит/с)
CT
=
B
log2
çèççæ1
+
Sin N
ø÷÷÷ö
=
B
log2
çèççæ
S N
÷ø÷÷ö,
(1)
где В односторонняя ширина частотной полосы полезного сигнала, Sin мощность сигнала
Оптический Электронный Дискретный
канал
канал
канал
Рис. 3. Блок-схема канала передачи видеоинформации.
на входе канала, N средняя мощность шума в канале, S = Sin + N мощность выходного сигнала, доступного для регистрации. Согласно теореме Шеннона [3, 4, 6] для канала с помехами, представляющими собой аддитивный гауссов шум, информация может быть передана по каналу со сколь угодно высокой степенью верности, если производительность источника сообщений H = H/t (бит/с) не превышает пропускной способности канала (1). Количество информации, переданной за время T, составляет
C = TBlog2(S/N).
Пропускная способность оптического кана-
ла передачи информации определяется в фор-
ме [2]
COÂ = 2XY Bx Bylog2 (SO /NO ) = = -4XYBxBylog2,
(2)
где XY размеры фотодетектора,
Bx
By
=
D2 16 2
f
2
– ширина полосы в области пространственных частот, D – диаметр линзы объектива, –
среднее значение длины волны излучения, f – фокусное расстояние объектива. Отношение
сигнал-шум в оптической системе
SO = NO
I2 2I
»
I2 2I
=
1 2
(3)
определяется, главным образом, шумом спеклов [2, 8]. В выражении (3) I2 дисперсия шума спеклов, – контраст спеклов.
Учитывая преобразование изображений объективом оптической системы, пропускную
способность можно охарактеризовать выраже-
нием [2]
CO
=-
pd 2f2
log2 ,
(4)
где p площадь зрачка оптической системы, d – площадь фотодетектора. Это выражение показывает, что для повышения пропускной способности оптического канала требуется источник излучения с наименьшей когерентностью (