ФОРМИРОВАНИЕ И ВИЗУАЛИЗАЦИЯ 3D-ИЗОБРАЖЕНИЙ МИКРООБЪЕКТОВ ПО СЕРИИ ВИДЕОКАДРОВ С ИЗМЕНЯЕМОЙ ФОКУСИРОВКОЙ
ФОРМИРОВАНИЕ И ВИЗУАЛИЗАЦИЯ 3D-ИЗОБРАЖЕНИЙ МИКРООБЪЕКТОВ…
2 ФОТОНИКА И ОПТОИНФОРМАТИКА
УДК 004.932
ФОРМИРОВАНИЕ И ВИЗУАЛИЗАЦИЯ 3D-ИЗОБРАЖЕНИЙ МИКРООБЪЕКТОВ ПО СЕРИИ ВИДЕОКАДРОВ С ИЗМЕНЯЕМОЙ
ФОКУСИРОВКОЙ
А.Н. Аверкин, А.С. Потапов, А.С. Рожков
Предложен метод построения карты глубины сцены по набору слоев – изображений микрообъектов, полученных с изменяемым положением плоскости фокусировки. В основе метода лежит оценка локального значения дисперсии модуля градиентного поля, анализ распределения которой по слоям позволяет определить расстояния до соответствующих точек сцены и отделить наблюдаемый объект от фона. Реализована система визуализации восстанавливаемой карты глубины с наложением на нее в качестве текстуры синтезированного изображения высокой четкости. Ключевые слова: форма из фокусировки, изображения микрообъектов, локальная дисперсия.
Введение
В настоящее время в микроскопии все чаще ставится задача анализа трехмерной формы наблюдаемых объектов. Обычно в этих целях применяются стереоскопические системы, использующие способность зрительной системы человека восстанавливать трехмерную форму по стереоизображениям. Возможно использование автоматических методов анализа стереоснимков [1], но результаты работы этих методов на сегодняшний день являются недостаточно надежными. Существуют также методы 3Dреконструкции на основе конфокальной лазерной сканирующей микроскопии [2], однако необходимое при этом оборудование заметно дороже и чувствительнее к условиям функционирования.
В этой связи интерес представляет метод «форма из фокусировки». Общая идея этого метода, заключающаяся в возможности определения дальности до сцены по тому, при каком расстоянии фокусировки изображение оказывается наиболее «резким» (энергетический пространственный спектр изображения максимально смещен в сторону высоких частот), давно известна [3]. Однако в связи с тем, что данный метод требует получения многих кадров и не может применяться для динамических сцен, он оказался не слишком популярным. Как правило, в литературе приводится общая идея решения проблемы «форма из фокусировки», тогда как на практике возникает множество дополнительных трудностей. В связи с этим разработка эффективных методов решения данной задачи по-прежнему остается актуальной, в особенности в микроскопии [4].
В работе [5] отмечается, что большинство существующих реализаций метода «форма из фокусировки» для изображений микрообъектов основано на моделировании функции рассеяния точки для конкретной оптической системы, что требует детальной информации о системе и большого объема вычислений. В работе [6] проблема «формы из фокусировки» рассматривается в рамках байесовского подхода с использованием марковских случайных полей. Однако авторам для получения метода, допускающего практическое применение, приходится вводить сильные упрощения в модель, в частности, предположение о статистической независимости расстояний до разных точек сцены за исключением точек, соответствующих смежным пикселям. Анализ научно-технической литературы показывает, что необходима разработка методов, не опирающихся на строгие, но зачастую неприменимые физические и математические модели.
В настоящей работе рассмотрено решение указанной задачи применительно к модели микроскопа МЕТАМ РВ-21-2 с учетом необходимости определения областей сцены, находящихся вне диапазона фокусных расстояний, а также неинформативных областей, для которых дальность не может быть определена из-за дефектов изображения. Приводится описание метода визуализации восстанавливаемого объемного изображения.
Быстрый алгоритм «форма из фокусировки»
Пусть дан набор из N изображений некоторой сцены, полученных из одной и той же точки пространства, причем объекты сцены также остаются неподвижными. Эти двумерные изображения Iw(x, y), трактуемые далее как слои составного изображения, отличаются друг от друга глубиной фокусировки, которая изменялась от кадра к кадру на некоторую величину (здесь w = 0, ..., N – номер слоя; x и y – координаты пикселей на изображениях). Задача заключается в установлении для каждого пикселя номера слоя, наиболее точно отвечающего дальности до соответствующей точки сцены.
Для решения этой задачи был разработан следующий алгоритм. На первом шаге работы алгоритма к каждому из слоев составного изображения применяется оператор Собеля с маской размером 3×3 элемента,
12 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 6 (76)
А.Н. Аверкин, А.С. Потапов, А.С. Рожков
1 2 1
1 0 1
Gy
(x,
y)
0
0
0
Iw
(
x,
y)
,
Gx (x, y)
2
0
2 Iw(x, y) ,
1 2 1
1 0 1
где * – операция свертки. В результате формируется новое многослойное изображение
Gw(x, y) Gx2(x, y) Gy2(x, y) .
На следующем шаге алгоритма рассчитывается локальное значение дисперсии модуля градиента в каждом пикселе каждого слоя изображения:
Dw(x,
y)
1 n2
xk ixk
yk
Gw (i,
j yk
j)
Gws (x,
y)
2
,
(1)
где D(x, y) – значение дисперсии в окне вокруг пикселя с координатами x, y для изображения Gw, полученного в результате свертки с оператором Собеля; n2 – площадь области (окна), в которой вычисляется дисперсия для центрального ее элемента; k = (n–1)/2 – половина размера окна без центрального элемента; Gws – среднее значение элементов изображения Gw, попавших под маску размером n×n, для текущего пикселя.
Непосредственное применение уравнения (1) потребовало бы сделать два прохода по всем слоям изображения: один проход – для вычисления среднего значения, а затем второй проход – для вычисления собственно дисперсии. В результате несложных математических преобразований формулу для расчета дисперсии можно представить в следующем виде:
Dw(x,
y)
1 n2
xk ixk
yk
Gw2 (i,
j yk
j)
1 n2
xk ixk
yk
Gw (i,
j yk
j
)
2
.
(2)
Используя формулу (2), можно за один проход просуммировать как значения Gw(i, j), так и их квадраты. Дисперсия равна разнице между средним арифметическим квадратов и квадратом среднего
арифметического. Однако при этом для каждого пикселя изображения потребуется выполнять n2 опера-
ций, что затруднительно сделать (без привлечения параллельных вычислений) в масштабе реального
времени.
В предлагаемом в настоящей работе методе для вычисления среднего по окну используется быст-
рый алгоритм, суть которого заключается в следующем. Сначала усреднение производится горизонталь-
ной одномерной маской размером 1n, а после этого получившееся изображение усредняется вертикаль-
ной одномерной маской размером n1. На каждом шаге при перемещении маски на один элемент не происходит суммирование по всем элементам заново, а используется информация, сохраненная на предыдущем шаге. Значения под маской подвергаются лишь незначительным изменениям: добавляется только один новый элемент и, соответственно, только один элемент удаляется. В связи с этим время расчета дисперсии не зависит от размера маски.
После того как для каждого слоя рассчитаны значения локальной дисперсии, выполняется следующий шаг алгоритма – построение изображения высокой четкости. При этом происходит компенсация основного ограничения оптической микроскопии – малой глубины резкости.
Построение изображения высокой четкости осуществляется следующим образом. Для каждого пикселя анализируются значения локальной дисперсии в каждом слое. Определяются максимальное и минимальное значения дисперсии. В результирующее изображение высокой четкости помещается яркость пикселя из слоя, в котором для данного пикселя значение дисперсии максимально. Номер выбранного слоя для каждого пикселя указывает также наиболее вероятное расстояние до соответствующей точки сцены. Однако для построения карты глубины требуется исключить также точки, принадлежащие фону и дефектам изображения, чтобы отделить их от области объекта.
Фон, находящийся вне диапазона глубин фокусировки, и дефекты изображения оказывают негативное влияние на процесс визуализации реконструированного 3D-объекта. В работе [5] для устранения фона используется операция бинаризации поля дисперсии яркостей по некоторому порогу, задаваемому вручную в предлагаемой авторами программной оболочке. После бинаризации изображения высокой четкости требуется выполнить операцию уничтожения всех обнаруженных областей, размер которых не превышает некоторого порога. Однако такой способ отделения фона накладывает определенные ограничения на форму исследуемых объектов.
Авторами предлагается новый критерий для выделения области объекта. Само значение локальной дисперсии не является надежной характеристикой, так как для фона ее значение будет малым (фон максимально «нерезкий»), а для дефектов изображения – большим (дефекты – царапины, пылинки – максимально «резкие»). Для точек объекта локальная дисперсия будет сильно варьироваться в зависимости от параметров текстуры. В то же время нормированная разница между максимальной и минимальной (по
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, № 6 (76)
13
ФОРМИРОВАНИЕ И ВИЗУАЛИЗАЦИЯ 3D-ИЗОБРАЖЕНИЙ МИКРООБЪЕКТОВ…
слоям) дисперсиями будет малой как для точек фона, так и для дефектов. Порог на эту величину может быть автоматически установлен путем выделения двух мод на ее гистограмме, построенной по всем пикселям изображения.
Таким образом, строятся изображение высокой четкости и карта глубины, на которой выделены области, принадлежащие наблюдаемому объекту.
Экспериментальная проверка алгоритма построения карты глубины
Рассмотрим набор из 18 снимков, полученных путем последовательного изменения расстояния фокусировки. На рис. 1 представлены три изображения из данного набора. Как видно из рисунка, входные изображения искажены различными дефектами объектива (царапинами, пылинками). Также присутствует фон, не попадающий в глубину резкости ни на одном снимке.
250 мкм
250 мкм
250 мкм
Рис. 1. Изображения поверхности, полученные при фокусировке на дальнюю (а), среднюю (б) и ближнюю (в) части объекта
На рис. 2 представлен результат синтеза изображения максимальной четкости по критерию максимума локальной дисперсии модуля градиента.
250 мкм Рис. 2. Изображения микрообъекта высокой четкости
250 мкм
Рис. 3.РПисо. с3т. рПоосетнриоееникеаркатрытыглглууббиинныыббезезвывдыелдеенлияенобиъяекотбаъекта Полученное изображение содержит не больше дефектов, чем исходные изображения, поэтому может сложиться впечатление, что данный критерий является достаточным. Однако вид карты глубины (рис. 3), также построенной по этому критерию (на карте глубины яркость каждого пикселя пропорцио-
14 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 6 (76)
А.Н. Аверкин, А.С. Потапов, А.С. Рожков
нальна номеру выбранного в этом пикселе слоя), характеризуется большим уровнем шума в пикселях, соответствующих фону и дефектам изображения, и является непригодной для визуализации.
На рис. 4 представлена карта глубины после выполнения всех шагов разработанного алгоритма.
250 мкм
Рис. Р4и.сК. а4.рКтаартгалгулбуибинныы ннааббллююдадеамеомгооогбоъоекбтъа екта
Из рис. 1 и 4 видно, что построенная карта глубины адекватно отражает распределение пикселей по слоям, сформированное при различных расстояниях фокусировки. Данное обстоятельство свидетельствует о практической пригодности предложенного метода для построения карт глубины различных наблюдаемых микрообъектов.
3D-визуализация
Большое значение имеет визуализация 3D-информации, в связи с чем методы восстановления трехмерной формы должны быть дополнены соответствующими средствами ее отображения. При выполнении настоящей работы был разработан программный модуль, позволяющий строить трехмерную модель микрообъекта по результатам работы (карте глубины и изображения высокой четкости) описанного выше алгоритма для дальнейшего анализа этой модели пользователем.
Здесь модель представляет собой сетку полигонов, сгруппированных по два в прямоугольники. В зависимости от выбранного пользователем значения уровня детализации n каждому n-му пикселю изображения сопоставляется вершина прямоугольника, которая, в свою очередь, является узлом полигональной сетки модели. Координаты x и y каждой вершины задаются шагом сетки, в то время как координата z рассчитывается на основе яркости соответствующего пикселя карты глубины, умноженной на коэффициент глубины, также задаваемый пользователем.
На сгенерированную модель в качестве текстуры накладывается изображение повышенной четкости, затем напротив нее помещается камера, направленная на центр модели. Однако этого недостаточно для удобного восприятия глубины и рельефа объекта пользователем. Поскольку изображение проецируется на плоскость экрана, при отсутствии движения зрительная система наблюдателя не в состоянии определить относительное расстояние до точек образца. Для компенсации этого ограничения была обеспечена возможность вращения модели и регулировки положения камеры, что также помогает пользователю более подробно изучить образец. Кроме того, модель затеняется при помощи одного стационарного источника освещения, что позволяет подчеркнуть рельеф образца.
В качестве примера была выбрана серия, состоящая из 24 изображений, три из которых представлены на рис. 5. На рис. 6 представлены примеры 3D-визуализации с одного ракурса без использования затенения и с его использованием.
250 мкм
250 мкм
250 мкм
а а бб вв РРиисс.. 55.. ИИззооббрраажжеенниияя ппооввееррххннооссттии,, ппооллууччеенннныыее ппррии ффооккууссииррооввккее ннаа ддааллььннюююю ((аа)),, ссррееддннюююю ((бб))
ии ббллиижжннюююю ((вв)) ччаассттии ооббъъееккттаа Рис. 5. Изображения поверхности, полученные при разных значениях расстояния фокусировки
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, № 6 (76)
15
ФОРМИРОВАНИЕ И ВИЗУАЛИЗАЦИЯ 3D-ИЗОБРАЖЕНИЙ МИКРООБЪЕКТОВ…
аб
Рис. 6. Результат 3D-визуализации с затенением (а) и без затенения (б)
В качестве способа затенения было применено затенение по Гуро (Gourad shading). Оно было впервые предложено в работе [7] и наряду с затенением по Фонгу используется в трехмерной графике для расчета непрерывного затенения поверхностей, заданных сетками полигонов. Однако по сравнению с затенением по Фонгу, в котором нормали рассчитываются для каждой точки поверхности, затенение по Гуро проще в реализации и менее требовательно к вычислительным ресурсам, поскольку для него необходимы нормали только в вершинах полигонов. Основная идея данного метода визуализации заключается в расчете нормалей вершины путем усреднения нормалей всех примыкающих к ней полигонов. Затем для каждой нормали рассчитывается величина освещенности как скалярное произведение нормали и направления падения света. Для определения освещенности точек полигона найденные значения освещенности в вершинах линейно интерполируются.
На рис. 7 представлены примеры плоского затенения и затенения по Гуро. При плоском затенении нормали вершин каждого четырехугольника рассчитываются независимо. Так как все грани лежат в одной плоскости, нормали всех вершин коллинеарны, и соответственно четырехугольник освещен равномерно. В результате хорошо заметна сетка, использованная в модели; кроме того, резкие границы между смежными прямоугольниками мешают восприятию формы объекта. При затенении по Гуро результат визуально воспринимается лучше, и сама карта затенения может использоваться для оценки восстановленной трехмерной формы наблюдаемого объекта.
аа
бб
РРиисс.. 77.. ППллооссккооее ззааттееннееннииее ((аа)) ии ззааттееннееннииее ппоо ГГуурроо ((бб))
Заключение
Предложенный алгоритм восстановления формы объектов по серии видеокадров, полученных при разных расстояниях фокусировки, опирается на анализ локальных значений дисперсии модуля градиента изображения в разных слоях. При этом номер слоя с максимальной дисперсией указывает на наиболее вероятную глубину соответствующей точки сцены.
16 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 6 (76)
А.В. Дырнаев
Исключение из рассмотрения точек, принадлежащих фону (находящихся вне диапазона расстояний фокусировки), а также относящихся к дефектам изображения, осуществляется на основе величины относительной разности максимальной и минимальной дисперсий для данного пикселя. Порог на эту разность устанавливается путем анализа гистограммы ее распределения по всему изображению. Данный критерий отличает предложенный метод от ряда существующих методов, которые используют вручную подбираемый порог на значение дисперсии яркостей. Благодаря тому, что в методе проводится расчет только локальной дисперсии, для вычисления которой использован алгоритм, требующий нескольких операций на пиксель, оказывается возможным построение карты глубины в масштабе реального времени.
Экспериментальные исследования и использование созданного программного модуля подтвердили достаточно высокое качество визуализации реконструированного 3D-изображения, что свидетельствует о практической применимости разработанного метода. Тем не менее, в будущем необходимо исследовать возможность улучшения результатов реконструкции путем учета взаимосвязи между дальностью до соседних точек сцены, а также путем интерполяции значений дальности для повышения точности карты глубины.
Работа выполнена при финансовой поддержке Министерства образования и науки Российской Федерации.
Литература
1. Greenberg G.L., Boyde A. Direct View 3-D Microscopy Using Conventional Lenses // European Microscopy and Analysis. – 1997. – P. 5–7.
2. Packroff G., Lawrence J.R., Neu T.R. In Situ Confocal Laser Scanning Microscopy of Protozoans in Cultures and Complex Biofilm Communities // Acta Protozool. – 2002. – V. 41. – P. 245–253.
3. Pentland A.P. Depth of Scene from Depth of Field // Proc. Image Understanding Workshop. – 1982. – P. 253–259.
4. Schmitz D., Seibt D., Herpers R., Heiden W. 3D-Reconstruction of Microscopic Translucent Silicate-based
Marine and Freshwater-Organisms // Aktuelle Methoden der Laser- und Medizinphysik: Tagungsband der 2. Remagener Physiktage. – 2004. – P. 43–48. 5. Niederöst M., Niederöst J., Šcucka J. Automatic 3D reconstruction and visualization of microscopic objects
from a monoscopic multifocus image sequence // International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences. – 2003. – V. XXXIV. – 5/W10.
6. Gaganov V., Ignatenko A. Robust Shape from Focus via Markov Random Fields // Proceedings of Graphicon Conference. – 2009. – P. 74–80.
7. Gouraud H. Continuous shading of curved surfaces // IEEE Transactions on Computers. – 1971. – V. 20. – № 6. – P. 623–629.
Аверкин Антон Нилович Потапов Алексей Сергеевич
Рожков Алексей Сергеевич
– Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, студент, ant-averkin@rambler.ru
– Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, доктор технических наук, профессор, pas.aicv@gmail.com
– Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, студент,
alexisrozhkov@gmail.com
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, № 6 (76)
17
2 ФОТОНИКА И ОПТОИНФОРМАТИКА
УДК 004.932
ФОРМИРОВАНИЕ И ВИЗУАЛИЗАЦИЯ 3D-ИЗОБРАЖЕНИЙ МИКРООБЪЕКТОВ ПО СЕРИИ ВИДЕОКАДРОВ С ИЗМЕНЯЕМОЙ
ФОКУСИРОВКОЙ
А.Н. Аверкин, А.С. Потапов, А.С. Рожков
Предложен метод построения карты глубины сцены по набору слоев – изображений микрообъектов, полученных с изменяемым положением плоскости фокусировки. В основе метода лежит оценка локального значения дисперсии модуля градиентного поля, анализ распределения которой по слоям позволяет определить расстояния до соответствующих точек сцены и отделить наблюдаемый объект от фона. Реализована система визуализации восстанавливаемой карты глубины с наложением на нее в качестве текстуры синтезированного изображения высокой четкости. Ключевые слова: форма из фокусировки, изображения микрообъектов, локальная дисперсия.
Введение
В настоящее время в микроскопии все чаще ставится задача анализа трехмерной формы наблюдаемых объектов. Обычно в этих целях применяются стереоскопические системы, использующие способность зрительной системы человека восстанавливать трехмерную форму по стереоизображениям. Возможно использование автоматических методов анализа стереоснимков [1], но результаты работы этих методов на сегодняшний день являются недостаточно надежными. Существуют также методы 3Dреконструкции на основе конфокальной лазерной сканирующей микроскопии [2], однако необходимое при этом оборудование заметно дороже и чувствительнее к условиям функционирования.
В этой связи интерес представляет метод «форма из фокусировки». Общая идея этого метода, заключающаяся в возможности определения дальности до сцены по тому, при каком расстоянии фокусировки изображение оказывается наиболее «резким» (энергетический пространственный спектр изображения максимально смещен в сторону высоких частот), давно известна [3]. Однако в связи с тем, что данный метод требует получения многих кадров и не может применяться для динамических сцен, он оказался не слишком популярным. Как правило, в литературе приводится общая идея решения проблемы «форма из фокусировки», тогда как на практике возникает множество дополнительных трудностей. В связи с этим разработка эффективных методов решения данной задачи по-прежнему остается актуальной, в особенности в микроскопии [4].
В работе [5] отмечается, что большинство существующих реализаций метода «форма из фокусировки» для изображений микрообъектов основано на моделировании функции рассеяния точки для конкретной оптической системы, что требует детальной информации о системе и большого объема вычислений. В работе [6] проблема «формы из фокусировки» рассматривается в рамках байесовского подхода с использованием марковских случайных полей. Однако авторам для получения метода, допускающего практическое применение, приходится вводить сильные упрощения в модель, в частности, предположение о статистической независимости расстояний до разных точек сцены за исключением точек, соответствующих смежным пикселям. Анализ научно-технической литературы показывает, что необходима разработка методов, не опирающихся на строгие, но зачастую неприменимые физические и математические модели.
В настоящей работе рассмотрено решение указанной задачи применительно к модели микроскопа МЕТАМ РВ-21-2 с учетом необходимости определения областей сцены, находящихся вне диапазона фокусных расстояний, а также неинформативных областей, для которых дальность не может быть определена из-за дефектов изображения. Приводится описание метода визуализации восстанавливаемого объемного изображения.
Быстрый алгоритм «форма из фокусировки»
Пусть дан набор из N изображений некоторой сцены, полученных из одной и той же точки пространства, причем объекты сцены также остаются неподвижными. Эти двумерные изображения Iw(x, y), трактуемые далее как слои составного изображения, отличаются друг от друга глубиной фокусировки, которая изменялась от кадра к кадру на некоторую величину (здесь w = 0, ..., N – номер слоя; x и y – координаты пикселей на изображениях). Задача заключается в установлении для каждого пикселя номера слоя, наиболее точно отвечающего дальности до соответствующей точки сцены.
Для решения этой задачи был разработан следующий алгоритм. На первом шаге работы алгоритма к каждому из слоев составного изображения применяется оператор Собеля с маской размером 3×3 элемента,
12 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 6 (76)
А.Н. Аверкин, А.С. Потапов, А.С. Рожков
1 2 1
1 0 1
Gy
(x,
y)
0
0
0
Iw
(
x,
y)
,
Gx (x, y)
2
0
2 Iw(x, y) ,
1 2 1
1 0 1
где * – операция свертки. В результате формируется новое многослойное изображение
Gw(x, y) Gx2(x, y) Gy2(x, y) .
На следующем шаге алгоритма рассчитывается локальное значение дисперсии модуля градиента в каждом пикселе каждого слоя изображения:
Dw(x,
y)
1 n2
xk ixk
yk
Gw (i,
j yk
j)
Gws (x,
y)
2
,
(1)
где D(x, y) – значение дисперсии в окне вокруг пикселя с координатами x, y для изображения Gw, полученного в результате свертки с оператором Собеля; n2 – площадь области (окна), в которой вычисляется дисперсия для центрального ее элемента; k = (n–1)/2 – половина размера окна без центрального элемента; Gws – среднее значение элементов изображения Gw, попавших под маску размером n×n, для текущего пикселя.
Непосредственное применение уравнения (1) потребовало бы сделать два прохода по всем слоям изображения: один проход – для вычисления среднего значения, а затем второй проход – для вычисления собственно дисперсии. В результате несложных математических преобразований формулу для расчета дисперсии можно представить в следующем виде:
Dw(x,
y)
1 n2
xk ixk
yk
Gw2 (i,
j yk
j)
1 n2
xk ixk
yk
Gw (i,
j yk
j
)
2
.
(2)
Используя формулу (2), можно за один проход просуммировать как значения Gw(i, j), так и их квадраты. Дисперсия равна разнице между средним арифметическим квадратов и квадратом среднего
арифметического. Однако при этом для каждого пикселя изображения потребуется выполнять n2 опера-
ций, что затруднительно сделать (без привлечения параллельных вычислений) в масштабе реального
времени.
В предлагаемом в настоящей работе методе для вычисления среднего по окну используется быст-
рый алгоритм, суть которого заключается в следующем. Сначала усреднение производится горизонталь-
ной одномерной маской размером 1n, а после этого получившееся изображение усредняется вертикаль-
ной одномерной маской размером n1. На каждом шаге при перемещении маски на один элемент не происходит суммирование по всем элементам заново, а используется информация, сохраненная на предыдущем шаге. Значения под маской подвергаются лишь незначительным изменениям: добавляется только один новый элемент и, соответственно, только один элемент удаляется. В связи с этим время расчета дисперсии не зависит от размера маски.
После того как для каждого слоя рассчитаны значения локальной дисперсии, выполняется следующий шаг алгоритма – построение изображения высокой четкости. При этом происходит компенсация основного ограничения оптической микроскопии – малой глубины резкости.
Построение изображения высокой четкости осуществляется следующим образом. Для каждого пикселя анализируются значения локальной дисперсии в каждом слое. Определяются максимальное и минимальное значения дисперсии. В результирующее изображение высокой четкости помещается яркость пикселя из слоя, в котором для данного пикселя значение дисперсии максимально. Номер выбранного слоя для каждого пикселя указывает также наиболее вероятное расстояние до соответствующей точки сцены. Однако для построения карты глубины требуется исключить также точки, принадлежащие фону и дефектам изображения, чтобы отделить их от области объекта.
Фон, находящийся вне диапазона глубин фокусировки, и дефекты изображения оказывают негативное влияние на процесс визуализации реконструированного 3D-объекта. В работе [5] для устранения фона используется операция бинаризации поля дисперсии яркостей по некоторому порогу, задаваемому вручную в предлагаемой авторами программной оболочке. После бинаризации изображения высокой четкости требуется выполнить операцию уничтожения всех обнаруженных областей, размер которых не превышает некоторого порога. Однако такой способ отделения фона накладывает определенные ограничения на форму исследуемых объектов.
Авторами предлагается новый критерий для выделения области объекта. Само значение локальной дисперсии не является надежной характеристикой, так как для фона ее значение будет малым (фон максимально «нерезкий»), а для дефектов изображения – большим (дефекты – царапины, пылинки – максимально «резкие»). Для точек объекта локальная дисперсия будет сильно варьироваться в зависимости от параметров текстуры. В то же время нормированная разница между максимальной и минимальной (по
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, № 6 (76)
13
ФОРМИРОВАНИЕ И ВИЗУАЛИЗАЦИЯ 3D-ИЗОБРАЖЕНИЙ МИКРООБЪЕКТОВ…
слоям) дисперсиями будет малой как для точек фона, так и для дефектов. Порог на эту величину может быть автоматически установлен путем выделения двух мод на ее гистограмме, построенной по всем пикселям изображения.
Таким образом, строятся изображение высокой четкости и карта глубины, на которой выделены области, принадлежащие наблюдаемому объекту.
Экспериментальная проверка алгоритма построения карты глубины
Рассмотрим набор из 18 снимков, полученных путем последовательного изменения расстояния фокусировки. На рис. 1 представлены три изображения из данного набора. Как видно из рисунка, входные изображения искажены различными дефектами объектива (царапинами, пылинками). Также присутствует фон, не попадающий в глубину резкости ни на одном снимке.
250 мкм
250 мкм
250 мкм
Рис. 1. Изображения поверхности, полученные при фокусировке на дальнюю (а), среднюю (б) и ближнюю (в) части объекта
На рис. 2 представлен результат синтеза изображения максимальной четкости по критерию максимума локальной дисперсии модуля градиента.
250 мкм Рис. 2. Изображения микрообъекта высокой четкости
250 мкм
Рис. 3.РПисо. с3т. рПоосетнриоееникеаркатрытыглглууббиинныыббезезвывдыелдеенлияенобиъяекотбаъекта Полученное изображение содержит не больше дефектов, чем исходные изображения, поэтому может сложиться впечатление, что данный критерий является достаточным. Однако вид карты глубины (рис. 3), также построенной по этому критерию (на карте глубины яркость каждого пикселя пропорцио-
14 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 6 (76)
А.Н. Аверкин, А.С. Потапов, А.С. Рожков
нальна номеру выбранного в этом пикселе слоя), характеризуется большим уровнем шума в пикселях, соответствующих фону и дефектам изображения, и является непригодной для визуализации.
На рис. 4 представлена карта глубины после выполнения всех шагов разработанного алгоритма.
250 мкм
Рис. Р4и.сК. а4.рКтаартгалгулбуибинныы ннааббллююдадеамеомгооогбоъоекбтъа екта
Из рис. 1 и 4 видно, что построенная карта глубины адекватно отражает распределение пикселей по слоям, сформированное при различных расстояниях фокусировки. Данное обстоятельство свидетельствует о практической пригодности предложенного метода для построения карт глубины различных наблюдаемых микрообъектов.
3D-визуализация
Большое значение имеет визуализация 3D-информации, в связи с чем методы восстановления трехмерной формы должны быть дополнены соответствующими средствами ее отображения. При выполнении настоящей работы был разработан программный модуль, позволяющий строить трехмерную модель микрообъекта по результатам работы (карте глубины и изображения высокой четкости) описанного выше алгоритма для дальнейшего анализа этой модели пользователем.
Здесь модель представляет собой сетку полигонов, сгруппированных по два в прямоугольники. В зависимости от выбранного пользователем значения уровня детализации n каждому n-му пикселю изображения сопоставляется вершина прямоугольника, которая, в свою очередь, является узлом полигональной сетки модели. Координаты x и y каждой вершины задаются шагом сетки, в то время как координата z рассчитывается на основе яркости соответствующего пикселя карты глубины, умноженной на коэффициент глубины, также задаваемый пользователем.
На сгенерированную модель в качестве текстуры накладывается изображение повышенной четкости, затем напротив нее помещается камера, направленная на центр модели. Однако этого недостаточно для удобного восприятия глубины и рельефа объекта пользователем. Поскольку изображение проецируется на плоскость экрана, при отсутствии движения зрительная система наблюдателя не в состоянии определить относительное расстояние до точек образца. Для компенсации этого ограничения была обеспечена возможность вращения модели и регулировки положения камеры, что также помогает пользователю более подробно изучить образец. Кроме того, модель затеняется при помощи одного стационарного источника освещения, что позволяет подчеркнуть рельеф образца.
В качестве примера была выбрана серия, состоящая из 24 изображений, три из которых представлены на рис. 5. На рис. 6 представлены примеры 3D-визуализации с одного ракурса без использования затенения и с его использованием.
250 мкм
250 мкм
250 мкм
а а бб вв РРиисс.. 55.. ИИззооббрраажжеенниияя ппооввееррххннооссттии,, ппооллууччеенннныыее ппррии ффооккууссииррооввккее ннаа ддааллььннюююю ((аа)),, ссррееддннюююю ((бб))
ии ббллиижжннюююю ((вв)) ччаассттии ооббъъееккттаа Рис. 5. Изображения поверхности, полученные при разных значениях расстояния фокусировки
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, № 6 (76)
15
ФОРМИРОВАНИЕ И ВИЗУАЛИЗАЦИЯ 3D-ИЗОБРАЖЕНИЙ МИКРООБЪЕКТОВ…
аб
Рис. 6. Результат 3D-визуализации с затенением (а) и без затенения (б)
В качестве способа затенения было применено затенение по Гуро (Gourad shading). Оно было впервые предложено в работе [7] и наряду с затенением по Фонгу используется в трехмерной графике для расчета непрерывного затенения поверхностей, заданных сетками полигонов. Однако по сравнению с затенением по Фонгу, в котором нормали рассчитываются для каждой точки поверхности, затенение по Гуро проще в реализации и менее требовательно к вычислительным ресурсам, поскольку для него необходимы нормали только в вершинах полигонов. Основная идея данного метода визуализации заключается в расчете нормалей вершины путем усреднения нормалей всех примыкающих к ней полигонов. Затем для каждой нормали рассчитывается величина освещенности как скалярное произведение нормали и направления падения света. Для определения освещенности точек полигона найденные значения освещенности в вершинах линейно интерполируются.
На рис. 7 представлены примеры плоского затенения и затенения по Гуро. При плоском затенении нормали вершин каждого четырехугольника рассчитываются независимо. Так как все грани лежат в одной плоскости, нормали всех вершин коллинеарны, и соответственно четырехугольник освещен равномерно. В результате хорошо заметна сетка, использованная в модели; кроме того, резкие границы между смежными прямоугольниками мешают восприятию формы объекта. При затенении по Гуро результат визуально воспринимается лучше, и сама карта затенения может использоваться для оценки восстановленной трехмерной формы наблюдаемого объекта.
аа
бб
РРиисс.. 77.. ППллооссккооее ззааттееннееннииее ((аа)) ии ззааттееннееннииее ппоо ГГуурроо ((бб))
Заключение
Предложенный алгоритм восстановления формы объектов по серии видеокадров, полученных при разных расстояниях фокусировки, опирается на анализ локальных значений дисперсии модуля градиента изображения в разных слоях. При этом номер слоя с максимальной дисперсией указывает на наиболее вероятную глубину соответствующей точки сцены.
16 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 6 (76)
А.В. Дырнаев
Исключение из рассмотрения точек, принадлежащих фону (находящихся вне диапазона расстояний фокусировки), а также относящихся к дефектам изображения, осуществляется на основе величины относительной разности максимальной и минимальной дисперсий для данного пикселя. Порог на эту разность устанавливается путем анализа гистограммы ее распределения по всему изображению. Данный критерий отличает предложенный метод от ряда существующих методов, которые используют вручную подбираемый порог на значение дисперсии яркостей. Благодаря тому, что в методе проводится расчет только локальной дисперсии, для вычисления которой использован алгоритм, требующий нескольких операций на пиксель, оказывается возможным построение карты глубины в масштабе реального времени.
Экспериментальные исследования и использование созданного программного модуля подтвердили достаточно высокое качество визуализации реконструированного 3D-изображения, что свидетельствует о практической применимости разработанного метода. Тем не менее, в будущем необходимо исследовать возможность улучшения результатов реконструкции путем учета взаимосвязи между дальностью до соседних точек сцены, а также путем интерполяции значений дальности для повышения точности карты глубины.
Работа выполнена при финансовой поддержке Министерства образования и науки Российской Федерации.
Литература
1. Greenberg G.L., Boyde A. Direct View 3-D Microscopy Using Conventional Lenses // European Microscopy and Analysis. – 1997. – P. 5–7.
2. Packroff G., Lawrence J.R., Neu T.R. In Situ Confocal Laser Scanning Microscopy of Protozoans in Cultures and Complex Biofilm Communities // Acta Protozool. – 2002. – V. 41. – P. 245–253.
3. Pentland A.P. Depth of Scene from Depth of Field // Proc. Image Understanding Workshop. – 1982. – P. 253–259.
4. Schmitz D., Seibt D., Herpers R., Heiden W. 3D-Reconstruction of Microscopic Translucent Silicate-based
Marine and Freshwater-Organisms // Aktuelle Methoden der Laser- und Medizinphysik: Tagungsband der 2. Remagener Physiktage. – 2004. – P. 43–48. 5. Niederöst M., Niederöst J., Šcucka J. Automatic 3D reconstruction and visualization of microscopic objects
from a monoscopic multifocus image sequence // International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences. – 2003. – V. XXXIV. – 5/W10.
6. Gaganov V., Ignatenko A. Robust Shape from Focus via Markov Random Fields // Proceedings of Graphicon Conference. – 2009. – P. 74–80.
7. Gouraud H. Continuous shading of curved surfaces // IEEE Transactions on Computers. – 1971. – V. 20. – № 6. – P. 623–629.
Аверкин Антон Нилович Потапов Алексей Сергеевич
Рожков Алексей Сергеевич
– Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, студент, ant-averkin@rambler.ru
– Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, доктор технических наук, профессор, pas.aicv@gmail.com
– Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, студент,
alexisrozhkov@gmail.com
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, № 6 (76)
17