Благодаря развитию технологий человечество стало способным получать изображения не просто «копируя действительность» с помощью фотоаппарата, но и «реконструируя» изображение из информации, полученной с помощью современной техники: компьютерные телескопы, электронные микроскопы, компьютерные томографы и т.д. Но очень часто не достаточно просто получить картинку, необходимо также произвести дальнейшие манипуляции над изображением, чтобы добиться поставленной перед исследователем цели. Таким образом, всё большее распространение и развитие получают различные методы обработки изображений.
На выходе, в результате обработки изображений, мы можем получать не только модифицированное изображение, как в случае ретуши фотографий, подготовки к полиграфическому тиражированию, коррекции видеоряда. Но и различного рода информацию, которая применяется для решения множества разнообразных прикладных и научных задач: контроль популяции диких животных при помощи аэросъёмки, распознавание рукописного текста, автопилотирование машин и роботов, определение типа клеток и их подсчёт с помощью электронного микроскопа, создание 3D изображений и многое другое.
Условно обработку изображений можно разделить на два направления:
Обработка статичных изображений;
Обработка видео (последовательности кадров).
Как в первом, так и во втором случае может рассматриваться последовательность изображений, но если исследователей интересует содержание изображений, то будем говорить об обработке каждого изображения в отдельности. Примером результатов такой обработки может быть классификация объектов на изображении (корреляция изображения или отдельных объектов на нём с заданными образцами), выделение контуров объектов, и т.п.
Обработкой же последовательности кадров будем называть ситуации, когда для решения поставленных задач необходимо получить информацию об изменениях, что происходят при переходе от одного кадра к другому. В данном случае, чаще всего, говорят об идентификации направления и скорости перемещения объекта на изображениях.
Информация подобного рода необходима, например, при решении задач управления передвижением беспилотных машин и роботов. На её основе могут делаться выводы о том, насколько близко к камере находится объект, как он взаимодействует с другими объектами на изображении, т.е. благодаря этим данным машина может получить информацию о пространственной структуре окружающей среды и своём положении в ней и, таким образом, ориентироваться в пространстве вокруг.
Также, зная направление и скорость перемещения объекта на последовательности изображений, можно производить автоматизацию корректировки положения интересующей нас области на картинках. Данная операция необходима, когда для дальнейшей обработки изображений требуется сохранение пространственного положения объекта, а при создании изображений по тем или иным причинам сохранение статичного положения объекта невозможно. Например, при проведении радионуклидного исследования, которое занимает достаточно длительный период времени, возможны непроизвольные смещения пациента или же его внутренних органов, что приводит к ошибкам при дальнейшей обработке этой последовательности изображений с целью оценки функционального состояния органов человека.
При использовании различных методов обработки последовательности кадров с целью определения смещения объектов на выходе получают результаты, представленные в двух видах: поле скоростей или поле перемещений. В обоих случаях мы имеем поле векторов, которое представляет собой область, размером соответствующую рассматриваемому изображению, на которой изображены вектора. В первом случае, они указывают направление и скорость смещения каждого пикселя (или области пикселей). Во втором случае, они указывают, куда именно переместился объект (пиксель), т.е. вектор соединяет точки его начального и конечного положения в результате перемещения. При этом, зная частоту дискретизации по кадрам, можно преобразовать поле скоростей в поле векторов и наоборот.
Метод оптического потока (ОП) является одним из наиболее распространенных подходов к выделению движущихся объектов на изображениях. Он предоставляет достаточно эффективный и гибкий аппарат для анализа смещений объектов на последовательностях изображений.
В методе ОП [8], [9], [10] изначально предполагается, что изображаемая поверхность плоская, и что освещение равномерно по всей поверхности объекта. Яркость в точке изображения пропорциональна отражению поверхности в соответствующей точке объекта. Кроме того, предполагается, что отражение меняется плавно и не имеет пространственных разрывов. Это последнее условие гарантирует нам, что яркость изображения является дифференцируемой.
Это подводит нас к главному предположению ОП, которое говорит о том, что яркость конкретной точки при перемещении остаётся неизменной. Пустьρ=ρ(t,x,y) – это яркость изображения в точке (x,y) в момент времени t. Перемещение описывается следующей системой дифференциальных уравнений:
dx/dt=u(t,x,y), dy/dt=v(t,x,y). (1)
Таким образом, уравнение, связывающее изменения яркости изображения в точке с движением яркостного образа, выглядит следующем образом:
├ dρ/dt┤|_((1))=0. (2)
Конечно, нельзя гарантировать выполнение данного условия в полной мере, потому что со временем источник освещения может менять своё положение в пространстве, может появиться дополнительный источник света и т.п. Но экспериментально показано, что такое предположение работает довольно хорошо, благодаря чему уже не одно десятилетие исследователи имеют возможность использовать его для определения ОП.
Из формулы (2) получаем формулу (3):
∂ρ/∂x dx/dt+∂ρ/∂y dy/dt+∂ρ/∂t=0. (3)
Теперь мы имеем одно линейное уравнение с двумя неизвестными u и v:
ρ_x u+ρ_y v+ρ_t=0, (4)
где ρ_x,ρ_y и ρ_t – это обозначения для частных производных яркости изображения поx,y и tсоответственно.
Полученное уравнение содержит две неизвестные и не может быть однозначно разрешено. Следовательно, необходимо ввести дополнительное ограничение. С этого момента происходит деление методов нахождения ОП на разнообразные подходы, среди которых особое место занимают метод Лукаса-Канаде (Lukasa-Kanade) [8] и метод Хорна-Шанка (Horn-Schunck) [9]. Оба метода по-прежнему не теряют своей актуальности, и на работы их создателей по-прежнему ссылаются исследователи, занимающиеся вопросом ОП. Первый метод относится к локальным – для вычисления u и vиспользуются значения в соседних точках некоторой окрестности. Полученные u и v характеризуют всю область, для которой они были вычислены (блок пикселей). А метод Хорна-Шанка относится к глобальным методам, который позволяет вычислять u и v для каждого отдельного пикселя изображения.
К дифференциальным методам также относится работа Нагеля. Нагель был одним из первых, кто использовал производные второго порядка для измерения оптического потока [11,12]. Также как и в методе Хорна-Шанка, в [11,12]] используется глобальное ограничение гладкости.
Методы регионального сопоставления [13] определяют скорость как сдвиг, который дает наилучшее соответствие между областями изображения в разное время. Поиск наилучшего соответствия означает максимизацию меры сходства, такой как нормализованная перекрестная корреляция или минимизация меры расстояния, например, сумма квадратов разности (SSD).
Метод сопоставления Анандан (Anandan) [14], основан на пирамиде Лапласа и стратегии сопоставления крупных, а затем и более мелких смещений с помощью SSD. Пирамида Лапласа [15] позволяет вычислять большие перемещения между кадрами и помогает улучшить структуру изображения, что часто считается важным. Затем Анандан использует ограничение гладкости для результирующих оценок скорости.
Синг (Singh) [16] предлагает стратегию SSD и использует пирамиду Лапласа, как в [14]. Это способствует уменьшению требуемых вычислительных мощностей. Наконец, Сингх предлагает собственные значения обратной ковариационной матрицы в качестве меры доверия.
Следующий класс методов оптического потока основан на выходной энергии фильтров, настроенных на скорость [1,17-22]. Они также называются частотными методами, так как используемые фильтры основаны на преобразовании Фурье [23-25]. Интересно, что было показано, что некоторые энергетические методы эквивалентны корреляционным методам и дифференциальному подходу Лукаса - Канаде [25].
Метод, разработанный Хигером[26], сформулирован как нахождение близкой к некоторому значению пространственно-временной энергии в частотном пространстве с помощью метода наименьших квадратов. Локальная энергия извлекается с помощью Габор (Gabor) фильтров, настроенными на различные пространственные ориентации и различные временные частоты. Эти фильтры применяются к каждому уровню пирамиды Гаусса.
Фазовые методы определяют скорость в терминах фазового состояния выходов полосового фильтра. К этим методам относятся методы нулевого пересечения (zero-crossing) [27], поскольку нулевые пересечения можно рассматривать как горизонтальные фазовые пересечения.
Обобщенное использование фазовой информации для оптического потока было впервые разработано Флитом и Джепсоном[28]. Данный метод определяет скорость в терминах мгновенного движения, перпендикулярного горизонтально-фазовым контурам на выходе полосовых фильтров, настроенных на скорость. Полосовые фильтры используются для разложения входного сигнала в соответствии со значением скорости и её направлением.
Ваксман, Ву и Бергхольм[29] применяют пространственно-временные фильтры к бинарным краевым картам для отслеживания краев в реальном времени.
В связи с активным развитием нейронных сетей также широкое распространение в задачах детектирования движений на последовательности изображений в последние годы получили нейронные сети [30-34]. Интересно, что обучение таких сетей рекомендуется проводить с помощью синтетических изображений [35].
При проведении динамических исследований в радионуклидной диагностике [2] информацию записывают непрерывно или через короткие промежутки времени и отображают на целой серии кадров. Интервалы между кадрами выбирают с учетом скорости изучаемых биологических процессов. С помощью полученной на выходе последовательности кадров, происходит функциональная оценка работы внутренних органов человека. Для этого, в том числе, широко используются различные математические методы, на корректность работы которых могут повлиять различные непроизвольные смещения пациента или его внутренних органов.
При написании данной работы перед нами ставилась задача по детектированию подобных смещений (определению поля скоростей) при обработке последовательных изображений на основе дискретных систем. Для успешного выполнения данной задачи перед нами ставились следующие цели:
предложить математический метод для обработки изображений, с целью определения поля скоростей;
разработать алгоритм определения поля скоростей на основе предложенного метода;
написать программу, реализующую разработанный алгоритм;
провести экспериментальную апробацию разработанной программы.
В результате проведённой работы был:
• предложен математический метод для обработки изображений на основе дискретной системы;
• разработан алгоритм определения поля скоростей;
• написана программа, реализующая разработанный алгоритм в среде Matlab на тестовых и радионуклидных изображениях;
• проведена экспериментальная апробация разработанной программы.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
