Помощь студентам в учебе
АНАЛИЗ ИЗОБРАЖЕНИЙ В ОПТИЧЕСКОМ МЕТОДЕ ОЦЕНКИ ДЕФОРМАЦИИ
|
Введение 7
Глава 1 Обработка и анализ изображений для оценки деформации по состоянию рельефа поверхности материала 20
1.1 Применение фрактальной размерности для оценки изображений
поверхности, получаемых различными датчиками 22
1.1.1 Методики расчета фрактальной размерности и получения
изображений 24
1.1.2 Результаты исследования методик расчета фрактальной размерности
и их обсуждение 25
1.2 Влияние билатеральной фильтрации на оценку фрактальной размерности
оптических изображений поверхности нагруженных материалов 32
1.2.1 Развитие методов фильтрации и количественной оценки шума 33
1.2.2 Методики получения изображений 36
1.2.3 Результаты исследования адаптивной фильтрации изображений и их
обсуждение 38
1.3 Исследование различных критериев оценки для серии оптических
изображений, полученных методом датчика деформации интегрального типа 47
1.3.1 Получение оптических изображений поверхности датчика
деформации интегрального типа 49
1.3.2 Критерии оценки изображений 54
1.3.3 Результаты исследования критериев оценки изображений и их
обсуждение 58
1.4 Выводы по главе 1 66
Глава 2 Формализация оптического метода оценки деформации с использованием корреляции цифровых изображений 68
2.1 Определение перемещений 71
2.1.1 Проблема апертуры, сопоставления и текстуры изображений 71
2.1.2 Оценка движения 72
2.1.3 Блочный метод 76
2.1.4 Вычисление свертки с использованием БПФ и циклической
буферизации 78
2.1.5 Дифференциальный метод 82
2.1.6 Субпиксельная точность 86
2.2 Определение размера апертуры в методе корреляции цифровых
изображений 90
2.2.1 Алгоритм выбора размера апертуры корреляционного алгоритма ... 91
2.2.2 Методика тестирования алгоритма выбора размера апертуры 96
2.2.3 Результаты тестирования алгоритма выбора размера апертуры и их
обсуждение 99
2.3 Вычисление деформации 103
2.4 Постобработка полей векторов перемещений 105
2.4.1 Алгоритм постобработки поля векторов перемещений 106
2.4.2 Методы фильтрации векторных полей 111
2.4.3 Методы сглаживания векторных полей 112
2.5 Тестирование и верификация алгоритмов определения перемещений и
расчета деформации 114
2.5.1 Моделирование оптического образа поверхности 115
2.5.2 Верификация способа оценки деформации с использованием
различных схем нагружения материала 119
2.5.3 Оценка точности вычисления перемещений и помехоустойчивости
алгоритмов при наличии возмущающих факторов 132
2.5.4 Влияние постобработки полей векторов перемещений на оценку
деформации 140
2.5.5 Влияние субпиксельной точности на расчет компонент деформации 141
2.6 Выводы по главе 2 145
Глава 3 Повышение помехоустойчивости и снижение вычислительных затрат при построении полей векторов перемещений 147
3.1 Инкрементальный алгоритм определения перемещений 148
3.1.1 Методика тестирования инкрементального алгоритма 150
3.1.2 Результаты тестирования инкрементального алгоритма и их
обсуждение 155
3.2 Иерархический алгоритм трёхмерного рекурсивного поиска 159
3.2.1 Тестирование алгоритмов трёхмерного рекурсивного поиска 165
3.3 Использование параллельных вычислений на графических процессорах в
задаче построения полей векторов перемещений 169
3.3.1 Параллельный рекурсивный алгоритм построения полей векторов
перемещений 171
3.3.2 Тестирование параллельного рекурсивного алгоритма 178
3.4 Применение весовых коэффициентов билатерального фильтра в задачах
вычисления оптического потока 180
3.4.1 Подход к применению весовых функций при определении
перемещений 182
3.4.2 Влияние весовых функций на определение перемещений 186
3.5 Выводы по главе 3 196
Глава 4 Применение систем технического стереозрения в оптическом методе оценки деформации 198
4.1 Поиск и распознавание узловых точек калибровочного шаблона 199
4.1.1 Детектирование узловых точек калибровочного шаблона типа 1 ... 201
4.1.2 Результаты тестирования алгоритма детектирования узловых точек
калибровочного шаблона типа 1 208
4.1.3 Детектирование узловых точек калибровочного шаблона типа 2 ... 209
4.1.4 Результаты тестирования алгоритма детектирования узловых точек
калибровочного шаблона типа 2 217
4.2 Калибровка системы технического стереозрения 222
4.2.1 Калибровка отдельной камеры 222
4.2.2 Калибровка системы сетереозрения 224
4.3 Вычисление карты диспаратности и модифицированный инкрементальный
алгоритм 226
4.4 Построение карты глубины и трехмерного поля векторов
перемещений 230
4.5 Вычисление деформации поверхности объекта 232
4.6 Система технического стереозрения оценки деформации поверхности
объектов в пространстве 235
4.7 Методика тестирования системы технического стереозрения 239
4.7.1 Модель трехмерной сцены 239
4.7.2 Модель деформации поверхности 241
4.8 Результаты тестирования системы технического стереозрения 243
4.9 Обобщение принципа обработки информации в системах оптического
измерения деформации 253
4.10 Выводы по главе 4 257
Глава 5 Практическое применение оптического метода оценки деформации 259
Заключение 270
Список использованной литературы 273
Приложение А Акт о внедрении результатов диссертационного исследования в
Indian Institute of Science 297
Приложение Б Акт о внедрении результатов диссертационного исследования в LM Wind Power и BISS Ltd 298
Приложение В Акт о внедрении результатов диссертационного исследования в BISS Labs 299
Приложение Г Акт о внедрении результатов диссертационного исследования в ПАО «Компания «Сухой» 300
Приложение Д Акт о внедрении результатов диссертационного исследования в
ФГУП «СибНИА им. С. А. Чаплыгина» 301
Приложение Е Акт о внедрении результатов диссертационного исследования в Центре экспериментальной механики ПНИПУ 302
Приложение Ж Акт о внедрении результатов диссертационного исследования в
ООО «Композит ДВ» 303
Приложение И Акт о внедрении результатов диссертационного исследования в ТНТУ им. Ивана Пулюя 304
Глава 1 Обработка и анализ изображений для оценки деформации по состоянию рельефа поверхности материала 20
1.1 Применение фрактальной размерности для оценки изображений
поверхности, получаемых различными датчиками 22
1.1.1 Методики расчета фрактальной размерности и получения
изображений 24
1.1.2 Результаты исследования методик расчета фрактальной размерности
и их обсуждение 25
1.2 Влияние билатеральной фильтрации на оценку фрактальной размерности
оптических изображений поверхности нагруженных материалов 32
1.2.1 Развитие методов фильтрации и количественной оценки шума 33
1.2.2 Методики получения изображений 36
1.2.3 Результаты исследования адаптивной фильтрации изображений и их
обсуждение 38
1.3 Исследование различных критериев оценки для серии оптических
изображений, полученных методом датчика деформации интегрального типа 47
1.3.1 Получение оптических изображений поверхности датчика
деформации интегрального типа 49
1.3.2 Критерии оценки изображений 54
1.3.3 Результаты исследования критериев оценки изображений и их
обсуждение 58
1.4 Выводы по главе 1 66
Глава 2 Формализация оптического метода оценки деформации с использованием корреляции цифровых изображений 68
2.1 Определение перемещений 71
2.1.1 Проблема апертуры, сопоставления и текстуры изображений 71
2.1.2 Оценка движения 72
2.1.3 Блочный метод 76
2.1.4 Вычисление свертки с использованием БПФ и циклической
буферизации 78
2.1.5 Дифференциальный метод 82
2.1.6 Субпиксельная точность 86
2.2 Определение размера апертуры в методе корреляции цифровых
изображений 90
2.2.1 Алгоритм выбора размера апертуры корреляционного алгоритма ... 91
2.2.2 Методика тестирования алгоритма выбора размера апертуры 96
2.2.3 Результаты тестирования алгоритма выбора размера апертуры и их
обсуждение 99
2.3 Вычисление деформации 103
2.4 Постобработка полей векторов перемещений 105
2.4.1 Алгоритм постобработки поля векторов перемещений 106
2.4.2 Методы фильтрации векторных полей 111
2.4.3 Методы сглаживания векторных полей 112
2.5 Тестирование и верификация алгоритмов определения перемещений и
расчета деформации 114
2.5.1 Моделирование оптического образа поверхности 115
2.5.2 Верификация способа оценки деформации с использованием
различных схем нагружения материала 119
2.5.3 Оценка точности вычисления перемещений и помехоустойчивости
алгоритмов при наличии возмущающих факторов 132
2.5.4 Влияние постобработки полей векторов перемещений на оценку
деформации 140
2.5.5 Влияние субпиксельной точности на расчет компонент деформации 141
2.6 Выводы по главе 2 145
Глава 3 Повышение помехоустойчивости и снижение вычислительных затрат при построении полей векторов перемещений 147
3.1 Инкрементальный алгоритм определения перемещений 148
3.1.1 Методика тестирования инкрементального алгоритма 150
3.1.2 Результаты тестирования инкрементального алгоритма и их
обсуждение 155
3.2 Иерархический алгоритм трёхмерного рекурсивного поиска 159
3.2.1 Тестирование алгоритмов трёхмерного рекурсивного поиска 165
3.3 Использование параллельных вычислений на графических процессорах в
задаче построения полей векторов перемещений 169
3.3.1 Параллельный рекурсивный алгоритм построения полей векторов
перемещений 171
3.3.2 Тестирование параллельного рекурсивного алгоритма 178
3.4 Применение весовых коэффициентов билатерального фильтра в задачах
вычисления оптического потока 180
3.4.1 Подход к применению весовых функций при определении
перемещений 182
3.4.2 Влияние весовых функций на определение перемещений 186
3.5 Выводы по главе 3 196
Глава 4 Применение систем технического стереозрения в оптическом методе оценки деформации 198
4.1 Поиск и распознавание узловых точек калибровочного шаблона 199
4.1.1 Детектирование узловых точек калибровочного шаблона типа 1 ... 201
4.1.2 Результаты тестирования алгоритма детектирования узловых точек
калибровочного шаблона типа 1 208
4.1.3 Детектирование узловых точек калибровочного шаблона типа 2 ... 209
4.1.4 Результаты тестирования алгоритма детектирования узловых точек
калибровочного шаблона типа 2 217
4.2 Калибровка системы технического стереозрения 222
4.2.1 Калибровка отдельной камеры 222
4.2.2 Калибровка системы сетереозрения 224
4.3 Вычисление карты диспаратности и модифицированный инкрементальный
алгоритм 226
4.4 Построение карты глубины и трехмерного поля векторов
перемещений 230
4.5 Вычисление деформации поверхности объекта 232
4.6 Система технического стереозрения оценки деформации поверхности
объектов в пространстве 235
4.7 Методика тестирования системы технического стереозрения 239
4.7.1 Модель трехмерной сцены 239
4.7.2 Модель деформации поверхности 241
4.8 Результаты тестирования системы технического стереозрения 243
4.9 Обобщение принципа обработки информации в системах оптического
измерения деформации 253
4.10 Выводы по главе 4 257
Глава 5 Практическое применение оптического метода оценки деформации 259
Заключение 270
Список использованной литературы 273
Приложение А Акт о внедрении результатов диссертационного исследования в
Indian Institute of Science 297
Приложение Б Акт о внедрении результатов диссертационного исследования в LM Wind Power и BISS Ltd 298
Приложение В Акт о внедрении результатов диссертационного исследования в BISS Labs 299
Приложение Г Акт о внедрении результатов диссертационного исследования в ПАО «Компания «Сухой» 300
Приложение Д Акт о внедрении результатов диссертационного исследования в
ФГУП «СибНИА им. С. А. Чаплыгина» 301
Приложение Е Акт о внедрении результатов диссертационного исследования в Центре экспериментальной механики ПНИПУ 302
Приложение Ж Акт о внедрении результатов диссертационного исследования в
ООО «Композит ДВ» 303
Приложение И Акт о внедрении результатов диссертационного исследования в ТНТУ им. Ивана Пулюя 304
Актуальность исследования. Современный уровень развития технологий автоматической обработки визуальной информации обусловливает их широкое применение во многих отраслях: микробиологии, медицине, материаловедении (анализ структуры), автоматизированных системах для выполнения широкого класса производственных операций и др. В рамках экспериментальной механики также существует ряд подходов, основанных на обработке и анализе изображений, получаемых, например, в ходе приложения воздействия к объекту исследований.
Обработка и анализ изображений являются одной из наиболее актуальных проблем, в рамках которой решается множество фундаментальных и прикладных задач. Как правило, термин «изображение» используется применительно к видимому диапазону электромагнитных волн. Однако разработка новых методов и аппаратных средств получения сигналов позволяет получать двумерные сигналы в диапазонах волн, отличных от видимого. В результате, независимо от типа датчика двух/трехмерного сигнала, основной задачей обработки и анализа изображений является получение информации, которая может служить для количественной характеризации (путем выбора и расчета информативных признаков) присутствующих на нем объектов.
Одним из приложений методов обработки и анализа изображений является проведение встроенного контроля деталей машин и элементов конструкций с применением датчиков деформации интегрального типа (ДДИТ). Методика ДДИТ основана на регистрации оптических изображений поверхности тонкого (алюминиевого) чувствительного элемента (фольги), наклеенного на исследуемый нагружаемый материал или деталь. В современной литературе выделяется несколько подходов для анализа изображений с целью оценки деформационного состояния материала при воздействии на него механической нагрузки: спектральный подход, вейвлет-анализ, фрактальный анализ, вычисление информативных параметров и др. Исследования в данной области были изложены в работах В.Н. Сызранцева, С.Р. Игнатовича, М.В. Карускевича и др.
В настоящее время в научно-технической литературе получил широкое распространение термин «оптический поток» («optical flow»): движение яркостной картины, наблюдаемое при перемещении объектов перед камерой, либо камеры в неподвижной окружающей обстановке. Исследования по данной тематике появляются с начала 1980-х годов. Алгоритмы определения оптического потока широко используются в различных научных направлениях и практических задачах. В частности, для оценки полей скоростей течения потоков жидкости или газа с использованием метода цифровой трассерной визуализации (PIV - Particle Image Velocimetry), сжатия видеоданных, в роботизированных системах управления транспортными средствами. Среди основных методов выделяют: дифференциальные алгоритмы, фазовые (частотные) алгоритмы; блочные алгоритмы. Первые дифференциальные алгоритмы были предложены B. K. P. Horn и B. G. Schunck, а также B. D. Lucas и T. Kanade.
Развитие таких алгоритмов, в первую очередь, было основано на усложнении модели движения, которая учитывает, в частности аффинные преобразования, поворот и др. Изучаются проблемы фильтрации векторных полей. Проблему ошибок определения поля оптического потока часто решают с использованием пространственной регуляризации, которая в последствии была расширена до пространственно-временной. Алгоритмы вычисления оптического потока активно реализуются с использованием параллельных вычислений. Проводятся исследования по снижению вычислительных затрат алгоритмов определения перемещений на изображениях. К таким исследованиям относится применение многомасштабного иерархического подхода для обработки изображений при вычислении оптического потока и др.
В экспериментальной механике для оценки деформации твердых тел получил распространение метод корреляции цифровых изображений (DIC - Digital Image Correlation). Метод основан на определении перемещений через процедуру минимизации коэффициента корреляции как меры подобия участков изображений поверхности объекта до деформирования и после. В настоящее время метод корреляции цифровых изображений является одним из наиболее распространённых подходов к изучению процессов деформации и разрушения структурно-неоднородных
9
материалов. Большой вклад в развитие метода корреляции цифровых изображений
внесли M.A. Sutton, F. Hild, P. Lava, S. Roux, B. Pan и др.
Несмотря на достигнутые успехи в области разработки методов и алгоритмов оценки деформации, включая доступные коммерческие программные пакеты, остаются нерешенными задачи, связанные с недостаточной точностью, устойчивостью, высокими вычислительной сложностью и временными затратами при определении перемещений при оценке механического состояния объектов. В этой связи представляется актуальной решение проблемы анализа изображений в оптическом методе оценки деформации.
Цель диссертационной работы заключается в разработке комплексного подхода к обработке информации в оптических системах оценки деформационного состояния материалов и их свойств.
Для достижения поставленной цели необходимо решить следующие задачи.
- Исследовать различные алгоритмы оценки фрактальной размерности и других информативных признаков для характеризации рельефа поверхности нагруженного материала. Установить параметры и исследовать влияние неадаптивной и адаптивной фильтрации изображений, основанной на оценке уровня шума на изображениях, на результат количественной оценки рельефа поверхности.
- Разработать адаптивный алгоритм определения размера ядра корреляции для целей автоматизации вычислений в оптическом методе оценки деформации.
- Разработать инкрементальный алгоритм определения перемещений на изображениях, позволяющий проводить их оценку в условиях значительного изменения рельефа поверхности и степени деформации до 50%.
- С целью кратного уменьшения времени построения векторных полей исследовать алгоритм трехмерного рекурсивного поиска и разработать ряд его модификаций для заданных условий функционирования.
- Применить иерархический подход к задаче определения перемещений на оптических изображениях для одновременного кратного уменьшения временных затрат и повышения устойчивости определения перемещений.
- Адаптировать алгоритм трехмерного рекурсивного поиска для реализации с помощью параллельных вычислений с целью значительного снижения времени построения векторных полей и использования данного алгоритма на многоядерных вычислительных системах.
- Исследовать возможность применения весовых коэффициентов в алгоритме вычисления оптического потока с целью повышения устойчивости определения перемещений, прежде всего на границах объектов в пределах области интереса.
- Разработать единый алгоритм обработки, анализа и интерпретации изображений в системе технического стереозрения, включающий этапы калибровки оптической системы, оценки перемещений, вычисления карт диспаратности и вычисления пространственных координат и деформаций поверхности исследуемого объекта.
Объектом исследования является процесс анализа изображений при оценке деформации нагруженных материалов.
Предметом исследования являются алгоритмы вычисления перемещений при оценке деформированного состояния и информативных признаков при определении рельефа поверхности материалов.
Научная новизна работы состоит в следующем.
1. Разработан единый подход к обработке информации в оптических системах оценки деформации материалов, основанный на количественной характеризации рельефа на его поверхности и корреляционном анализе изображений (п. 2 паспорта специальности 05.13.01).
2. Разработано и проведено исследование серии алгоритмов обработки и анализа изображений поверхности объекта или датчика деформации интегрального типа, основанных на вычислении информативных признаков с целью оценки механического состояния материала. Применительно к датчикам интегрального типа в алгоритме адаптивной билатеральной фильтрации для оценки уровня шума на изображении предложено использовать параметр минимальной дисперсии min(D) (п. 3, 4 паспорта специальности 05.13.01).
3. Предложен алгоритм автоматического выбора размера ядра корреляции в задаче построения векторных полей при оценке деформации методом корреляции цифровых изображений, в основе которого лежит вычисление автокорреляционных функций (п. 4 паспорта специальности 05.13.01).
4. Развиты алгоритмы построения полей векторов перемещений, основанные на инкрементальном подходе к оценке перемещений на изображении, отличающиеся от известных последовательным поиском перемещений с накоплением на изображениях серии близких по времени, что обеспечивает устойчивость как к а) изменению профиля поверхности материала, так и б) значительным по величине деформациям (п. 4 паспорта специальности 05.13.01).
5. Разработан комбинированный вероятностный алгоритм построения полей векторов перемещений, включающий а) трехмерный рекурсивный поиск и б) иерархический подход к анализу изображений. Объединение двух указанных алгоритмов позволяет кратно повысить быстродействие и устойчивость определения перемещений в условиях существенной зашумленности изображений (п. 4 паспорта специальности 05.13.01).
6. Показано, что применение весовых коэффициентов позволяет повысить устойчивость определения перемещений (более чем на 8%), прежде всего на контрастных границах движущихся объектов на изображениях. Предложен способ вычисления коэффициентов билатерального фильтра по двум изображениям используемой пары, учитывающий произведение коэффициентов билатерального фильтра обоих изображений, что позволило снизить ошибку более чем на 34% (п. 4 паспорта специальности 05.13.01).
7. Разработана система технического стереозрения (СТСЗ) для задачи оценки перемещений и деформаций объектов. Алгоритмическое и программное обеспечение системы основано на комплексном использовании: а) алгоритма поиска и выделения узлов калибровочного шаблона, б) модифицированного инкрементального алгоритма определения перемещений на серии стереопар, в) алгоритма вычисления деформации на поверхности пространственного объекта с использованием восстановленного профиля поверхности объекта (п. 5 паспорта специальности 05.13.01).
Методы исследования. В качестве основных методов исследования в работе использованы методы обработки и анализа цифровых изображений, векторных полей, моделирования изображений на ЭВМ, теории вероятностей, математической статистики, теории оптимизации, физического и математического моделирования.
Теоретическая и практическая значимость работы.
В работе разработаны элементы теории обработки изображений, в частности разработан единый подход к обработке информации в системах технического зрения для количественной оценки механического состояния нагруженных материалов.
Применение единых принципов, а также их дальнейшее развитие обеспечит более широкое внедрение систем технического зрения для исследования и оценки деформационного состояния материалов и оценки их свойств.
Внедрение оптических систем оценки деформации должно привести к существенному технико-экономическому эффекту в различных отраслях промышленности и науки. В частности, позволит повысить безопасность, экономическую эффективность промышленного оборудования, транспортных средств (в авиации), сложных инженерных объектов. Приведет к снижению издержек производства, а также повышению надежности и эксплуатационных характеристик оборудования. Позволит интенсифицировать исследования, а также получить дополнительные результаты в области прикладной механики, механики разрушения твёрдых тел, усталости материала, теории накопления усталостных повреждений. Это также будет способствовать как созданию новых материалов, необходимых современной промышленности, так и систем контроля механического состояния элементов механизмов и инженерных конструкций.
Разработано программное обеспечение для оценки механического состояния материала на основании количественного расчета и анализа изображений датчика деформации интегрального типа (получены свидетельства о регистрации программ для ЭВМ). Разработано программное обеспечение для построения полей векторов перемещений и оценки деформаций, в основе которого лежат предложенные алгоритмы (получены свидетельства о регистрации программ для ЭВМ).
Положения, выносимые на защиту:
1. Подход к оценке механического состояния нагруженного материала, основанный на количественной характеризации рельефа на его поверхности с использованием алгоритмов вычисления фрактальной размерности и других выбранных информативных признаков, который включает применение адаптивных методов фильтрации, что позволяет повысить достоверность оценки рельефа (п. 4 паспорта специальности 05.13.01).
2. Принцип адаптивного определения параметров билатеральной фильтрации, основанный на расчете минимальной дисперсии min(D) яркости изображения, характеризующей величину шума на изображении, что позволяет минимизировать влияние шумов и помех при получении количественной оценки рельефа поверхности (п. 3 паспорта специальности 05.13.01).
3. Алгоритм адаптивного определения апертуры в методе корреляции цифровых изображений, основанный на вычислении автокорреляционных функций и наборе их параметров, который обеспечивает минимальную ошибку определения деформации (п. 4 паспорта специальности 05.13.01).
4. Инкрементальный принцип и соответствующие алгоритмы определения перемещений для класса изображений, характеризуемых существенным изменением во времени и пространстве рельефа поверхности, позволяющие проводить оценку перемещений и деформации при изменении оптического образа более чем на 50% относительно исходного состояния (п. 4 паспорта специальности 05.13.01).
5. Серия алгоритмов построения полей векторов перемещений, основанных на трехмерном рекурсивном поиске, включая иерархический подход к анализу изображений, обеспечивающий одновременное повышение быстродействия до 10 раз и устойчивости расчета более чем в два раза по сравнению с алгоритмами, использующими свертку (п. 4 паспорта специальности 05.13.01).
6. Параллельный рекурсивный алгоритм построения полей векторов перемещений PDRS, основанный на применении модифицированного алгоритма рекурсивного поиска, позволяющий снизить время построения полей векторов перемещений до 27 раз по сравнению с известными алгоритмами, реализующими последовательный расчет (п. 5 паспорта специальности 05.13.01).
7. Способ повышения устойчивости оценки перемещений для класса изображений, содержащих большое количество перекрывающихся объектов, основанный на использовании весовых коэффициентов билатерального фильтра, позволяющий снизить ошибку определения перемещений на границах объектов на 34% (п. 4 паспорта специальности 05.13.01).
8. Алгоритм функционирования системы технического стереозрения, основанный на последовательном проведении процедур: а) калибровки оптической системы, б) инкрементальной оценки перемещений, в) вычисления карт диспаратности, с целью вычисления координат и деформаций поверхности исследуемого объекта в трехмерном пространстве, что обеспечивает по сравнению с системой на основе одной камеры снижение ошибки оценки деформации более чем в 10 раз (п. 5 паспорта специальности 05.13.01).
9. Единый подход к обработке информации в системах оценки деформационного состояния и свойств материала, основой которого является корреляционный анализ изображений (включающий комплекс разработанных алгоритмов оптимизации и параллельных вычислений), а ключевыми количественными показателями - точность определения перемещений и временные затраты, определяющие и лимитирующие применение конкретной реализации системы технического зрения (п. 2 паспорта специальности 05.13.01).
Личный вклад автора заключается в разработке алгоритмов обработки изображений, программной реализации алгоритмов и их модификаций, исследовании и тестировании реализованных алгоритмов. Разработке алгоритмов моделирования изображений, отражающих различные схемы формоизменения поверхности исследуемого материала.
Связь работы с научными программами и темами. Диссертационная работа выполнена в Институте физики прочности и материаловедения СО РАН в соответствие с планами государственных и отраслевых научных программ: Программа г/б исследований СО РАН № 8.2 «Научные основы создания композиционных и наноструктурных материалов на металлической, керамической и полимерной основах с высокими механическими и функциональными свойствами» (2004-2006 гг.); Комплексный проект г/б исследований СО РАН «Разработка принципов физической мезомеханики многоуровневых систем и создание на их основе конструкционных и функциональных материалов с наноструктурой во всем объеме, только в поверхностных слоях, с наноструктурными покрытиями или модифицированными наноструктурными наполнителями» (2007-2009 гг.); РФФИ 02-01-81003-Бел2002_а «Механика пластической деформации и разрушения поверхностно-упрочненных твердых тел» (2002-2004 гг.); РФФИ 04-01-08030-офи_а «Повышение усталостной прочности высокопрочных конструкционных материалов объектов типа СУ-27 путем создания наноструктур в их поверхностных слоях комбинированным методом ионноплазменного осаждения покрытия - ионной имплантации - ультразвуковой обработки» (2004-2005 гг.); РФФИ 05-01-00767-а «Физическая мезомеханика границ раздела в конструкционных материалах с упрочняющими покрытиями и наноструктурированными поверхностными слоями» (20052007 гг.); РФФИ 05-01-98008-р_обь_а «Исследование механического поведения нанокристаллических керамик оптико-телевизионными системами регистрации» (2005-2007 гг.); РФФИ 06-08-96938-р_офи «Исследование механизмов зарождения и развития усталостных трещин в сварных соединениях трубопроводного транспорта и разработка методов повышения их усталостной прочности и долговечности путем наноструктурирования их поверхностных слоев» (2006-2008 гг.); РФФИ 09- 08-90404-Укр_ф_а «Научные основы повышения термоусталостной стойкости нержавеющей стали путем наноструктурирования и контролируемого множественного растрескивания в поверхностных слоях» (2009-2010 гг.); Программа фундаментальных исследований отделения ЭММПУ РАН №4.12.5 «Мезомеханика множественного растрескивания наноструктурных покрытий с зубчатым градиентным подслоем при активном нагружении» (2006-2008 гг.); РФФИ 12-08-31042-мол_а «Разработка научных основ комбинированного акустико-оптического метода диагностики состояния нагруженных материалов» (2012-2013 гг.); РФФИ 13-07- 00009-а «Развитие быстродействующих и помехоустойчивых алгоритмов обработки и анализа оптических и акустических сигналов для комбинированного метода контроля состояния нагруженных материалов» (2013-2015 гг.); РФФИ 15- 08-05818-а «Многоуровневое описание малоцикловой усталости поликристалличе- ских и наноструктурных сред с учетом ротационных мод деформации» (2015-2017 гг.); РФФИ 17-18-00094-д Издание научного труда «Анализ изображений в оптическом методе оценки деформации» (2017 г.); Проект № III.20.1.3 «Разработка методологии и критериев диагностики состояния нагруженных материалов на основе многоуровневого подхода» (2010-2012 гг.); Проект фундаментальных исследований государственных академий наук №111.23.1.3. «Научные основы диагностики предразрушения и оценки ресурса работы многоуровневых структурно-неоднородных сред» (2013-2016 гг.); Проект фундаментальных исследований государственных академий наук №111.23.1.3. «Научные основы многоуровневого подхода к мониторингу, оценке механического состояния и диагностике предразрушения конденсированных сред и мягкой материи (soft matter)» (2017-2019 гг.); Проект ФЦП «Разработка с использованием многоуровневых компьютерных моделей иерархически армированных гетеромодульных экструдируемых твердосмазочных нанокомпозитов на основе сверхвысокомолекулярного полиэтилена для применения в узлах трения и футеровки деталей машин и механизмов, работающих в условиях Крайнего Севера» (соглашение с Минобрнауки РФ №14.604.21.0154, уникальный идентификатор проекта RFMEFI60417X0154, 2017-2018 гг.); Проект ФЦП «Разработка научных основ нового метода постобработки изделий, сформированных аддитивными технологиями, основанного на комбинированном импульсном высокочастотном многоуровневом механо-электрофизическом воздействии» (соглашение с Минобрнауки РФ №05.583.21.0089, уникальный идентификатор проекта RFMEFI58318X0089, 2018-2020 гг.).
Внедрение работы. Автор принимал участие в работе по договору «Разработка оптического метода встроенного контроля высоконагруженных агрегатов планера» (2008-2009 гг.) и «Исследование возможности применения встроенных методов неразрушающего контроля для металлических и полимерных композиционных материалов» (2014-2017 гг.) между Филиалом ПАО «Компания «Сухой» «ОКБ Сухого» и ИФПМ СО РАН. Практическая значимость работы также подтверждается актами ее использования, полученными от Indian Institute of Science, LM Wind Power, BISS Ltd, ПАО «Компания «Сухой», ФГУП «СибНИА им. С. А. Чаплыгина», Центр экспериментальной механики ПНИПУ, ООО «Композит ДВ», ТНТУ им. Ивана Пулюя. Акты внедрения приведены в приложениях диссертации. Результаты диссертации используются в учебном процессе в отделении материаловедения Инженерной школы Новых производственных технологий Национального исследовательского Томского политехнического университета при подготовке образовательных дисциплин «Мониторинг состояния и контроль надежности материалов и изделий» и «Диагностика материалов» для магистров по направлению 22.04.01 - Материаловедение и технологии материалов.
Достоверность полученных результатов. Степень обоснованности результатов, изложенных в диссертации, обеспечивается корректностью постановки задачи, сопоставительным анализом предложенных подходов и алгоритмов. Подтверждается тестированием и исследованием алгоритмов на модельных и экспериментально полученных изображениях, согласием полученных результатов с представленными в научной литературе.
Апробация работы. Основные научные результаты работы докладывались и обсуждались на следующих конференциях: International Workshop «Advanced problems of Mechanics and Physics of Mesoscopic Systems», February 1-4, 2011, Perm, Russia; VII Российская научно-техническая конференция «Механика микронеоднород- ных материалов и разрушение», 23-27 апреля 2012, Екатеринбург, Россия; 18th World Conference on Non-Destructive Testing, 16-20 April 2012, Durban, South Africa; Школа-семинар «Проблемы прочности авиационных конструкций и материалов» 27 февраля - 2 марта, 2013, Новосибирск; Russia-China International Workshop «Development of advanced materials and processing technology for energy-saving applications», 9-13 September 2013, Tomsk, Russia; 7th International conference on airworthiness and fatigue, 25-27 March, 2013, Beijing, China; 12th Asian Symposium on Visualization ASV-12, May 19-23, Tainan, Taiwan, 2013; International workshop «Failure of Heterogeneous Materials under Intensive Loading: Experiment and Multiscale Modeling», February 10-14, 2014, Perm, Russia; ХХ Всероссийская научно-техническая конференция по неразрушающему контролю и технической диагностике, 3-6 марта, 2014, Москва, Россия; III Всероссийская конференция, посвященная 100- летию со дня рождения Академика Ю.Н. Работнова, 26-30 мая, 2014, Новосибирск, Россия; VIII Российская научно-техническая конференция «Механика, ресурс и диагностика материалов и конструкций», 26-30 мая, 2014, Екатеринбург, Россия; 11th European Conference on Non-Destructive Testing (ECNDT 2014), October 6-10, 2014, Prague, Czech Republic; ICAF-2014, 14-18 July, 2014, Patras, Greece; XI Всероссийский съезд по фундаментальным проблемам теоретической и прикладной механики, Казань, 20 - 24 августа 2015; 1st Structural Integrity Workshop, Conference and Exhibition, Bengaluru, India, July 2-6, 2016; 2nd International Structural Integrity Conference and Exhibition, Hyderabad, India, July 25-27, 2018; III Международный форум «Интеллектуальные системы 4-й промышленной революции» 26-27 ноября, 2019 Томск, Россия; 9th International Conference on materials structure & micromechanics of fracture (MSMF9), Brno, Czech Republic, June 26-28, 2019.
Публикации. По теме диссертации опубликована 51 работа, в том числе 35 статей в журналах, включенных в Перечень рецензируемых научных изданий, в которых должны быть опубликованы основные результаты диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук, 19 статей в журналах индексируемых в базах Web of Science и Scopus, 2 монографии, 11 свидетельств о государственной регистрации программ для ЭВМ.
Структура и объем диссертации. Диссертация состоит из введения, 5 глав, заключения и списка используемой литературы. Объем работы составляет 304 страницы, включая 111 рисунков, 16 таблиц, 230 библиографических наименований и 8 приложений.
Краткое содержание диссертации.
Диссертация построена следующим образом. В первой главе приведены исследования по развитию подхода, который получил в литературе название датчик деформации интегрального типа (ДДИТ). Рассмотрено применение фрактальной размерности для оценки изображений поверхности. Исследовано влияние
Обработка и анализ изображений являются одной из наиболее актуальных проблем, в рамках которой решается множество фундаментальных и прикладных задач. Как правило, термин «изображение» используется применительно к видимому диапазону электромагнитных волн. Однако разработка новых методов и аппаратных средств получения сигналов позволяет получать двумерные сигналы в диапазонах волн, отличных от видимого. В результате, независимо от типа датчика двух/трехмерного сигнала, основной задачей обработки и анализа изображений является получение информации, которая может служить для количественной характеризации (путем выбора и расчета информативных признаков) присутствующих на нем объектов.
Одним из приложений методов обработки и анализа изображений является проведение встроенного контроля деталей машин и элементов конструкций с применением датчиков деформации интегрального типа (ДДИТ). Методика ДДИТ основана на регистрации оптических изображений поверхности тонкого (алюминиевого) чувствительного элемента (фольги), наклеенного на исследуемый нагружаемый материал или деталь. В современной литературе выделяется несколько подходов для анализа изображений с целью оценки деформационного состояния материала при воздействии на него механической нагрузки: спектральный подход, вейвлет-анализ, фрактальный анализ, вычисление информативных параметров и др. Исследования в данной области были изложены в работах В.Н. Сызранцева, С.Р. Игнатовича, М.В. Карускевича и др.
В настоящее время в научно-технической литературе получил широкое распространение термин «оптический поток» («optical flow»): движение яркостной картины, наблюдаемое при перемещении объектов перед камерой, либо камеры в неподвижной окружающей обстановке. Исследования по данной тематике появляются с начала 1980-х годов. Алгоритмы определения оптического потока широко используются в различных научных направлениях и практических задачах. В частности, для оценки полей скоростей течения потоков жидкости или газа с использованием метода цифровой трассерной визуализации (PIV - Particle Image Velocimetry), сжатия видеоданных, в роботизированных системах управления транспортными средствами. Среди основных методов выделяют: дифференциальные алгоритмы, фазовые (частотные) алгоритмы; блочные алгоритмы. Первые дифференциальные алгоритмы были предложены B. K. P. Horn и B. G. Schunck, а также B. D. Lucas и T. Kanade.
Развитие таких алгоритмов, в первую очередь, было основано на усложнении модели движения, которая учитывает, в частности аффинные преобразования, поворот и др. Изучаются проблемы фильтрации векторных полей. Проблему ошибок определения поля оптического потока часто решают с использованием пространственной регуляризации, которая в последствии была расширена до пространственно-временной. Алгоритмы вычисления оптического потока активно реализуются с использованием параллельных вычислений. Проводятся исследования по снижению вычислительных затрат алгоритмов определения перемещений на изображениях. К таким исследованиям относится применение многомасштабного иерархического подхода для обработки изображений при вычислении оптического потока и др.
В экспериментальной механике для оценки деформации твердых тел получил распространение метод корреляции цифровых изображений (DIC - Digital Image Correlation). Метод основан на определении перемещений через процедуру минимизации коэффициента корреляции как меры подобия участков изображений поверхности объекта до деформирования и после. В настоящее время метод корреляции цифровых изображений является одним из наиболее распространённых подходов к изучению процессов деформации и разрушения структурно-неоднородных
9
материалов. Большой вклад в развитие метода корреляции цифровых изображений
внесли M.A. Sutton, F. Hild, P. Lava, S. Roux, B. Pan и др.
Несмотря на достигнутые успехи в области разработки методов и алгоритмов оценки деформации, включая доступные коммерческие программные пакеты, остаются нерешенными задачи, связанные с недостаточной точностью, устойчивостью, высокими вычислительной сложностью и временными затратами при определении перемещений при оценке механического состояния объектов. В этой связи представляется актуальной решение проблемы анализа изображений в оптическом методе оценки деформации.
Цель диссертационной работы заключается в разработке комплексного подхода к обработке информации в оптических системах оценки деформационного состояния материалов и их свойств.
Для достижения поставленной цели необходимо решить следующие задачи.
- Исследовать различные алгоритмы оценки фрактальной размерности и других информативных признаков для характеризации рельефа поверхности нагруженного материала. Установить параметры и исследовать влияние неадаптивной и адаптивной фильтрации изображений, основанной на оценке уровня шума на изображениях, на результат количественной оценки рельефа поверхности.
- Разработать адаптивный алгоритм определения размера ядра корреляции для целей автоматизации вычислений в оптическом методе оценки деформации.
- Разработать инкрементальный алгоритм определения перемещений на изображениях, позволяющий проводить их оценку в условиях значительного изменения рельефа поверхности и степени деформации до 50%.
- С целью кратного уменьшения времени построения векторных полей исследовать алгоритм трехмерного рекурсивного поиска и разработать ряд его модификаций для заданных условий функционирования.
- Применить иерархический подход к задаче определения перемещений на оптических изображениях для одновременного кратного уменьшения временных затрат и повышения устойчивости определения перемещений.
- Адаптировать алгоритм трехмерного рекурсивного поиска для реализации с помощью параллельных вычислений с целью значительного снижения времени построения векторных полей и использования данного алгоритма на многоядерных вычислительных системах.
- Исследовать возможность применения весовых коэффициентов в алгоритме вычисления оптического потока с целью повышения устойчивости определения перемещений, прежде всего на границах объектов в пределах области интереса.
- Разработать единый алгоритм обработки, анализа и интерпретации изображений в системе технического стереозрения, включающий этапы калибровки оптической системы, оценки перемещений, вычисления карт диспаратности и вычисления пространственных координат и деформаций поверхности исследуемого объекта.
Объектом исследования является процесс анализа изображений при оценке деформации нагруженных материалов.
Предметом исследования являются алгоритмы вычисления перемещений при оценке деформированного состояния и информативных признаков при определении рельефа поверхности материалов.
Научная новизна работы состоит в следующем.
1. Разработан единый подход к обработке информации в оптических системах оценки деформации материалов, основанный на количественной характеризации рельефа на его поверхности и корреляционном анализе изображений (п. 2 паспорта специальности 05.13.01).
2. Разработано и проведено исследование серии алгоритмов обработки и анализа изображений поверхности объекта или датчика деформации интегрального типа, основанных на вычислении информативных признаков с целью оценки механического состояния материала. Применительно к датчикам интегрального типа в алгоритме адаптивной билатеральной фильтрации для оценки уровня шума на изображении предложено использовать параметр минимальной дисперсии min(D) (п. 3, 4 паспорта специальности 05.13.01).
3. Предложен алгоритм автоматического выбора размера ядра корреляции в задаче построения векторных полей при оценке деформации методом корреляции цифровых изображений, в основе которого лежит вычисление автокорреляционных функций (п. 4 паспорта специальности 05.13.01).
4. Развиты алгоритмы построения полей векторов перемещений, основанные на инкрементальном подходе к оценке перемещений на изображении, отличающиеся от известных последовательным поиском перемещений с накоплением на изображениях серии близких по времени, что обеспечивает устойчивость как к а) изменению профиля поверхности материала, так и б) значительным по величине деформациям (п. 4 паспорта специальности 05.13.01).
5. Разработан комбинированный вероятностный алгоритм построения полей векторов перемещений, включающий а) трехмерный рекурсивный поиск и б) иерархический подход к анализу изображений. Объединение двух указанных алгоритмов позволяет кратно повысить быстродействие и устойчивость определения перемещений в условиях существенной зашумленности изображений (п. 4 паспорта специальности 05.13.01).
6. Показано, что применение весовых коэффициентов позволяет повысить устойчивость определения перемещений (более чем на 8%), прежде всего на контрастных границах движущихся объектов на изображениях. Предложен способ вычисления коэффициентов билатерального фильтра по двум изображениям используемой пары, учитывающий произведение коэффициентов билатерального фильтра обоих изображений, что позволило снизить ошибку более чем на 34% (п. 4 паспорта специальности 05.13.01).
7. Разработана система технического стереозрения (СТСЗ) для задачи оценки перемещений и деформаций объектов. Алгоритмическое и программное обеспечение системы основано на комплексном использовании: а) алгоритма поиска и выделения узлов калибровочного шаблона, б) модифицированного инкрементального алгоритма определения перемещений на серии стереопар, в) алгоритма вычисления деформации на поверхности пространственного объекта с использованием восстановленного профиля поверхности объекта (п. 5 паспорта специальности 05.13.01).
Методы исследования. В качестве основных методов исследования в работе использованы методы обработки и анализа цифровых изображений, векторных полей, моделирования изображений на ЭВМ, теории вероятностей, математической статистики, теории оптимизации, физического и математического моделирования.
Теоретическая и практическая значимость работы.
В работе разработаны элементы теории обработки изображений, в частности разработан единый подход к обработке информации в системах технического зрения для количественной оценки механического состояния нагруженных материалов.
Применение единых принципов, а также их дальнейшее развитие обеспечит более широкое внедрение систем технического зрения для исследования и оценки деформационного состояния материалов и оценки их свойств.
Внедрение оптических систем оценки деформации должно привести к существенному технико-экономическому эффекту в различных отраслях промышленности и науки. В частности, позволит повысить безопасность, экономическую эффективность промышленного оборудования, транспортных средств (в авиации), сложных инженерных объектов. Приведет к снижению издержек производства, а также повышению надежности и эксплуатационных характеристик оборудования. Позволит интенсифицировать исследования, а также получить дополнительные результаты в области прикладной механики, механики разрушения твёрдых тел, усталости материала, теории накопления усталостных повреждений. Это также будет способствовать как созданию новых материалов, необходимых современной промышленности, так и систем контроля механического состояния элементов механизмов и инженерных конструкций.
Разработано программное обеспечение для оценки механического состояния материала на основании количественного расчета и анализа изображений датчика деформации интегрального типа (получены свидетельства о регистрации программ для ЭВМ). Разработано программное обеспечение для построения полей векторов перемещений и оценки деформаций, в основе которого лежат предложенные алгоритмы (получены свидетельства о регистрации программ для ЭВМ).
Положения, выносимые на защиту:
1. Подход к оценке механического состояния нагруженного материала, основанный на количественной характеризации рельефа на его поверхности с использованием алгоритмов вычисления фрактальной размерности и других выбранных информативных признаков, который включает применение адаптивных методов фильтрации, что позволяет повысить достоверность оценки рельефа (п. 4 паспорта специальности 05.13.01).
2. Принцип адаптивного определения параметров билатеральной фильтрации, основанный на расчете минимальной дисперсии min(D) яркости изображения, характеризующей величину шума на изображении, что позволяет минимизировать влияние шумов и помех при получении количественной оценки рельефа поверхности (п. 3 паспорта специальности 05.13.01).
3. Алгоритм адаптивного определения апертуры в методе корреляции цифровых изображений, основанный на вычислении автокорреляционных функций и наборе их параметров, который обеспечивает минимальную ошибку определения деформации (п. 4 паспорта специальности 05.13.01).
4. Инкрементальный принцип и соответствующие алгоритмы определения перемещений для класса изображений, характеризуемых существенным изменением во времени и пространстве рельефа поверхности, позволяющие проводить оценку перемещений и деформации при изменении оптического образа более чем на 50% относительно исходного состояния (п. 4 паспорта специальности 05.13.01).
5. Серия алгоритмов построения полей векторов перемещений, основанных на трехмерном рекурсивном поиске, включая иерархический подход к анализу изображений, обеспечивающий одновременное повышение быстродействия до 10 раз и устойчивости расчета более чем в два раза по сравнению с алгоритмами, использующими свертку (п. 4 паспорта специальности 05.13.01).
6. Параллельный рекурсивный алгоритм построения полей векторов перемещений PDRS, основанный на применении модифицированного алгоритма рекурсивного поиска, позволяющий снизить время построения полей векторов перемещений до 27 раз по сравнению с известными алгоритмами, реализующими последовательный расчет (п. 5 паспорта специальности 05.13.01).
7. Способ повышения устойчивости оценки перемещений для класса изображений, содержащих большое количество перекрывающихся объектов, основанный на использовании весовых коэффициентов билатерального фильтра, позволяющий снизить ошибку определения перемещений на границах объектов на 34% (п. 4 паспорта специальности 05.13.01).
8. Алгоритм функционирования системы технического стереозрения, основанный на последовательном проведении процедур: а) калибровки оптической системы, б) инкрементальной оценки перемещений, в) вычисления карт диспаратности, с целью вычисления координат и деформаций поверхности исследуемого объекта в трехмерном пространстве, что обеспечивает по сравнению с системой на основе одной камеры снижение ошибки оценки деформации более чем в 10 раз (п. 5 паспорта специальности 05.13.01).
9. Единый подход к обработке информации в системах оценки деформационного состояния и свойств материала, основой которого является корреляционный анализ изображений (включающий комплекс разработанных алгоритмов оптимизации и параллельных вычислений), а ключевыми количественными показателями - точность определения перемещений и временные затраты, определяющие и лимитирующие применение конкретной реализации системы технического зрения (п. 2 паспорта специальности 05.13.01).
Личный вклад автора заключается в разработке алгоритмов обработки изображений, программной реализации алгоритмов и их модификаций, исследовании и тестировании реализованных алгоритмов. Разработке алгоритмов моделирования изображений, отражающих различные схемы формоизменения поверхности исследуемого материала.
Связь работы с научными программами и темами. Диссертационная работа выполнена в Институте физики прочности и материаловедения СО РАН в соответствие с планами государственных и отраслевых научных программ: Программа г/б исследований СО РАН № 8.2 «Научные основы создания композиционных и наноструктурных материалов на металлической, керамической и полимерной основах с высокими механическими и функциональными свойствами» (2004-2006 гг.); Комплексный проект г/б исследований СО РАН «Разработка принципов физической мезомеханики многоуровневых систем и создание на их основе конструкционных и функциональных материалов с наноструктурой во всем объеме, только в поверхностных слоях, с наноструктурными покрытиями или модифицированными наноструктурными наполнителями» (2007-2009 гг.); РФФИ 02-01-81003-Бел2002_а «Механика пластической деформации и разрушения поверхностно-упрочненных твердых тел» (2002-2004 гг.); РФФИ 04-01-08030-офи_а «Повышение усталостной прочности высокопрочных конструкционных материалов объектов типа СУ-27 путем создания наноструктур в их поверхностных слоях комбинированным методом ионноплазменного осаждения покрытия - ионной имплантации - ультразвуковой обработки» (2004-2005 гг.); РФФИ 05-01-00767-а «Физическая мезомеханика границ раздела в конструкционных материалах с упрочняющими покрытиями и наноструктурированными поверхностными слоями» (20052007 гг.); РФФИ 05-01-98008-р_обь_а «Исследование механического поведения нанокристаллических керамик оптико-телевизионными системами регистрации» (2005-2007 гг.); РФФИ 06-08-96938-р_офи «Исследование механизмов зарождения и развития усталостных трещин в сварных соединениях трубопроводного транспорта и разработка методов повышения их усталостной прочности и долговечности путем наноструктурирования их поверхностных слоев» (2006-2008 гг.); РФФИ 09- 08-90404-Укр_ф_а «Научные основы повышения термоусталостной стойкости нержавеющей стали путем наноструктурирования и контролируемого множественного растрескивания в поверхностных слоях» (2009-2010 гг.); Программа фундаментальных исследований отделения ЭММПУ РАН №4.12.5 «Мезомеханика множественного растрескивания наноструктурных покрытий с зубчатым градиентным подслоем при активном нагружении» (2006-2008 гг.); РФФИ 12-08-31042-мол_а «Разработка научных основ комбинированного акустико-оптического метода диагностики состояния нагруженных материалов» (2012-2013 гг.); РФФИ 13-07- 00009-а «Развитие быстродействующих и помехоустойчивых алгоритмов обработки и анализа оптических и акустических сигналов для комбинированного метода контроля состояния нагруженных материалов» (2013-2015 гг.); РФФИ 15- 08-05818-а «Многоуровневое описание малоцикловой усталости поликристалличе- ских и наноструктурных сред с учетом ротационных мод деформации» (2015-2017 гг.); РФФИ 17-18-00094-д Издание научного труда «Анализ изображений в оптическом методе оценки деформации» (2017 г.); Проект № III.20.1.3 «Разработка методологии и критериев диагностики состояния нагруженных материалов на основе многоуровневого подхода» (2010-2012 гг.); Проект фундаментальных исследований государственных академий наук №111.23.1.3. «Научные основы диагностики предразрушения и оценки ресурса работы многоуровневых структурно-неоднородных сред» (2013-2016 гг.); Проект фундаментальных исследований государственных академий наук №111.23.1.3. «Научные основы многоуровневого подхода к мониторингу, оценке механического состояния и диагностике предразрушения конденсированных сред и мягкой материи (soft matter)» (2017-2019 гг.); Проект ФЦП «Разработка с использованием многоуровневых компьютерных моделей иерархически армированных гетеромодульных экструдируемых твердосмазочных нанокомпозитов на основе сверхвысокомолекулярного полиэтилена для применения в узлах трения и футеровки деталей машин и механизмов, работающих в условиях Крайнего Севера» (соглашение с Минобрнауки РФ №14.604.21.0154, уникальный идентификатор проекта RFMEFI60417X0154, 2017-2018 гг.); Проект ФЦП «Разработка научных основ нового метода постобработки изделий, сформированных аддитивными технологиями, основанного на комбинированном импульсном высокочастотном многоуровневом механо-электрофизическом воздействии» (соглашение с Минобрнауки РФ №05.583.21.0089, уникальный идентификатор проекта RFMEFI58318X0089, 2018-2020 гг.).
Внедрение работы. Автор принимал участие в работе по договору «Разработка оптического метода встроенного контроля высоконагруженных агрегатов планера» (2008-2009 гг.) и «Исследование возможности применения встроенных методов неразрушающего контроля для металлических и полимерных композиционных материалов» (2014-2017 гг.) между Филиалом ПАО «Компания «Сухой» «ОКБ Сухого» и ИФПМ СО РАН. Практическая значимость работы также подтверждается актами ее использования, полученными от Indian Institute of Science, LM Wind Power, BISS Ltd, ПАО «Компания «Сухой», ФГУП «СибНИА им. С. А. Чаплыгина», Центр экспериментальной механики ПНИПУ, ООО «Композит ДВ», ТНТУ им. Ивана Пулюя. Акты внедрения приведены в приложениях диссертации. Результаты диссертации используются в учебном процессе в отделении материаловедения Инженерной школы Новых производственных технологий Национального исследовательского Томского политехнического университета при подготовке образовательных дисциплин «Мониторинг состояния и контроль надежности материалов и изделий» и «Диагностика материалов» для магистров по направлению 22.04.01 - Материаловедение и технологии материалов.
Достоверность полученных результатов. Степень обоснованности результатов, изложенных в диссертации, обеспечивается корректностью постановки задачи, сопоставительным анализом предложенных подходов и алгоритмов. Подтверждается тестированием и исследованием алгоритмов на модельных и экспериментально полученных изображениях, согласием полученных результатов с представленными в научной литературе.
Апробация работы. Основные научные результаты работы докладывались и обсуждались на следующих конференциях: International Workshop «Advanced problems of Mechanics and Physics of Mesoscopic Systems», February 1-4, 2011, Perm, Russia; VII Российская научно-техническая конференция «Механика микронеоднород- ных материалов и разрушение», 23-27 апреля 2012, Екатеринбург, Россия; 18th World Conference on Non-Destructive Testing, 16-20 April 2012, Durban, South Africa; Школа-семинар «Проблемы прочности авиационных конструкций и материалов» 27 февраля - 2 марта, 2013, Новосибирск; Russia-China International Workshop «Development of advanced materials and processing technology for energy-saving applications», 9-13 September 2013, Tomsk, Russia; 7th International conference on airworthiness and fatigue, 25-27 March, 2013, Beijing, China; 12th Asian Symposium on Visualization ASV-12, May 19-23, Tainan, Taiwan, 2013; International workshop «Failure of Heterogeneous Materials under Intensive Loading: Experiment and Multiscale Modeling», February 10-14, 2014, Perm, Russia; ХХ Всероссийская научно-техническая конференция по неразрушающему контролю и технической диагностике, 3-6 марта, 2014, Москва, Россия; III Всероссийская конференция, посвященная 100- летию со дня рождения Академика Ю.Н. Работнова, 26-30 мая, 2014, Новосибирск, Россия; VIII Российская научно-техническая конференция «Механика, ресурс и диагностика материалов и конструкций», 26-30 мая, 2014, Екатеринбург, Россия; 11th European Conference on Non-Destructive Testing (ECNDT 2014), October 6-10, 2014, Prague, Czech Republic; ICAF-2014, 14-18 July, 2014, Patras, Greece; XI Всероссийский съезд по фундаментальным проблемам теоретической и прикладной механики, Казань, 20 - 24 августа 2015; 1st Structural Integrity Workshop, Conference and Exhibition, Bengaluru, India, July 2-6, 2016; 2nd International Structural Integrity Conference and Exhibition, Hyderabad, India, July 25-27, 2018; III Международный форум «Интеллектуальные системы 4-й промышленной революции» 26-27 ноября, 2019 Томск, Россия; 9th International Conference on materials structure & micromechanics of fracture (MSMF9), Brno, Czech Republic, June 26-28, 2019.
Публикации. По теме диссертации опубликована 51 работа, в том числе 35 статей в журналах, включенных в Перечень рецензируемых научных изданий, в которых должны быть опубликованы основные результаты диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук, 19 статей в журналах индексируемых в базах Web of Science и Scopus, 2 монографии, 11 свидетельств о государственной регистрации программ для ЭВМ.
Структура и объем диссертации. Диссертация состоит из введения, 5 глав, заключения и списка используемой литературы. Объем работы составляет 304 страницы, включая 111 рисунков, 16 таблиц, 230 библиографических наименований и 8 приложений.
Краткое содержание диссертации.
Диссертация построена следующим образом. В первой главе приведены исследования по развитию подхода, который получил в литературе название датчик деформации интегрального типа (ДДИТ). Рассмотрено применение фрактальной размерности для оценки изображений поверхности. Исследовано влияние
Диссертация является научно-квалификационной работой, в которой решена актуальная научная проблема разработки комплексного подхода к обработке информации в оптических системах оценки деформационного состояния материалов и их свойств, которая квалифицируется как решение научной проблемы, имеющей важное хозяйственное значение. Основные выводы по работе, научные и прикладные разработки состоят в следующем:
1. Исследованы информативные параметры, на основании анализа значений которых можно проводить оценку механического состояния нагруженного материала по оптическим изображениям его поверхности. Показано, что все 4 реализованные методики расчета фрактальной размерности (ФР) позволяют получить оценку её значения, удовлетворительно совпадающую с заданными при моделировании. ФР может быть использована в качестве количественной меры рельефа на поверхности, однако необходимо оценивать и максимально исключать влияние шумов на результаты расчета, что может быть достигнуто за счет применения процедур фильтрации.
2. Проведено исследование влияния адаптивной билатеральной фильтрации на оценку модельных и экспериментальных оптических изображений с использованием фрактальной размерности. Предложено использовать параметр минимальной дисперсии min(D) для оценки уровня шума на изображении. Показана эффективность применения параметра min(D) для настройки оптической системы и выбора параметров адаптивной билатеральной фильтрации.
3. Проведено исследование по оценке величины наработки конструкционных материалов с помощью датчика деформации интегрального типа, основанное на изменении ряда информативных параметров. Определены наиболее чувствительные к изменению деформации меры (количественные характеристики) оптических изображений, к которым относятся информационная энтропия H, среднеквадратическая ошибка MSE и их комбинация H-MSE. Указанные меры обладают большей чувствительностью в разных диапазонах величины циклической наработки: H - на начальных этапах циклического нагружения; MSE - на этапах, предшествующих разрушению; в то время как H-MSE, как комбинированный параметр, является чувствительным во всем диапазоне циклических испытаний.
4. Предложен алгоритм автоматического выбора размера апертуры корреляционного алгоритма. По результатам его тестирования на сериях изображений с различным характером текстуры показано, что каждому типу исследованных текстур соответствует свой размер ядра корреляции, который обеспечивает минимальную ошибку определения деформации.
5. Разработан инкрементальный алгоритм построения векторных полей, основанный на накоплении перемещений между ближайшими парами в серии изображений. Алгоритм позволяет определять перемещения при изменении яркостной картины изображения более чем на 50%.
6. С целью уменьшения вычислительных затрат проведено исследование и показана эффективность применения алгоритма определения перемещений, основанного на трехмерном рекурсивном поиске (3DRS). На основе 3DRS алгоритма разработан иерархический 3DRS алгоритм (3DRS-P). Объединение двух данных алгоритмов позволяет повысить быстродействие в 10 раз и помехоустойчивость более чем в два раза.
7. Разработан параллельный алгоритм построения полей векторов перемещений (PDRS), реализованный на основе алгоритма рекурсивного поиска и ограничений, накладываемых аппаратом параллельных вычислений. PDRS реализован с использованием языка программирования OpenCL для выполнения на графических процессорах AMD Radeon. Применение разработанного алгоритма обеспечивает снижение времени построения векторного поля в ~ 27 раз по сравнению с последовательным алгоритмом DRS (при заданных параметрах расчета на изображениях размером 3456x5184).
8. Разработан алгоритм определения перемещений, основанный на применении весовых коэффициентов билатерального фильтра, который позволяет с большей устойчивостью определять перемещения, прежде всего на контрастных границах движущихся объектов на изображениях (более чем на 8%). Предложен способ вычисления коэффициентов билатерального фильтра по обоим изображениям используемой пары, что позволило снизить ошибку субпиксельного алгоритма более чем на 13% на границах и в зонах перекрытий объектов. Продемонстрирована возможность повышения эффективности применения алгоритма Лукаса-Канаде за счет введения взвешенной меры подобия.
9. Для созданной лабораторной системы технического стереозрения для оценки пространственных перемещений и оценки деформации разработан алгоритм ее работы. Алгоритм включает следующие этапы: 1) Калибровка камер оптической системы, основанная на выделении узловых точек калибровочного шаблона; 2) Определение карты диспаратности между ректифицированными изображениями стереопары. В основе определения карты диспаратности лежит модифицированный инкрементальный алгоритм определения перемещений на серии стереопар. Основное преимущество предложенного алгоритма заключается в отсутствии накопления ошибки определения перемещения; 3) Вычисление деформации на поверхности пространственного объекта, путем использования восстановленных профилей поверхности объекта из карт диспаратности.
10. Проведено тестирование лабораторной СТСЗ на сериях стереопар, отражающих изменение положения объекта в пространстве, а также плоскостные и вне- плоскостные перемещения. Показано, что ошибка определения пространственных координат не превышает 0,75 пространственных единиц при угле между осями камер 20°. Предложенные алгоритмы позволяют определять деформацию с ошибкой, не превышающей 4-10-3. Экспериментально показано, что ошибка вычисления компонент тензора деформации в случае системы с одной камерой может превышать более чем на один порядок, по сравнению с использованием разработанной системы стереозрения.
1. Исследованы информативные параметры, на основании анализа значений которых можно проводить оценку механического состояния нагруженного материала по оптическим изображениям его поверхности. Показано, что все 4 реализованные методики расчета фрактальной размерности (ФР) позволяют получить оценку её значения, удовлетворительно совпадающую с заданными при моделировании. ФР может быть использована в качестве количественной меры рельефа на поверхности, однако необходимо оценивать и максимально исключать влияние шумов на результаты расчета, что может быть достигнуто за счет применения процедур фильтрации.
2. Проведено исследование влияния адаптивной билатеральной фильтрации на оценку модельных и экспериментальных оптических изображений с использованием фрактальной размерности. Предложено использовать параметр минимальной дисперсии min(D) для оценки уровня шума на изображении. Показана эффективность применения параметра min(D) для настройки оптической системы и выбора параметров адаптивной билатеральной фильтрации.
3. Проведено исследование по оценке величины наработки конструкционных материалов с помощью датчика деформации интегрального типа, основанное на изменении ряда информативных параметров. Определены наиболее чувствительные к изменению деформации меры (количественные характеристики) оптических изображений, к которым относятся информационная энтропия H, среднеквадратическая ошибка MSE и их комбинация H-MSE. Указанные меры обладают большей чувствительностью в разных диапазонах величины циклической наработки: H - на начальных этапах циклического нагружения; MSE - на этапах, предшествующих разрушению; в то время как H-MSE, как комбинированный параметр, является чувствительным во всем диапазоне циклических испытаний.
4. Предложен алгоритм автоматического выбора размера апертуры корреляционного алгоритма. По результатам его тестирования на сериях изображений с различным характером текстуры показано, что каждому типу исследованных текстур соответствует свой размер ядра корреляции, который обеспечивает минимальную ошибку определения деформации.
5. Разработан инкрементальный алгоритм построения векторных полей, основанный на накоплении перемещений между ближайшими парами в серии изображений. Алгоритм позволяет определять перемещения при изменении яркостной картины изображения более чем на 50%.
6. С целью уменьшения вычислительных затрат проведено исследование и показана эффективность применения алгоритма определения перемещений, основанного на трехмерном рекурсивном поиске (3DRS). На основе 3DRS алгоритма разработан иерархический 3DRS алгоритм (3DRS-P). Объединение двух данных алгоритмов позволяет повысить быстродействие в 10 раз и помехоустойчивость более чем в два раза.
7. Разработан параллельный алгоритм построения полей векторов перемещений (PDRS), реализованный на основе алгоритма рекурсивного поиска и ограничений, накладываемых аппаратом параллельных вычислений. PDRS реализован с использованием языка программирования OpenCL для выполнения на графических процессорах AMD Radeon. Применение разработанного алгоритма обеспечивает снижение времени построения векторного поля в ~ 27 раз по сравнению с последовательным алгоритмом DRS (при заданных параметрах расчета на изображениях размером 3456x5184).
8. Разработан алгоритм определения перемещений, основанный на применении весовых коэффициентов билатерального фильтра, который позволяет с большей устойчивостью определять перемещения, прежде всего на контрастных границах движущихся объектов на изображениях (более чем на 8%). Предложен способ вычисления коэффициентов билатерального фильтра по обоим изображениям используемой пары, что позволило снизить ошибку субпиксельного алгоритма более чем на 13% на границах и в зонах перекрытий объектов. Продемонстрирована возможность повышения эффективности применения алгоритма Лукаса-Канаде за счет введения взвешенной меры подобия.
9. Для созданной лабораторной системы технического стереозрения для оценки пространственных перемещений и оценки деформации разработан алгоритм ее работы. Алгоритм включает следующие этапы: 1) Калибровка камер оптической системы, основанная на выделении узловых точек калибровочного шаблона; 2) Определение карты диспаратности между ректифицированными изображениями стереопары. В основе определения карты диспаратности лежит модифицированный инкрементальный алгоритм определения перемещений на серии стереопар. Основное преимущество предложенного алгоритма заключается в отсутствии накопления ошибки определения перемещения; 3) Вычисление деформации на поверхности пространственного объекта, путем использования восстановленных профилей поверхности объекта из карт диспаратности.
10. Проведено тестирование лабораторной СТСЗ на сериях стереопар, отражающих изменение положения объекта в пространстве, а также плоскостные и вне- плоскостные перемещения. Показано, что ошибка определения пространственных координат не превышает 0,75 пространственных единиц при угле между осями камер 20°. Предложенные алгоритмы позволяют определять деформацию с ошибкой, не превышающей 4-10-3. Экспериментально показано, что ошибка вычисления компонент тензора деформации в случае системы с одной камерой может превышать более чем на один порядок, по сравнению с использованием разработанной системы стереозрения.
