ВВЕДЕНИЕ 4
ГЛАВА 1. ПРОБЛЕМА СООТВЕТСТВИЯ СТРУКТУРЫ И ФУНКЦИИ СИСТЕМ, ВОЗНИКШИХ ЭВОЛЮЦИОННЫМ ПУТЕМ. 9
1.1 ЭКСПЕРИМЕНТАЛЬНЫЕ ДАННЫЕ О СООТНОШЕНИИ СТРУКТУРЫ И ФУНКЦИИ
БИОЛОГИЧЕСКИХ СИСТЕМ 9
1.2 ФЕНОМЕНОЛОГИЧЕСКИЕ МОДЕЛИ - ИНСТРУМЕНТ ИССЛЕДОВАНИЯ СЛОЖНЫХ
СИСТЕМ. 12
1.3 СЕТИ КАК СПОСОБ ОПИСАНИЯ СЛОЖНЫХ СИСТЕМ 19
1.4 НЕЙРОННЫЕ СЕТИ. 22
1.5. ЭВОЛЮЦИОННЫЙ ПРОЦЕСС КАК ПОИСК ЭКСТРЕМУМА ФУНКЦИИ
ПРИСПОСОБЛЕННОСТИ. 26
ГЛАВА 2. МАТЕРИАЛЫ И МЕТОДЫ. 29
2.1. АЛГОРИТМИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ГЕНЕРАЦИИ НЕЙРОСЕТЕВЫХ МОДЕЛЬНЫХ
ОБЪЕКТОВ С ЗАДАННОЙ ФУНКЦИЕЙ. 29
2.2 СТАНДАРТНЫЕ МЕТОДЫ ОЦЕНКИ СХОДСТВА СТРУКТУР НМО 37
2.3 МЕТОДЫ ПОИСКА ЛОКАЛЬНОЙ И ДИСКРЕТНОЙ СИММЕТРИЙ 38
2.4. КОНТРАСТИРОВАНИЕ НМО. 39
2.5. ПОЛУЧЕНИЕ СТРУКТУР НЕЙРОСЕТЕЙ, СФОРМИРОВАННЫХ ПОД ДЕЙСТВИЕМ "МУТАЦИОННОГО ДАВЛЕНИЯ." 39
2.6. ОБОЗНАЧЕНИЯ НЕЙРОСЕТЕЙ, ИСПОЛЬЗУЕМЫЕ В РАБОТЕ 40
2.7. ОПИСАНИЕ ПРОГРАММНОГО ПАКЕТА, ИСПОЛЬЗУЕМОГО В РАБОТЕ. 41
ГЛАВА 3. РЕЗУЛЬТАТЫ ВЫЧИСЛИТЕЛЬНЫХ ЭКСПЕРИМЕНТОВ ПО СРАВНЕНИЮ СТРУКТУР НМО. 47
3.1 РЕЗУЛЬТАТЫ СРАВНЕНИЯ СТРУКТУР НМО ПРИ ПОМОЩИ СТАТИСТИЧЕСКИХ И
АЛГЕБРАИЧЕСКИХ МЕТОДОВ. 47
3.2 ОЦЕНКИ СХОДСТВА СТРУКТУР НМО, ПОЛУЧЕННЫЕ ВЫЧИСЛЕНИЕМ ЕВКЛИДОВА
РАССТОЯНИЯ. 50
РЕЗУЛЬТАТЫ И ВЫВОДЫ ГЛАВЫ 58
ГЛАВА 4. ТЕОРЕТИЧЕСКИЙ АНАЛИЗ МЕХАНИЗМОВ ФОРМИРОВАНИЯ
КЛАСТЕРОВ. 60
4.1 ЛОКАЛЬНАЯ СИММЕТРИЯ СТРУКТУР НМО, ВЫПОЛНЯЮЩИХ ОДИНАКОВЫЕ
ФУНКЦИИ 61
4.2 ДИСКРЕТНАЯ СИММЕТРИЯ. ЧИСЛО КЛАСТЕРОВ, ФОРМИРУЕМЫХ СТРУКТУРАМИ
НМО. 63
РЕЗУЛЬТАТЫ И ВЫВОДЫ ГЛАВЫ 65
ГЛАВА 5. ЭКСПЕРИМЕНТАЛЬНАЯ ПРОВЕРКА ЭКВИВАЛЕНТНОСТИ
СТРУКТУР НМО, ВЫПОЛНЯЮЩИХ ОДИНАКОВЫЕ ФУНКЦИИ. 66
5.1 ПРИМЕНЕНИЕ СИММЕТРИЧНЫХ ПРЕОБРАЗОВАНИЙ К НМО, ВЫПОЛНЯЮЩИМ
ОДНУ И ТУ ЖЕ ФУНКЦИЮ. 66
5.2 АНАЛИЗ МИНИМАЛЬНЫХ СТРУКТУР, ОБЕСПЕЧИВАЮЩИХ ВЫПОЛНЕНИЕ ДАННОЙ
ФУНКЦИИ 75
РЕЗУЛЬТАТЫ И ВЫВОДЫ ГЛАВЫ 77
ГЛАВА 6. АНАЛОГИИ МЕЖДУ СВОЙСТВАМИ НМО И ДРУГИМИ
СИСТЕМАМИ, ВОЗНИКШИМИ ЭВОЛЮЦИОННЫМ ПУТЕМ. 79
ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ. 83
ЗАКЛЮЧЕНИЕ. 85
ЛИТЕРАТУРА 87
ПРИЛОЖЕНИЕ 94
ПАРАМЕТРЫ РАЗЛИЧНЫХ РЕЖИМОВ ОБУЧЕНИЯ 94
ЗНАЧЕНИЯ КОЭФФИЦИЕНТОВ КОРРЕЛЯЦИИ НМО 94
РАСПРЕДЕЛЕНИЕ СИНАПСОВ НМО 102
СРАВНЕНИЕ МАТРИЦ НМО 105
ПРИМЕРЫ ВЫЧИСЛЕНИЯ ПАРНЫХ РАССТОЯНИЙ ДЛЯ РАЗЛИЧНЫХ НМО. 108
ПРИМЕРЫ ПРИМЕНЕНИЯ СИММЕТРИЧНЫХ ПРЕОБРАЗОВАНИЙ К СТРУКТУРАМ 6-ТИ
НЕЙРОННЫХ НМО, ВЫПОЛНЯЮЩИМ ФУНКЦИЮ А3 (СИГМОИДАЛЬНАЯ
ПЕРЕХОДНАЯ ХАРАКТЕРИСТИКА, АДФ). 112
ПРИМЕНЕНИЕ ПРЕОБРАЗОВАНИЙ К СТРУКТУРАМ, ВЫПОЛНЯЮЩИМ РАЗНЫЕ
ФУНКЦИИ 122
Проблема развития является центральной проблемой биофизики сложных систем (Волькенштейн, 1978; Fontana, Schuster, 1998a), и один из ее аспектов состоит в непредсказуемости конкретного пути эволюции при его принципиальной неизбежности (Эйген, 1973). Недетерминированность эволюции связана с тем, что требуемая для выживания вида функция может реализовываться разными эволюционно возникшими структурами (Фокс, 1966; Мейен, 1974; Fontana, Schuster, 1998a, 1998b). Следовательно, одной из причин непредсказуемости пути и исхода эволюции является неоднозначность отношений "структура-функция" в эволюционно возникших системах.
В то же время известен определенный параллелизм в эволюции различных видов и родов, нашедший свое выражение в законе гомологичных рядов в наследственной изменчивости Н.И.Вавилова (Мейен, 1974). Возникает вопрос о существовании некоторой структурной общности у систем, выполняющих одну и ту же функцию, но сформированных на разных эволюционных траекториях. Если эта общность существует, то в определенном смысле можно говорить об эквифинальности (прогнозируемости) эволюции.
Проблема структурно-функционального соответствия в контексте эволюции может быть сформулирована следующим образом: "Существует ли нечто общее в эволюционно возникших структурах, выполняющих одну и ту же функцию, что отличает их от структур, реализующих другие функции?". Тем самым ставится вопрос о существовании функционального инварианта структуры. Практический аспект этой проблемы значим для молекулярной биологии, белковой инженерии и экологии и может быть сформулирован следующим образом: "Можно ли по известной структуре предсказать функцию
Исследованию общих свойств биологических систем препятствуют два основных фактора. Во-первых, это единственность эволюционных исходов, которая не позволяет проводить сравнительный анализ биологических структур (в распоряжении исследователей имеется только один вариант живого, реализовавшийся на Земле). Во-вторых, это чрезвычайная сложность реальных биологических объектов, которая приводит к невозможности учесть все то огромное количество взаимодействий элементов структуры, которое определяет функцию данного объекта.
Средством работы со сложными системами являются феноменологические модели, описывающие систему в общем, не детализируя ее. Феноменологические модели являются традиционным инструментом исследований в биофизике сложных систем (Волькенштейн, 1978). Они предназначены для ответа на принципиальные вопросы. Примеры таких исследований "по принципу" хорошо известны в физике и биофизике (Рашевский, 1968; фон Нейман, 1973; Эйген, 1973; Николис, Пригожин, 1979).
В соответствии с подходом биофизики сложных систем для исследования проблемы структурно-функционального соответствия нужно использовать предельно простую, "прозрачную", возможно даже абстрактную, феноменологическую модель. Если выделено некоторое общее для множества систем свойство, то исследование "по принципу" можно проводить на объектах различной природы. Задача заключается в подборе модели, в которой структурно-функциональные отношения, лежащие в основе реальных жизненных процессов, выражены наиболее выпукло.
В настоящее время развивается подход к исследованию сложных систем, основанный на моделях эволюционирующих сетей. Проводится сравнительный топологический анализ моделей сетей различной природы: метаболических путей, белок белковых взаимодействий; пищевых цепей экосистем; нервных сетей, энергетических систем; Интернета и т.п. (Barbasi, 1999; Amaral, et. all., 2000; Albert et. al, 2001; Jeong et.,al.,2001; Strogatz, 2001; Sanjay, Sandeep, 2001). Обнаружен ряд свойств, общих для этих сетей, что говорит о потенциально широкой применимости сетевых моделей, к которым относятся и нейронные сети.
Развитие теории и практики нейронных сетей дает в руки исследователей инструмент моделирования с богатыми возможностями (Hopfield, 1982; Rumelhart, Hinton, Williams, 1986; Kohonen, 1982; Grossberg, 1988). Относительная простота обучения нейронных сетей позволяет создавать ансамбли из отдельных экземпляров нейросетей, выступающих в качестве нейросетевых модельных объектов (НМО), к которым применимы методы статистики и сравнительного анализа.
Сходство формального описания процессов эволюции и обучения нейронных сетей (Барцев, Гилев, Охонин, 1989; Wolpert, Macready, 1995; Stadler et.,al, 2000) позволяет использовать нейросетевую модель, как инструмент исследования эквифинальности эволюционных процессов. Тем более, что в практике использования нейронных сетей, существует проблема воспроизводимости вычислительных экспериментов, родственная проблеме эволюционной эквифинальности (Partridge, Yates, 1996).
Цель работы. На примере простых эволюционно сформированных систем, в роли которых используются нейронные сети, оценить сходство структур, выполняющих одинаковые и различные функции.
Для достижения поставленной цели необходимо было решить следующие задачи:
1. Разработать пакет программ для генерации и исследования нейросетевых моделей в контексте эволюции их структуры и функции.
2. Провести вычислительные эксперименты с ансамблями нейронных сетей для получения достаточного для статистической обработки количества данных.
3. Провести сравнительный анализ нейросетей, выполняющих одну и ту же и различные функции, при помощи различных статистических и теоретических инструментов.
4. Оценить применимость выводов, полученных на нейросетевых моделях, к реальным биологическим системам.
Научная новизна:
1. Предложен подход к исследованию общих свойств структурно-функциональных отношений эволюционно возникших систем с помощью модельного объекта - ансамбля нейронных сетей;
2. Обнаружено, что структуры нейросетей, выполняющих одну и ту же функцию, образуют в пространстве структурных параметров обособленные скопления, кластеры. Показано, что структуры нейросетей, выполняющих одну и ту же функцию, могут различаться больше, чем структуры нейросетей, выполняющих разные функции.
3. На основе теоретического описания механизма формирования кластеров выявлены типы симметрий структур нейросетей, позволяющие свести все множество независимо сформированных нейросетей, выполняющих одну и ту же функцию, к любой нейросети из этого множества. Это указывает на существование функционального инварианта и функциональной симметрии структуры.
4. Получены точные оценки максимального количества кластеров, которые могут образовывать в пространстве структурных параметров нейросети, выполняющие данную функцию. Показана принципиальная возможность по результату одного эволюционного исхода, определить все множество эволюционных исходов, которые с учетом функциональных симметрий являются эквифинальными.
Практическая значимость.
Полученные результаты позволяют:
a) с помощью обнаруженных симметрий обеспечить воспроизводимость вычислительных экспериментов с нейронными сетями;
b) усовершенствовать существующие нейросетевые алгоритмы, обеспечив преодоление нейтральных участков, на которых градиент целевой функции равен нулю;
c) наметить подход к уменьшению разнообразия биологических экспериментальных данных путем целенаправленного поиска функциональных симметрий структуры биосистем.
На защиту выносятся следующие положения.
1. В пространстве структурных параметров нейросетевые модельные объекты, выполняющие определенную функцию, образуют скопления, кластеры. Это явление устойчиво, то есть проявляется для разных алгоритмов, условий обучения, количеств нейронов и видов переходной характеристики нейронных сетей.
2. У нейросетей с четно/нечетными переходными характеристиками, существует три типа функциональных симметрий, позволяющих с помощью соответствующих этим симметриям преобразований, свести все множество структур нейросетей, выполняющих данную функцию к любой одной структуре из этого множества.
3. Существование функционального инварианта структуры нейросети означает эквифинальность исходов процесса обучения вне зависимости от конкретной траектории его реализации.
Апробация работы. Материалы диссертационной работы докладывались на Сибирском Конгрессе по Прикладной и Индустриальной математике (ИНПРИМ-98), IX Международном симпозиуме "Реконструкция гомеостаза", 1998; VII Всероссийском семинаре "Информатика и ее приложения", 1999; III Всероссийском семинаре "Моделирование неравновесных систем-2000"; Симпозиуме «Гомеостаз», 2000; Конференции, посвященной 90-летию со дня рождения А.А.Ляпунова, Новосибирск, 2001; IV Всероссийском семинаре "Моделирование неравновесных систем-2001".
Полученные на НМО результаты выходят за рамки нейросетевого моделирования и могут использоваться двояко. С одной стороны, некоторые выводы относительно свойств нейронных сетей могут быть перенесены на реальные системы в той мере, в какой они соответствуют сетевому описанию. По крайней мере, эти выводы могут иметь вид предположений или гипотез о свойствах реальных систем. Об этом говорилось в шестой главе работы, где и сформулированы выводы-гипотезы. С другой стороны, из данной работы можно выделить своего рода алгоритм (пусть и эвристический), позволяющий понижать видимое разнообразие наблюдаемых биологических систем.
В работе показано, что структуры систем, состоящих из элементов одной природы и, выполняющих одну и ту же функцию, в принципе, сводимы к одной структуре. Вопрос в том, как от принципиальной возможности перейти к конкретной процедуре уменьшения разнообразия экспериментальных данных. На данном этапе исследований можно говорить только о проекте такой процедуры, некотором эвристическом алгоритме. Но даже эвристический алгоритм требует априорного обоснования его применимости. Алгоритм является формальной процедурой и это означает, что его можно применять к системам с подходящим этой процедуре формальным описанием.
Это описание должно органично включать структуру, функцию и принцип оптимальности, тесно связанный с понятием целесообразности биологической системы и ее эволюции (Волькенштейн, 1975; Блюменфельд, 1977). Под эволюционным процессом будет пониматься изменение структуры биологической системы в соответствии с некоторым функциональным критерием оптимальности (Forst et al., 1995; Schuster, 1996). По современным представлениям в основе эволюции лежат микромутационные процессы и процесс эволюции можно рассматривать как плавное движение по ландшафту целевой функции приспособленности (Niklas, 1994, Huynen et al., 1996; Schuster, 1996).
То есть первый шаг алгоритма редукции сложности заключается в построении сетевого описания исследуемого класса систем.
Затем к выбранному формальному описанию системы с заданной функцией применяется известная процедура отыскания локальной группы преобразований (Ибрагимов, 1983), позволяющая непрерывным образом сводить одну функционирующую структуру к другой.
Знание вида инфинитезимального преобразования позволяет малыми шагами выделить подмножества сводимых друг к другу структур, выполняющих одну и ту же функцию.
Если выделяется несколько таких подмножеств, то с помощью сравнительного анализа отыскиваются дискретные симметрии относительно преобразований, переводящих эти подмножества в одно. В ряде случаев дискретные симметрии можно определить по виду формального описания ансамбля исследуемых биосистем. Уже есть примеры отыскания групп преобразований, то есть нахождения некоторого порядка в разнообразии данных для генетических последовательностей и макромолекул (Bellido, 1996; Blundell, Srinivasan, 1996; Zhang,1997; Sankoff, Blanchette, 1999; Goodsell, Olson, 2000).
Отыскание системы преобразований, сводящих огромное разнообразие, например экосистем, к ограниченному набору типов дало бы возможность объединения существующих разрозненных наблюдений природных экосистем в большие блоки, обеспечивающие высокую степень достоверности, что важно для построения адекватных моделей и надежного прогноза динамики этих систем.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
