РАЗРАБОТКА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ РЕАЛИЗАЦИИ АЛГОРИТМОВ ВЫЯВЛЕНИЯ ПРИЧИННО-СЛЕДСТВЕННЫХ ОТНОШЕНИЙ В ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

В настоящее время объем данных, в частности информационных становится все больше и больше, что создает проблему обработки, анализа и представления этих данных. Анализ данных является важной задачей почти в любой сфере деятельности человека, в том числе в научных исследованиях. Таким образом основная задача анализа данных - это выбор самой важной и ключевой информации. Отбор важной информации определяется некоторым набором правил, условий или соответствий. При анализе человеком тысяч и даже миллионов строк данных есть такой человеческий фактор, когда человек может допустить ошибку в следствии усталости или невнимательности. Однако вычислительная техника, такая как компьютер лишен этого фактора, что позволяет избежать таких ошибок. В настоящее время повышается популярность и актуальность таких понятий как: машинное обучение, искусственный интеллект, нейронные сети. Эти технологии повышают эффективность обработки и анализа колоссальных объемов данных.
Актуальность данной выпускной квалификационной работы заключается в том, что представленная программа выявления причинно-следственных отношений в экспериментальных данных, позволяет провести анализ большого набора данных и выявляет самую важную информацию, затем идет процесс обработки полученных данных после чего результат представляется в виде графа, так как по данных некоторых исследователей человек легче всего воспринимает графическую информацию нежели обычный текст.
Главной целью данной дипломной работы является разработка математического и программного обеспечения, позволяющего выявить причинно-следственные отношения в наборе экспериментальных данных большого объема.
Поставленная цель дипломной работы позволила выполнить следующие задачи:
• Разработать программу для анализа экспериментальных данных.
• Протестировать программу на известном наборе данных.
• Исследовать экспериментальные данные.
• Провести анализ полученных результатов.
При анализе данных часто требуется объяснить зависимость или независимость определенных свойств, признаков у группы исследуемых. Например, необходимо объяснить зависимость уровня подготовки спортсмена к соревнованиям от его личностных характеристик таких как: соперничество и агрессивность. В данном примере под фактом подразумевается уровень соперничества или агрессивности. С помощью которого описывается группа спортсменов. Следовательно, возникает основная задача описать каузальные отношения между значениями признаков или самими признаками. Важно отметить, что в данном примере прослеживается корреляция между признаками, как прямая зависимость, но это не значит, что изменение одной из характеристик с изменением другой будет давать точный ответ что является причиной, а что следствием. Точно также можно сказать о факторном анализе, в процессе выявления линейных комбинаций признаков, будут являться лишь факторами, по которым разделяются признаки. Проблема интерпретации результатов статистического анализа является, что результаты можно использовать для уровня достоверности уже выдвинутых гипотез о казуальной зависимости.
Отдельно следует отметить что имеет место случай, когда признак или совокупность признаков зависит от цело ряда признаков. Выделить такие зависимости с использованием только корреляции достаточно трудная задача.
Также кроме статистического анализа данных в машинном обучении часто применяется интеллектуальный метод анализа данных, в частности индуктивные методы, в частности ДСМ-метод. Данный метод является автоматическим методом порождения гипотез, формализующий схему правдоподобного и достоверного вывода, который называется ДСМ- рассуждение. ДСМ-рассуждение является синтезом познавательных процедур: индукции, аналогии и абдукции. ДСМ-метод был создан как средство автоматизированного построения формализации знаний о предметной области средствами называемых квазиаксиоматических теорий.
Важное место в анализе данных имеет представление полученных результатов. Для более наглядного понимания результатов в данной дипломной работе представлен метод генерирующий граф, который отображает важные свойства признаков. На вход графа поступают гипотезы в виде бинарных массивов, которые генерируются в процессе работы обучения и анализа данных. В качестве вершин выступают свойства признаков, а дуги (ребра) графа отображают связь (зависимость) свойств признаков.
В дипломной работе представлена программа разработанная на основе алгоритма, выявления причинно-следственных отношений в наборе экспериментальных данных на примере теста с использованием AQ обучения и ДСМ-метода, а также графопостроитель для более наглядного понимания каузальных зависимостей.
Проведенное исследование в ходе выполнения дипломной работы показало, что разработанная программа представляет удобный инструмент для анализа слабоструктурированных статистических данных в различных областях знаний.


Купить