Разработка программного модуля анализа данных для веб-сайтов с использованием технологий нейронных сетей
|
Введение 5
1 ИССЛЕДОВАТЕЛЬСКИЙ РАЗДЕЛ 6
1.1 Актуальность выбранной темы 6
1.2 Анализ существующих программных решений аналогичного функционала 6
1.3 Цель и задачи выпускной квалификационной работы 8
1.4 Исследование предметной области 9
1.4.1 Архитектура сетей 11
1.4.2 Представление знаний 12
1.4.3 Алгоритм обратного распространения ошибки 14
1.4.4 Нормализация входных данных 16
1.4.5 Целевые значения 16
1.4.6 Скорость обучения 17
1.5.7 Преимущества и ограничения обучения методом обратного распространения .... 17
1.4.8 Вычислительная эффективность алгоритма обратного распространения 18
1.5 Концептуальная модель предметной области 19
1.6 Потребности потенциальных потребителей 20
1.7 Функциональные требования, предъявляемые к ПМ АДН 20
Выводы исследовательского раздела 21
2 КОНСТРУКТОРСКИЙ РАЗДЕЛ 22
2.1 Структура входных и выходных данных 22
2.2 Выбор инструментальных средств разработки 22
2.2.1 Выбор языка программирования 22
2.2.2 Выбор системы управления содержимым 24
2.2.3 Выбор среды разработки и отладки 26
2.3 Программная архитектура и алгоритм работы 28
2.4 Проектирование БД для ПМ АДН 35
2.4.1 Инфологическая модель предметной области 35
2.4.2 Даталогическая модель 37
2.5 Требования к надежности 38
2.6 Требования к информационной и программной совместимости 38
2.7 Разработка пользовательского интерфейса 39
Выводы конструкторского раздела 43
3 ТЕХНОЛОГИЧЕСКИЙ РАЗДЕЛ 44
3.1 Технологии, лежащие в основе веб-сайтов 44
3.1.1 Всемирная паутина 44
3.1.2 Язык разметки HTML 45
3.1.3 JavaScript и его особенности 46
3.1.4 Каскадные таблицы стилей 47
3.2 Системы управления содержимым 48
3.2.1 Основные сведения 48
3.2.2 Преимущества и недостатки использования систем управления содержимым .... 49
3.3 Язык PHP и его особенности 49
3.3.1 Основы синтаксиса 49
3.3.2 Использование ООП в PHP 50
3.4 Система «1С-Битрикс» 51
3.4.1 Программная платформа «Bitrix Framework» 51
3.4.2 Хранение данных в системе «1С-Битрикс». Информационные блоки 53
3.4.3 Взаимодействие с базами данных в системе «1С-Битрикс» 53
3.4.4 Кеширование в системе «1С-Битрикс» 54
3.4.5 Особенности установки модуля в системе «1С-Битрикс» 56
3.5 Построение графика функции и прогнозируемого значения 56
3.6 Тестирование и отладка ПМ АДН 57
3.6.1 Выбор метода тестирования 58
3.6.2 Алгоритм тестирования модуля 60
3.6.3 Сценарий тестирования «задача-XOR» 62
Выводы технологического раздела 64
Заключение 65
Список используемой литературы 66
Приложение
1 ИССЛЕДОВАТЕЛЬСКИЙ РАЗДЕЛ 6
1.1 Актуальность выбранной темы 6
1.2 Анализ существующих программных решений аналогичного функционала 6
1.3 Цель и задачи выпускной квалификационной работы 8
1.4 Исследование предметной области 9
1.4.1 Архитектура сетей 11
1.4.2 Представление знаний 12
1.4.3 Алгоритм обратного распространения ошибки 14
1.4.4 Нормализация входных данных 16
1.4.5 Целевые значения 16
1.4.6 Скорость обучения 17
1.5.7 Преимущества и ограничения обучения методом обратного распространения .... 17
1.4.8 Вычислительная эффективность алгоритма обратного распространения 18
1.5 Концептуальная модель предметной области 19
1.6 Потребности потенциальных потребителей 20
1.7 Функциональные требования, предъявляемые к ПМ АДН 20
Выводы исследовательского раздела 21
2 КОНСТРУКТОРСКИЙ РАЗДЕЛ 22
2.1 Структура входных и выходных данных 22
2.2 Выбор инструментальных средств разработки 22
2.2.1 Выбор языка программирования 22
2.2.2 Выбор системы управления содержимым 24
2.2.3 Выбор среды разработки и отладки 26
2.3 Программная архитектура и алгоритм работы 28
2.4 Проектирование БД для ПМ АДН 35
2.4.1 Инфологическая модель предметной области 35
2.4.2 Даталогическая модель 37
2.5 Требования к надежности 38
2.6 Требования к информационной и программной совместимости 38
2.7 Разработка пользовательского интерфейса 39
Выводы конструкторского раздела 43
3 ТЕХНОЛОГИЧЕСКИЙ РАЗДЕЛ 44
3.1 Технологии, лежащие в основе веб-сайтов 44
3.1.1 Всемирная паутина 44
3.1.2 Язык разметки HTML 45
3.1.3 JavaScript и его особенности 46
3.1.4 Каскадные таблицы стилей 47
3.2 Системы управления содержимым 48
3.2.1 Основные сведения 48
3.2.2 Преимущества и недостатки использования систем управления содержимым .... 49
3.3 Язык PHP и его особенности 49
3.3.1 Основы синтаксиса 49
3.3.2 Использование ООП в PHP 50
3.4 Система «1С-Битрикс» 51
3.4.1 Программная платформа «Bitrix Framework» 51
3.4.2 Хранение данных в системе «1С-Битрикс». Информационные блоки 53
3.4.3 Взаимодействие с базами данных в системе «1С-Битрикс» 53
3.4.4 Кеширование в системе «1С-Битрикс» 54
3.4.5 Особенности установки модуля в системе «1С-Битрикс» 56
3.5 Построение графика функции и прогнозируемого значения 56
3.6 Тестирование и отладка ПМ АДН 57
3.6.1 Выбор метода тестирования 58
3.6.2 Алгоритм тестирования модуля 60
3.6.3 Сценарий тестирования «задача-XOR» 62
Выводы технологического раздела 64
Заключение 65
Список используемой литературы 66
Приложение
С каждым годом веб-сфера получает все большее распространение, соответственно растут и объемы обрабатываемой информации. Чаще всего получаемые от пользователей данные содержат шумы и трудно выявляемые закономерности. Подобные проблемы удобно решать с помощью нейронных сетей, но существующие библиотеки имеют либо большую стоимость, либо долгий процесс установки, либо неудобный интерфейс использования.
Актуальность задачи заключается в потребности наличия простого и удобного в использовании инструмента для работы с нейронными сетями интегрированного в систему управления сайтом.
Цель выполнения данной работы в улучшении эффективности анализа данных веб-сайтов путем реализация программного модуля, основанного на технологии нейронных сетей.
Практическая значимость данной разработки - создание решения, которое позволит ускорить и упростить применение технологий нейронных сетей в системе управления содержимым.
Пояснительная записка состоит из введения, исследовательского, конструкторского и технологического разделов, заключения, списка литературы и приложений.
В исследовательском разделе рассматриваются актуальность выбранной темы, исследование предметной области, анализ существующих программных решений.
В конструкторской части были проанализированы функциональные требования к программному модулю анализа данных для веб-сайтов с использованием технологий нейронных сетей (ПМ АДН), разработаны структуры входных и выходных данных, разработаны архитектуры и алгоритм работы программного модуля, проведен обзор пользовательского интерфейса, выбраны инструменты разработки ПМ АДН.
В технологическом разделе рассматриваются: особенности программирования, архитектура взаимодействия, способы отладки и тестирования.
Актуальность задачи заключается в потребности наличия простого и удобного в использовании инструмента для работы с нейронными сетями интегрированного в систему управления сайтом.
Цель выполнения данной работы в улучшении эффективности анализа данных веб-сайтов путем реализация программного модуля, основанного на технологии нейронных сетей.
Практическая значимость данной разработки - создание решения, которое позволит ускорить и упростить применение технологий нейронных сетей в системе управления содержимым.
Пояснительная записка состоит из введения, исследовательского, конструкторского и технологического разделов, заключения, списка литературы и приложений.
В исследовательском разделе рассматриваются актуальность выбранной темы, исследование предметной области, анализ существующих программных решений.
В конструкторской части были проанализированы функциональные требования к программному модулю анализа данных для веб-сайтов с использованием технологий нейронных сетей (ПМ АДН), разработаны структуры входных и выходных данных, разработаны архитектуры и алгоритм работы программного модуля, проведен обзор пользовательского интерфейса, выбраны инструменты разработки ПМ АДН.
В технологическом разделе рассматриваются: особенности программирования, архитектура взаимодействия, способы отладки и тестирования.
Выпускная квалификационная работа посвящена разработке программного модуля анализа данных для веб-сайтов с использованием технологий нейронных сетей. В ходе ВКР были выполнены следующие задачи:
1) исследована предметная область;
2) проведен сравнительный анализ существующих аналогичных решений;
3) выбраны инструментальные средства и среды разработки;
4) разработана схема данных ПМ АДН;
5) разработана схема алгоритма ПМ АДН;
6) выполнена программная реализация ПМ АДН;
7) разработан пользовательский интерфейс ПМ АДН;
8) проведены отладка и тестирование ПМ АДН;
9) разработано руководство программиста;
Полученный программный модуль удовлетворяет всем требованиям технического задания. Использование современных технологий позволило создать удобный в обращении программный модуль.
В ходе разработки было выявлено, что для повышения эффективности требуется ввести параллельные вычисления для ускорения работы модуля, а также провести дополнительное исследование на тему эффективности внедрения для разных задач различных алгоритмов обучения.
1) исследована предметная область;
2) проведен сравнительный анализ существующих аналогичных решений;
3) выбраны инструментальные средства и среды разработки;
4) разработана схема данных ПМ АДН;
5) разработана схема алгоритма ПМ АДН;
6) выполнена программная реализация ПМ АДН;
7) разработан пользовательский интерфейс ПМ АДН;
8) проведены отладка и тестирование ПМ АДН;
9) разработано руководство программиста;
Полученный программный модуль удовлетворяет всем требованиям технического задания. Использование современных технологий позволило создать удобный в обращении программный модуль.
В ходе разработки было выявлено, что для повышения эффективности требуется ввести параллельные вычисления для ускорения работы модуля, а также провести дополнительное исследование на тему эффективности внедрения для разных задач различных алгоритмов обучения.
Подобные работы
- Разработка программного модуля по реализации функции
интеллектуальной обработки данных для системы 1С-Битрикс
Бакалаврская работа, программирование. Язык работы: Русский. Цена: 4940 р. Год сдачи: 2016 - Разработка сервиса прогнозирования сроков доставки грузов на основе нейронной сети
Бакалаврская работа, информатика. Язык работы: Русский. Цена: 7300 р. Год сдачи: 2019 - Кластеризация и классификация текстовых данных с использованием технологий text mining
Бакалаврская работа, программирование. Язык работы: Русский. Цена: 4650 р. Год сдачи: 2022 - УПРАВЛЕНИЕ РАСПРЕДЕЛИТЕЛЬНЫМИ СЕТЯМИ С ИСПОЛЬЗОВАНИЕМ ПОТОКОВОЙ МОДЕЛИ УСТАНОВИВШЕГОСЯ РЕЖИМА
Диссертации (РГБ), электроэнергетика. Язык работы: Русский. Цена: 4370 р. Год сдачи: 2018 - Распознавание речи с использованием алгоритмов глубокого обучения
Магистерская диссертация, физика. Язык работы: Русский. Цена: 4960 р. Год сдачи: 2020 - Система автоматизированного получения и анализа открытых данных культурного наследия
Бакалаврская работа, информатика. Язык работы: Русский. Цена: 4265 р. Год сдачи: 2023 - Обработка кластерных данных в цифровой экономике
Бакалаврская работа, информатика. Язык работы: Русский. Цена: 4360 р. Год сдачи: 2018



