Разработка системы контент-фильтрации, - выпускная квалификационная работа

Содержание

АННОТАЦИЯ 2
ВВЕДЕНИЕ 6
1 ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПОСТРОЕНИЯ СИСТЕМЫ КОНТЕНТ- ФИЛЬТРАЦИИ 8
1.1 Прокси-серверы 8
1.2 Контентная фильтрация 9
1.3 Алгоритмы машинного обучения для классификации текста 10
2 СРАВНЕНИЕ ОТЕЧЕСТВЕННЫХ И ПЕРЕДОВЫХ ЗАРУБЕЖНЫХ ТЕХНОЛОГИЙ И РЕШЕНИЙ 19
2.1 Обзор существующих аналогов 19
2.2 Обзор технологий 23
3 СИСТЕМА КОНТЕНТ-ФИЛЬТРАЦИИ ДЛЯ ОБРАЗОВАТЕЛЬНОЙ ОРГАНИЗАЦИИ 27
3.1 Описание технологий 27
3.2 Разработка базы данных 28
3.3 Разработка программных приложений 30
ЗАКЛЮЧЕНИЕ 40
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 41

Введение

Актуальность темы. В связи с активным проникновением сети Интернет в нашу жизнь, огромную роль стали играть Web-технологии. Но, как и с любым крупными «событием», широкое распространение и принятие технологии WWW привело к появлению множества угроз. Кража данных, «подделка» содержимого в процессе передачи, вредоносный контент – основные угрозы безопасности, с которыми сталкивается типичный пользователь сети Интернет. К счастью, многолетний опыт в сфере информационной безопасности позволяет защититься от большинства угроз. И, если проблемы с кражей данных или подделкой (имеется в виду кража и/или подделка персональных или банковских данных третьими лицами в момент передачи) успешно решаются средствами криптографии, то проблема вредоносного контента требует комплексного решения.
Целью выпускной квалификационной работы является разработка системы контент-фильтрации.
Система контент-фильтрации – это специализированное программное обеспечение для распознавания вредоносного (запрещенного) контента и ограничения доступа к нему. Часто о подобных системах можно слышать в информационном поле обеспечения информационной безопасности образовательных учреждений [1]. Также система фильтрации может применяться в государственных органах, промышленности и др. В данном случае применяются ограничения на доступ к внешним ресурсам, и осуществляется защита от утечек внутренних документов.
Задачи выпускной квалификационной работы:
- изучить теоретические основы функционирования прокси-сервера;
- изучить теоретические основы функционирования контентной фильтрации;
- рассмотреть алгоритмы машинного обучения для анализа и классификации данных;
- выявить недостатки, предъявляемые к существующим передовым решениями, представленным на рынке;
- разработать систему контент-фильтрации.
Объектом выпускной квалификационной работы является процесс контент- фильтрации потока данных из сети Интернет.
Предметом выпускной квалификационной работы – программная автоматизация процесса контент-фильтрации.
Практическая значимость выпускной квалификационной работы состоит в разработке простого решения, которое будет легким в настройке и эксплуатации на любой POSIX-совместимой системе.
Структура выпускной квалификационной работы состоит из введения, трех разделов, заключения и библиографического списка. Раздел 1 посвящен теоретическому обоснованию темы исследования, описанию принципа работы прокси-сервера и контент-фильтров, а также обзору алгоритмов машинного обучения классификации текста.Раздел 2 посвящен анализу и обоснованию проектных решений; в разделе дан обзор существующих решений и их недостатков. Раздел 3 посвящен проектированию системы.
Объем выпускной квалификационной работы составляет 42 страницы машинописного текста и содержит 13 иллюстраций, 1 таблица, библиографический список из 40 наименований.

Возникли сложности?

Нужна помощь преподавателя?

Помощь в написании работ!

ДИПЛОМНЫЕ МАГИСТЕРСКИЕ ДИССЕРТАЦИИ

КУРСОВЫЕ СТАТЬИ ВКР

Заключение

В результате проделанной работы были рассмотрены: теоретические основы построения системы контент-фильтрации.
Проведен анализ существующих систем контент-фильтрации. Произведен выбор средств для разработки собственной системы контентной фильтрации.
Разработан комплекс, включающий в себя прокси-сервер и web панель управления. Основным достоинством системы является то, что она использует открытые и свободные технологии. Языком программирования выбран Crystal – компилируемый язык программирования со строгой типизацией и синтаксисом Ruby. Система легко переносима на уровне исходного кода, достаточно производительна и может горизонтально масштабироваться. Для хранилища данных используется свободная и бесплатная СУБД MySQL.
Но главное преимущество разработанной системы в гибкости настроек фильтрации за счет использования машинного обучения для классификации контента.
Панель управления для администратора была разработана с помощью frontend- фреймворка bootstrap, что дает администратору системы возможность просматривать статистику и осуществлять контроль, как с компьютера, так и со смартфона.
В качестве алгоритма классификации выбран наивный Байесовский метод, который основан на теореме Байса об условной вероятности. Классификатор также был написан на языке программирования Crystal и показал точность на тестовых данных 99,13%.
В качестве дальнейших перспектив разработки можно отметить возможность интеграции с системами мониторинга (такими как Prometheus и Zabbix), системами аутентификации служб каталогов (например, Active Directory и LDAP), панелями управления (например, Webmin).
Достигнута основная цель работы – разработана система фильтрации.

Литература

1 Федеральный закон от 28.07.2012 N 139-ФЗ «О внесении изменений в Федеральный закон «О защите детей от информации, причиняющей вред их здоровью и развитию» и отдельные законодательные акты Российской Федерации». – http://www.kremlin.ru/acts/bank/35796.
2 Barber, D. Bayesian Reasoning and Machine Learning. / D. Barber. – Cambridge University Press, 2012. – 735 p.
3 Bishop, C. Pattern recognition and machine learning. / C. Bishop. – Springer, 2006. – 738 p.
4 Michie, D. Machine Learning, Neural and Statistical Classification. / D. Michie, D.J. Spiegelhalter, C.C. Taylor. – Overseas Press, 2009 – 290 p.
5 Mitchell, T. Machine Learning. / T. Mitchell. – McGraw Hill, 1997 – 414 p.
6 Murphy, K. Machine learning: a probabilistic perspective. / K. Murphy. – MIT Press, 2012. – 1067 p.
7 Nilsson, N. Introduction to machine learning. / N. Nilsson. – Stanford, 2005. – 179 p.
8 Shalev, S. Understanding machine learning. / S. Shalev, S Ben-David. – Cambridge University Press, 2014. – 449 p.
9 Бринк, Х. Машинное обучение. / Х. Бринк, Д. Ричардс, М. Феверолф – СПб.: Питер, 2017. – 336 с.
10 Гамма, Э. Приемы объектно-ориентированного проектирования. Паттерны проектирования. / Э. Гамма, Р. Хелм, Р. Джонсон. – СПб.: Питер, 2001. – 368 с.
11 Дейт, К. Дж. Введение в системы баз данных, 8-е издание. / К.Дж. Дейт. – М.: Издательский дом «Вильямс», 2005. – 1328 с.: ил.
12 Дейт, К. Дж. SQL и реляционная теория. Как грамотно писать код на SQL. / К.Дж. Дейт. – СПб.: Символ-Плюс, 2010. – 480 с., ил.
13 Донской, В.И. Алгоритмические модели обучения классификации: обоснование, сравнение, выбор / В.И. Донской. – Симферополь: ДИАЙПИ, 2014. – 228 с.
14 Ларман, К. Применение UML и шаблонов проектирования. / К. Ларман. – М.: Издательский дом «Вильямс», 2004. – 624 с.
15 Лутц, М. Программирование на Python, том I, 4-е издание / М. Лутц. – СПб.: Символ-Плюс, 2011. – 992 с., ил.
...40