ВВЕДЕНИЕ 3
Глава 1. Обзор существующих методов идентификации нежелательного почтового траффика 5
1.1 Нежелательный почтовый траффик (спам) 5
1.2 Системы идентификации спам-писем на основе анализа отправителя
(черные списки) 7
1.3 Серые списки 8
1.4 Спам-фильтры на основе анализа содержания писем 10
1.4.1 Байесовская классификация писем 11
1.4.2 Классификация писем методами машинного обучения 13
1.5 Выводы 14
Глава 2 Развитие системы автоматического распознавания спам-писем с использованием искусственных нейронных сетей 15
2.1 Нейронные сети основные понятия 15
2.2 Система автоматического распознавания спам-писем с использованием
нейронной сети прямого распространения 17
Глава 3 Анализ эффективности нейросетевого метода идентификации спама
3.1 База данных, предварительная обработка писем 21
3.2 Обучение нейронной сети 25
3.3 Результаты работы нейросетевого спам-фильтра 28
3.3 Выводы 32
Глава 4 Сравнение результатов работы нейросетевого спам-фильтра с методом на основе опорных векторов 33
4.1 Применение метода опорных векторов к задаче распознавания спам-
писем 33
4.2 Реализация метода опорных векторов с нелинейным ядром в среде
MATLAB 36
4.3 Сравнение эффективности работы разных методов 39
4.4 Выводы 39
Заключение 40
Список литературы
Почтовый спам, также известный как нежелательная электронная почта, является типом электронного спама, в котором не запрошенные сообщения отправляются по электронной почте. Многие почтовые спам-сообщения являются коммерческими по своему характеру, но могут также содержать замаскированные ссылки, которые, приводят к фишинговым сайтам или сайтам, на которых размещается вредоносное ПО. Спам-адрес электронной почты также может включать вредоносное ПО в качестве скриптов или других исполняемых файлов. Спам электронной почты неуклонно растет с начала 1990-х годов. Ботнеты, сети зараженных вирусом компьютеров, используются для отправки около 80% спама. Спамеры собирают адреса электронной почты из чатов, веб-сайтов, списков клиентов, групп новостей и вирусов, которые собирают адресные книги пользователей. Эти собранные адреса электронной почты иногда также продаются другим спамерам. В первой половине 2010 года доля спам-почты составляла около 80% отправленных сообщений электронной почты.
За последние годы проблема спама (нежелательного почтового траффика) приобретает все большую актуальность. Во втором квартале 2016 года доля спама в мировом почтовом трафике превысила 60%. Согласно обобщенным данным Ассоциации документальной электросвязи, сотрудники, получающие в день по 10—20 писем, находят в своих электронных ящиках более сотни рекламных сообщений. Для борьбы с рекламной и вредоносной рассылкой писем потребуется около 5-7 часов в месяц, а это рабочее время, которое оплачивается работодателем. Кроме этого, спам-письма значительно увеличивают нагрузку на коммуникации, повышают трафик, снижают эффективность работы сервера.
Для эффективной борьбы со спам-рассылкой требуется не только взаимодействие различных субъектов, но и активная позиция всех участников. Сложность проблемы обусловливает относительно длительные сроки ее решения; однако в целях повышения общественной значимости борьбы со спамом необходимо уже в кратчайшие сроки обеспечить достижение «промежуточных побед». В рамках решения проблемы следует также широко использовать международный опыт, накопленный в этой области.
Актуальность данной темы обосновано тем, что сегодня каждый человек, имеющий электронный ящик и общающийся по электронной почте испытывает, мягко говоря определенные неудобства, когда на его адрес поступают «письма - спамы». Таким образом, необходимо искать пути разрешения данной проблемы, которая на руку только «теневым менеджерам» сетевого маркетинга.
Цель работы - развитие системы автоматической идентификации нежелательного почтового трафика (спама) с использованием искусственных нейронных сетей.
Для достижения данной цели были поставлены следующие задачи:
1) Провести обзор существующих систем и методов идентификации спама, выявить их ограничения;
2) Подготовить базу данных с размеченными письмами, реализовать блок предварительной обработки писем;
3) Спроектировать и реализовать метод распознавания спама с использованием искусственных нейронных сетей прямого распространения;
4) Оценить эффективность НС подхода к распознаванию спама, сравнить с методом опорных векторов.
1) Проведен обзор существующих систем и методов идентификации спама, выявлены их ограничения;
2) Подготовлена база данных для обучения НС, реализован обновленный блок предварительной обработки писем;
3) Реализован метод распознавания спама с использованием НС прямого распространения;
4) Система распознавания спам-писем по базе данных SpamAssassin Public Corpus с использованием НС и обновленного блока предобработки показала точность 91% (на тестовой выборке).
