Введение 3
Постановка задачи 6
Обзор литературы 7
Глава 1. Существующие подходы к задаче анализа тональности текста 8
1.1. Методы обучения без учителя 8
1.2. Методы обучения с учителем 8
1.2.1. Наивный байесовский классификатор 9
1.2.2. Метод максимальной энтропии 9
1.2.3. Метод опорных векторов 10
1.3. Анализ и сравнение методов 11
Глава 2. Архитектура нейронной сети 13
2.1. Рекуррентные нейронные сети 13
2.2. Архитектура «долгая краткосрочная память» 14
2.3. Модель нейронной сети для задачи анализа тональности текста 17
Глава 3. Реализация 19
3.1. Предварительная обработка данных 19
3.2. Реализация нейронной сети 19
Глава 4. Количественная оценка метода 21
Выводы 22
Заключение 23
Список литературы
За последние десятилетие количество пользоваетелей сети Интернет увеличилось в 3 раза . За это время Интернет сильно преобразился — на место статичным страницам, редактируемым одним человеком, пришли страницы, где любой человек может что-то написать, что-то прокоммен¬тировать — грань между потребителями и создателями контента начала стираться.
Пользователи создают огромное число различных материалов: запи¬си в форумах и блога, «статусы» в социальных сетях, фотографии и видео на специализированных ресурсах и многое другое. С течением времени по¬явилось несколько крупных сайтов, собирающих мнения про, например, то¬вары, фильмы, книги; вот некоторые из них: Amazon , Metacritic , IMDB . Некоторые из них даже входят в 500 самых посещаемых сайтов сети Ин¬тернет. Прежде чем отдать предпочтение одному из товаров, у человека появилось возможность узнать мнение остальных людей, которые владеют этим товаром. Количество таких мнений огромно, что позволяет челове¬ку узнать все необходимое и лишь затем сделать выбор. Но с течением временеми отзывов стало слишком много — изучить все отзывы на какой- либо популярный товар является невыполнимой задачей для одного чело¬века. Для производителей товаров это стало особо важно — иногда есть необходимость следить за отзывами, а держать большой отдел экспертов- лингвистов, который осуществлял бы мониторинг отзывов и оценивал их — экономически невыгодно. Эта ситуация является причиной появления та-кого предмета, как анализ мнений: была острая необходимость в создании системы классификации мнений с минимальным участием людей.
Анализ мнений включает в себя несколько задач, направленных на решение одной и той же проблемы — качественная оценка отношения авто¬ра текста к субъекту, который рассматривается в этом же тексте. Из кон¬кретных задач, которые входят в анализ мнений, можноо выделить такие задачи, как: оценка субъективности или объективности текста по отноше¬нию к субъекту, классификация отношения автора к субъекту. Последняя задача называется задачей анализа тональности текста и является фунда¬ментальной в анализе мнений — чтобы делать какие-то дальнейшие выводы про мнение, необходимо сперва понять, как автор относится к субъекту.
Задача анализа тональности текста сводится к задаче класификации. Текст нужно отности к одному из классов эмоциональной окраски, напри¬мер, «положительный», «отрицательный» или «нейтральный». В общем случае, число классов конечное. Классификаторы могут работать как с ис¬ходными данными(например, целым текстом, отдельными предложениями, отдельными словами текста, n-граммами), так и с некоторыми векторными представлениями текста или слов(например, мешок слов [1]). Иногда клас¬сификация происходит в два этапа и на обоих этапах является бинарной. На первом отделяются субъективные сообщения от объективных. Объек¬тивными в этом случае называются как раз те, которые не несут эмоцио¬нальной окраски и являются нейтральными в варианте с тремя классами. Второй этап делит субъективные тексты на положительные и отрицатель¬ные. Получается, что решение задачи тональности текста с 3 классами, решает в один этап и задачу оценки субъективности или объективности.
За последние годы искуственные нейронные сети доказали свою эф-фективность для многих задач. Так, нейронные сети могут выделять от¬дельные гитарные аккорды в музыке [2], распознавать цифры [3] и другие объекты на изображениях [4].
Искусственной нейронной сетью называется математическая модель, построенная по принципу организации и функционирования биологических — сетей нарвных клеток живых организмов. Это модель была получена в середине XX века при попытке смоделировать процессы, протекающие в че¬ловеческом мозге. Искусственная нейронная сеть состоит из соединенных между собой «нейронов», каждому из которых присвоена определенную функцию активации. По соединениями между нейронами распространяте- ся сигнал. Каждое соединение между нейронами имеет численное значение, которое называется весом. Состояние нейрона определяется по формуле S = Е Li X;Wi, где n — число входов нейрона, х; — значение входа i-ого нейрона, w; — вес у i-ого входа. Для дальнейшего распространения сиг¬нала, над состоянием применяется функция активации и полученное зна¬чение передается остальным нейронам. Визуально нейронную сеть можно представить в виде взвешенного направленного графа, где вершины будут нейронами, а ребра — связями. Процесс обучения нейронной сети заклю¬чается в нахождении всех весов связей.
Рис. 1: Двухслойный перцептрон с 2 входными и 1 выходным нейронном. Зеленым цве-том обозначены входные нейроны, голубым — скрытые нейроны, желтым — выходные нейроны.
Нейронные сети классифицируют на 2 класса: нейронные сети прямо¬го распространения сигнала и нейронные сети с обратными связями. Одним из наиболее распространенных типов нейронной сети прямого распростра¬нения сигнала является многослойный перцептрон, его пример представлен на рисунке 1. К нейронным сетям с обратными связами относят рекуррент¬ные нейронные сети. Рекуррентные нейронные сети показывают хорошие результаты во многих задачах связанных с классификацией последователь¬ностей, например, распознание речи [5] и подавление шума [6]. Помимо это¬го, рекуррентные нейронные сети показывают одни из лучших результатов на данный момент в некоторых задачах связанных с обработкой текста на естественном языке, например, в задаче классификации текста [7].
Целью данной работы было применение рекуррентных нейронных се¬тей к задаче анализа тональности текста и сравнение полученных резуль¬татов с результатами существующих подходов к этой задаче.
Постановка задачи
Целью данной работы является создание модели рекуррентной ней¬ронной сети для решения задачи анализа тональности текста. В данной работе рассмотрена бинарная классификация на 2 класса — «положитель¬ный отзыв» и «отрицательный отзыв».
Для достижения заданной цели необходимо:
1. Проанализировать существующие методы решения задачи анализа то-нальности текста.
2. Обосновать, описать и реализовать архитектуру рекуррентной нейрон¬ной сети.
3. Сравнить полученную модель с существующими методами решения.
Обзор литературы
Впервые задача анализа тональности текста была решена вычисли¬тельно методами машинного обучения в 2002 году. В публикациях были рассмотрены решения методом обучения без учителя [8] и методом обуче¬ния с учителем [9]. В этих статьях рассматривались отзывы на различные товары: была поставлена задача выяснить, рекомендует или нет автора от¬зыва товар, которому посвящен отзыв. В этих работах была сформулиро¬вана задача, сформирована основная терминология и предложены первые варианты решения данной задачи. В работе [10] была предложена моди¬фикация наивного байесовского классификатора, которая позволила улуч¬шить результаты, полученные в [9].
По использованию нейронных сетей в различных задачах обработки текстов на естественном языке существует много работ. В исследовании [7] было предложено использовать сверточную нейронную сеть для классифи¬кации текста. Получившиеся в этой работе результаты стали лучшими до¬стигнутыми на данный момент. В работе [11] на основе свёрточных нейрон¬ных сетей предложена архитектура нейронной сети для анализа тонально¬сти коротких текстов(до 140 символов). В исследовании [12] анализируют¬ся приемущества использование функции активации f (x) = max(0, x), для сравнения разных функций активации берется задача анализа тонально¬сти текста. Полученные результаты показывают небольшой выигрыш при использовании этой функции активации.
[1] Zhang Y., Jin R., Zhou Z.-H. Understanding bag-of-words model: a statistical framework. // International Journal of Machine Learning and Cybernetics, 2010. Vol. 1. P. 43 - 52.
[2] Boulanger-Lewandowski N., Bengio Y., Vincent P. Audio chord recognition with recurrent neural networks // Proceedings of the 14th International Society for Music Information Retrieval Conference, 2013. P. 335 - 340.
[3] LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-based learning applied to document recognition // Proceedings of the IEEE, 1998. Vol. 81, Issue
11. P. 2278 - 2324.
[4] Krizhevsky A., Sutskever I., Hinton G. ImageNet Classification with Deep Convolutional Neural Networks // Advances in neural information processing systems, 2012. P. 1097 - 1105.
[5] Watanabe Z., Erdogan S., Hershey H., Chen Z., Watanabe S., Erdogan H., John R. Hershey // Integration of Speech Enhancement and Recognition using Long-Short Term Memory Recurrent Neural Network, 2015.
[6] Chen X., Liu X., Gales M.J.F., Woodland P.C. Recurrent neural network language model training with noise contrastive estimation for speech recognition. //In Acoustics, Speech and Signal Processing (ICASSP), 2015. P. 5411 - 5415.
[7] Lai S., Xu L., Liu K., Zhao J. Recurrent Convolutional Neural Networks for Text Classification. // AAAI, 2015. P. 2267 - 2273.
[8] Turney P.D. Thumbs up or thumbs down?: semantic orientation applied to unsupervised classification of reviews // Proceedings of the 40th annual meeting on association for computational linguistics. Association for Computational Linguistics, 2002. P. 417 - 424.
[9] Pang B., Lee L., Vaithyanathan S. Thumbs up?: sentiment classification using machine learning techniques // Proceedings of the ACL-02 conference on Empirical methods in natural language processing. Association for Computational Linguistics, 2002. Vol. 10. P. 79 - 86.
[10] Tan S., Cheng X., Wang Y., Xu H. Adapting naive bayes to domain adaptation for sentiment analysis // Advances in Information Retrieval, 2009. P. 337 - 349.
[11] dos Santos C.N., Gatti M. Deep Convolutional Neural Networks for Sentiment Analysis of Short Texts // COLING, 2014. P. 69 - 78.
[12] Glorot X., Bordes A., Bengio Y. Deep sparse rectifier neural networks // International Conference on Artificial Intelligence and Statistics, 2011. P. 315 - 323.
[13] Murphy K.P. Machine Learning: A Probabilistic Perspective (Adaptive Computation and Machine Learning series). The MIT Press, 2012. ISBN: 0262018020.
[14] Manning C.D., Schutze H. Foundations of statistical natural language processing. MIT press, 1999.
[15] Nigam K., Lafferty J., McCallum A. Using maximum entropy for text classification // IJCAI99 workshop on machine learning for information filtering, 1999. P. 61 - 67.
[16] Tong S., Koller D. Support vector machine active learning with applications to text classification // The Journal of Machine Learning Research, 2002. Issue 2. P. 45 - 66.
[17] Maas A.L., Daly R.E., Pham P.T., Huang D., Ng A.Y., Potts C. Learning word vectors for sentiment analysis // Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, 2011. Vol. 1. P. 142 - 150.
[18] Pedregosa F., Varoquaux G., Gramfort A., Michel V., Thirion B., Grisel O., Blondel M., Prettenhofer P., Weiss R., Dubourg V., Vanderplas J., Passos A., Cournapeau D., Brucher M., Perrot M., Duchesnay E. Scikit-learn: Machine Learning in Python // Journal of Machine Learning Research, 2011. Issue
12. P. 2825 - 2830.
[19] Elman J.L. Finding structure in time // Cognitive science, 1990. Vol. 14, no. 2. P. 179 - 211.
[20] Hochreiter S. The vanishing gradient problem during learning recurrent neural nets and problem solutions. // International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems 6, Harvard, 1998. Issue 02. P. 107 - 116.
[21] Hochreiter S., Bengio Y., Frasconi P., Schmidhuber J. Gradient flow in recurrent nets: the difficulty of learning long-term dependencies, 2001.
[22] Werbos P.J. Backpropagation through time: what it does and how to do it. // Proceedings of the IEEE 78, Harvard, 1990. Issue 10. P. 1550 - 1560.
[23] Hochreiter S., Schmidhuber J. Long short-term memory // Neural computation 9, 1997. Issue 8. P. 1735 - 1780.
[24] Srivastava N., Hinton G., Krizhevsky A., Sutskever I., Salakhutdinov R. Dropout: A simple way to prevent neural networks from overfitting // The Journal of Machine Learning Research 15, Harvard, 2014. Issue 1. P. 1929 - 1958.
[25] Bergstra J., Breuleux O., Bastien F., Lamblin P., Pascanu R., Desjardins G., Turian J., Warde-Farley D., Bengio Y. Theano: a CPU and GPU math expression compiler // Proceedings of the Python for Scientific Computing Conference (SciPy), 2010.
[26] Oh K.S., Jung K. GPU implementation of neural networks // Pattern Recognition 37, 2004. Issue 6. P. 1311 - 1314.
[27] Zeiler M.D. ADADELTA: an adaptive learning rate method, 2012.
[28] Bengio Y., Simard P., Frasconi, P. Learning long-term dependencies with gradient descent is difficult. // IEEE Transactions on Neural Networks 5, 1994. Issue 2. P. 157 - 166.
[29] Rajadesingan A., Zafarani R., Liu H. Sarcasm detection on twitter: A behavioral modeling approach // Proceedings of the Eighth ACM International Conference on Web Search and Data Mining, 2015. P. 97 - 106.
[30] Mikolov T., Chen K., Corrado G., Dean J. Efficient Estimation of Word Representations in Vector Space // Proceedings of Workshop at ICLR, 2013.
[31] Liu Y., Sun C., Lin L., Zhao Y., Wang X. Computing Semantic Text Similarity Using Rich Features, 2015.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
