ВВЕДЕНИЕ 3
1 МЕТОДЫ АНАЛИЗА ПОХОЖИХ ДОКУМЕНТОВ 6
1.1 Анализ текстов 6
1.2 Методы для поиска похожих документов 9
1.3 Анализ трендов 21
1.4 Сравнение методов анализа текста 25
1.5 Выводы 26
2 ПОСТРОЕНИЕ ПРОЦЕССА ОБУЧЕНИЯ МОДЕЛИ 28
2.1 Процесс поиска похожих документов изнутри 28
2.2 Обучение модели 31
2.3 Производительность 53
2.4 Результаты и выводы 56
3 ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ПОЛУЧЕННОЙ МОДЕЛИ ПОИСКА ПОХОЖИХ
ДОКУМЕНТОВ 57
3.1 Бизнес-план 57
3.2 Команда проекта 73
3.3 Декомпозиция работ 79
3.4 Полная модель организации 82
3.5 Экономическое обоснование 89
3.6 Результаты экспериментов 96
3.7 Результаты над итоговой выборкой 105
3.8 Обсуждение результатов 111
3.9 Результаты и выводы 113
ЗАКЛЮЧЕНИЕ 114
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 115
Актуальность и новизна исследования
В последнее время появляется всё больше систем «вопрос-ответ», в которых обычные пользователи на разных форумах отвечают на вопросы таких же обычных пользователей. У спрашивающего возникает вопрос времени ожидания ответа на свой вопрос. Система проектирования, которую будет раскрыта в диссертации, позволила бы спрашивающему найти ответы в похожих вопросах других пользователей. Данная разработка помогла бы и тем пользователям, которые не написали свой вопрос, а ищут похожие вопросы на предмет поиска ответов.
Такая система позволит увеличить точность таких прогнозов, облегчить внедрение на сайт, дать пользователям более быстрый ответ на их вопросы и т.п.
Цели исследования
Целью магистерской диссертации является проектирование удобной и быстрой системы для поиска похожих текстов. Эта система позволит находить документы схожих тематик быстро и прозрачно для конечного пользователя и его интересов.
Задачи исследования
Для достижения вышеуказанных целей необходимо выполнить следующую работу:
• Обработка текста. Компьютер понимает текст как упорядоченный набор символов. Он не видит за ними никакого смысла, поэтому необходимо преобразовать текст к такому виду, чтобы методы машинного обучения могли найти между ними смысл.
• Изучение теоретической части по векторизации слов. Векторизация слов (word embedding) новый подход, по которому появляются всё новые статьи. Данный подход позволяет представить слово в виде вектора чисел небольшой длины, который значительно уменьшает пространство всего корпуса слов и предоставляет удобные механизмы для работы с векторами.
• Описание применяемых алгоритмов машинного обучения.
• Проектирование алгоритма для определения оптимальных параметров модели. Следует разработать сам процесс нахождения оптимальной модели, как именно к ней подобрать параметры.
• Разработка модели. На основе предположений из предыдущего пункта начать написание кода для системы поиска похожих текстов.
• Применение модели на практике. Применение полученного алгоритма на тестовых примерах, получение результатов разных метрик качества.
• Обсуждение результатов работы спроектированной модели. Какие перспективы несёт эта разработка пользователям и компаниям.
Объект и предмет исследования
Объектом исследования являются модели и методы похожести документов.
Предметом исследования являются возможность создания модели, которая будет проверять похожесть документов и которая создана на основе нейронной сети 4ос2уес.
Методы
Столп, на котором будет основана система, — это векторизация документов. Этим решается проблема понижения размерности данных и производительности.
Согласно научным статьям, векторизация слов и документов в виде word2vec (doc2vec) обеспечивает лучшее качество на больших корпусах, чем ЬЗЛ, РЬЗЛ, БЭЛ. Хорошо работает, если слов более 10 млн. Корпус вопросов с сайта Бухонлайн как раз большой, около 600000 документов.
После 2014 года '№оМ2уее стал популярным алгоритмом. Теория, которая за ним скрывается, весьма эффективна. Word2veе основывается на окрестности слова, чтобы собрать вектор слова. Чем больше текста, тем меньше вероятность взятия аномальных смыслов, берется только самое распространённое и общее вокруг слова. Чуть позже появилась реализация vord2vee для документов с текстом - doc2vec. Согласно исследованиям качества разных моделей, doc2vec показывает результаты по похожести документов лучше, чем LSA, PLSA, LDA. В настоящее время doc2vec показывает превосходные результаты при классификации тональности рецензий из базы данных IMDB, обеспечивая уровень ошибок всего 7,42%.
Основная задача состоит в том, чтобы грамотно построить систему, которая бы быстро и качественно выдавала список похожих документов.
Каждый документ будет представлен вектором, тегом и id. Благодаря тому, что документ представлен в виде вектора, сравнивать документы между собой становится быстрее. Тег и id позволяет однозначно связать его с оригинальным экземпляром сущности.
Будет использоваться поиск по сетке на основе некоторого диапазона значений, выбранных из практических соображений.
Поиск похожих документов будет основан на Approximate k-nearest neighbors, который обеспечит скорость поиска похожих документов в 100 раз больше, чем поиск с помощью честного алгоритма k-nearest neighbors.
Научная значимость
Популяризация векторного представления слов для представления огромного корпуса слов в вектор компактной длины, что позволит осуществлять быстрый поиск по ним.
Практическая значимость
При внедрении этой системы компании могут сделать клиентов более лояльными из-за более быстрого и точного поиска ответа на их вопрос.
Структура диссертации
Диссертация состоит из трёх глав. В первой главе будет рассказано о подобных системах, смысле искать похожие тексты в задачах бизнеса. Вторая глава будет посвящена методам, которыми мы будем пользоваться для получения результатов, описанных в первой главе. В третьей главе обсудим полученные результаты, как их можно применить на практике и планы на будущее.
В работе была раскрыта тема векторного представления документа. Было показано на практике, как можно с помощью doc2vec находить похожие документы. Были изучены самые популярные методы поиска похожих документов и сделан вывод о предпочтении doc2vec. Была описана работа метода word2vec и основанного на нём doc2vec.
После чего была описана стратегия, которая позволила получить наилучшее качество модели doc2vec. Был проведён ряд экспериментов, который показал, на каких данных doc2vec раскрывает свой потенциал. Также были определены слабые и сильные стороны этого подхода.
Было обнаружено, что длина вектора документа растёт с увеличением корпуса текстов. Также с увеличением корпуса текстов растёт и качество модели.
До 2013 года, когда появился word2vec, работали с матрицей вхождения слов в документы, из-за чего размерность матрицы была высокой. Векторное представление документов позволило сократить размерность, благодаря чему работать с документами стало проще и доступнее.
Задача классификации текстов, для которой чаще всего используют логистическую регрессию, скорее всего бы не подошла для поиска похожих документов, так как заранее могут быть неизвестны классы выборки. Взяв некоторую часть выборки, разметить её, использовать в качестве тестовой выборки для подбора гиперпараметров doc2vec, которые зависят от корпуса текстов, на основе средней арифметической точности будет более разумным решением.
Алгоритмы 1АЛ, Р1АЛ, 14)Л также используют для задач, в которых корпус слов маленький, так как качество на них лучше, чем йое2уее. Данных становится всё больше и больше, корпуса текста значительно увеличиваются в размерах, и всё чаще для подобных задач стали использовать йое2уее.
1. Машинное обучение и анализ данных | Coursera. [Электронный ресурс] - URL: https://www.coursera.org/specializations/machine-learning-data- analysis(дата обращения 01.05.2020).
2. Математика и Python для анализа данных | Coursera. [Электронный ресурс] - URL: https://www.coursera.org/learn/mathematics-and-python(дата обращения 01.05.2020).
3. Обучение на размеченных данных | Coursera. [Электронный ресурс] - URL: https://www.coursera.org/learn/supervised-learning(дата обращения 01.05.2020).
4. Поиск структуры в данных | Coursera. [Электронный ресурс] - URL: https://www.coursera.org/learn/unsupervised-learning(дата обращения 01.05.2020).
5. Построение выводов по данным | Coursera. [Электронный ресурс] -
URL: https://www.coursera.org/learn/stats-for-data-analysis(дата обращения
01.05.2020).
6. Прикладные задачи анализа данных | Coursera. [Электронный ресурс] - URL: https://www.coursera.org/learn/data-analysis-applications(дата обращения 01.05.2020).
7. M. Hilbert, P. Lopez, “The Worlds Technological Capacity to Store, Communicate, and Compute Information,” Science, vol. 332, no. 6025, pp. 60-65, Oct. 2011.
8. Нейронные сети для начинающих. Часть 1 / Хабр. [Электронный ресурс] - URL: https://habr.com/ru/post/312450/(дата обращения 01.05.2020).
9. Искусственный интеллект в поиске. Как Яндекс научился применять нейронные сети, чтобы искать по смыслу, а не по словам / Блог компании Яндекс / Хабр. [Электронный ресурс] - URL: https://habr.com/ru/company/yandex/blog/314222/(дата обращения 01.05.2020).
10. Нейронные сети. [Электронный ресурс] - URL:
https://www.asozykin.ru/courses/nnpython(дата обращения 04.05.2020)
11. Word2vec в картинках / Хабр. [Электронный ресурс] - URL: https://habr.com/ru/post/446530/(дата обращения 01.05.2020).
12. Word2Vec: как работать с векторными представлениями слов.
[Электронный ресурс] - URL: https://neurohive.io/ru/osnovy-data-
science/word2vec-vektornye-predstavlenija-slov-dlja-mashmnogo-obuchenija/ (дата обращения 01.05.2020).
13. Comparing Books with Word2Vec and Doc2Vec | Kaggle. [Электронный ресурс] - URL: https://www.kaggle.com/currie32/comparing-books- with-word2vec-and-doc2vec(дата обращения 01.05.2020).
14. Deep learning for search: Using word2vec - JAXenter. [Электронный ресурс] - URL: https://jaxenter.com/deep-learning-search-word2vec-147782.html(дата обращения 01.05.2020).
15. J. Lilleberg, Y. Zhu, and Y. Zhang, “Support vector machines and Word2vec for text classification with semantic features,” 2015 IEEE 14th International Conference on Cognitive Informatics & Cognitive Computing (ICCI*CC), 2015.
16. Google Trends. [Электронный ресурс] - URL:
https://trends.google.ru/trends/(дата обращения 04.05.2020)
17. T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J. Dean, “ Distributed representations of words and phrases and their compositionality,” NIPS'13 Proceedings of the 26th International Conference on Neural Information Processing Systems, vol. 2, pp. 3111-3119, 2013.
18. Q. Le and T. Mikolov, “Distributed representations of sentences and documents,” ICML'14 Proceedings of the 31st, vol. 32, pp. 1188-1196, 2014.
19. M. Campr and K. Jezek, “Comparing Semantic Models for Evaluating Automatic Document Summarization,” Text, Speech, and Dialogue Lecture Notes in Computer Science, pp. 252-260, 2015.
20. E. F. Altszyler, M. F. Sigman, S. F. Ribeiro, and D. F. Slezak, “Comparative study of LSA vs Word2vec embeddings in small corpora: a case study in dreams database,” Conscious Cogn, pp. 178-187, 2017
21. Алгоритм LSA для поиска похожих документов — Netpeak Blog. [Электронный ресурс] - URL: https://netpeak.net/ru/blog/algoritm-lsa-dlya-poiska- pohozhih-dokumentov/(дата обращения 01.05.2020).
22. Латентно-семантический анализ и поиск на python / Хабр.
[Электронный ресурс] - URL: https://m.habr.com/ru/post/197238/(дата
обращения 01.05.2020).
23. Латентно-семантический анализ / Хабр. [Электронный ресурс] - URL: https://habr.com/ru/post/110078/(дата обращения 01.05.2020).
24. Пертинентность и релевантность поисковых запросов. В чём
главное отличие?. [Электронный ресурс] - URL:
https://pgdv.ru/blog/pertinentnost-i-relevantnost-poiskovyh-zaprosov (дата
обращения 04.05.2020)
25. Что значит Пертинентность. Словарь SEO терминов - Академия SEO (СЕО). [Электронный ресурс] - URL: https://seo-akademiya.com/seo- wiki/pertinentnost/(дата обращения 04.05.2020)
26. Стоп-символы русского языка | О программировании, алгоритмах и не только. [Электронный ресурс] - URL: http://www.algorithmist.ru/2010/12/stop- symbols-in-russian.html(дата обращения 01.05.2020).
27. Векторные модели и русская литература / Хабр. [Электронный ресурс] - URL: https://habr.com/ru/post/326380/(дата обращения 01.05.2020).
28. История об LDA2vec: взболтать, но не смешивать - NLPx. [Электронный ресурс] - URL: http://nlpx.net/archives/313(дата обращения 01.05.2020).
29. Практическое занятие по обработке текста в gensim с помощью
алгоритма word2vec. [Электронный ресурс] - URL:
https://events.yandex.ru/lib/talks/4137/(дата обращения 01.05.2020).
30. doc2vec/text_classifier.py at master • ibrahimsharaf/doc2vec • GitHub.
[Электронный ресурс] - URL:
https://github.com/ibrahimsharaf/doc2vec/blob/master/text_classifier.py (дата
обращения 01.05.2020).
31. Document similarity - Using gensim Doc2Vec - Machine Learning
practices. [Электронный ресурс] - URL:
https://praveenbezawada.com/2018/01/25/document-similarity-using-gensim- dec2vec/(дата обращения 01.05.2020).
32. Gensim - Руководство для начинающих - Еще один блог веб разработчика. [Электронный ресурс] - URL: https://webdevblog.ru/gensim- rukovodstvo-dlya-nachinajushhih/(дата обращения 01.05.2020).
33. gensim/doc2vec-IMDB.ipynb at
ca0dcaa1eca8b1764f6456adac5719309e0d8e6d • RaRe-Technologies/gensim •
GitHub. [Электронный ресурс] - URL: https://github.com/RaRe-
Technologies/gensim/blob/ca0dcaa1eca8b1764f6456adac5719309e0d8e6d/docs/note books/doc2vec-IMDB.ipynb (дата обращения 01.05.2020).
34. gensim/doc2vec-lee.ipynb at develop • RaRe-Technologies/gensim •
GitHub. [Электронный ресурс] - URL: https://github.com/RaRe-
Technologies/gensim/blob/develop/docs/notebooks/doc2vec-lee.ipynb (дата
обращения 01.05.2020).
35. GitHub - ibrahimsharaf/doc2vec: Text classification using Doc2Vec
embeddings [Электронный ресурс] - URL:
https://github.com/ibrahimsharaf/doc2vec(дата обращения 01.05.2020).
36. GloVe: Global Vectors for Word Representation. [Электронный
ресурс] - URL: https://nlp.stanford.edu/projects/glove/(дата обращения
01.05.2020).
37. machine learning - What are some standard ways of computing the
distance between documents? - Data Science Stack Exchange. [Электронный ресурс] - URL: https://datascience.stackexchange.com/questions/678/what-are- some-standard-ways-of-computing-the-distance-between-documents (дата
обращения 01.05.2020).
38. Multi-Class Text Classification with Doc2Vec & Logistic Regression. [Электронный ресурс] - URL: https://www.kdnuggets.com/2018/11/multi-class- text-classification-doc2vec-logistic-regression.html(дата обращения 01.05.2020).
39. python - Doc2vec and word2vec with negative sampling - Stack
Overflow. [Электронный ресурс] - URL:
https://stackoverflow.com/questions/46860197/doc2vec-and-word2vec-with- negative-sampling(дата обращения 01.05.2020).
40. python - gensim - Doc2Vec: Difference iter vs. epochs - Stack Overflow.
[Электронный ресурс] - URL:
https://stackoverflow.com/questions/50390582/gensim-doc2vec-difference-iter-vs- epochs(дата обращения 01.05.2020).
41. python - Getting tags for a vector in the model Doc2Vec - Stack
Overflow. [Электронный ресурс] - URL:
https://stackoverflow.com/questions/54413271/getting-tags-for-a-vector-in-the- model-doc2vec(дата обращения 01.05.2020).
42. python - What are doc2vec training iterations? - Stack Overflow. [Электронный ресурс] - URL: https://stackoverflow.com/questions/46807010/what- are-doc2vec-training-iterations(дата обращения 01.05.2020).
43. Is word vectors and document vectors in Doc2Vec comparable ?.
[Электронный ресурс] - URL:
https: //www.researchgate.net/po st/Is_word_vectors_and_document_vectors_in_Doc2 Vec_comparable (дата обращения 01.05.2020).
44. RusVectores: модели. [Электронный ресурс] - URL:
http://rusvectores.org/ru/models/(дата обращения 01.05.2020).
45. Classification: Accuracy | Machine Learning Crash Course.
[Электронный ресурс] - URL: https://developers.google.com/machine-
learning/crash-course/classification/accuracy (дата обращения 01.05.2020).
46. AUC ROC (площадь под кривой ошибок) | Анализ малых данных.
[Электронный ресурс] - URL: https://dyakonov.org/2017/07/28/auc-roc-
%D0%BF%D0%BB%D0%BE%D 1 %89%D0%B0%D0%B4%D 1 %8C- %D0%BF%D0%BE%D0%B4-
%D0%BA%D 1 %80%D0%B8%D0%B2%D0%BE%D0%B9-
%D0%BE%D 1 %88%D0%B8%D0%B 1 %D0%BE%D0%BA/ (дата обращения 01.05.2020).
47. Универсальный подход (почти) к любой задаче машинного обучения | DataReview.info. [Электронный ресурс] - URL: http://datareview.info/article/universalnyj-podxod-pochti-k-lyuboj-zadache- mashinnogo-obucheniya/(дата обращения 01.05.2020).
48. Открытый курс машинного обучения. Тема 2: Визуализация данных c Python / Блог компании Open Data Science / Хабр. [Электронный ресурс] - URL: https://habr.com/ru/company/ods/blog/323210/(дата обращения 01.05.2020).
49. Анализ данных с использованием Python / Habr. [Электронный ресурс] - URL: https://m.habr.com/post/353050/(дата обращения 01.05.2020).
50. Постановка задачи на разработку ПО — Stepik. [Электронный ресурс] - URL: https://stepik.org/course/1128/(дата обращения 01.05.2020).
51. Главред 0. [Электронный ресурс] - URL: https://glvrd.ru/(дата обращения 01.05.2020).
52. Практика формирования требований в ИТ проектах от А до Я. Часть 1. Вводная / Хабр. [Электронный ресурс] - URL: https://habr.com/post/336694/(дата обращения 01.05.2020).
53. Управление требованиями к IT-проектам / Хабр. [Электронный ресурс] - URL: https://habr.com/post/114571/ (дата обращения 01.05.2020)
54. История возникновения и развитие электронной отчетности в
Российской Федерации. Практическая газета для предпринимателя. [Электронный ресурс] - URL: https://pro-nalogi.ru/istoriya-vozniknoveniya-i- razvitie-yelektronnoj-otchetnosti-v-rossijskoj-federacii/ (дата обращения
04.05.2020)
55. История — СКБ Контур. [Электронный ресурс] - URL:
https://kontur.ru/about/history(дата обращения 04.05.2020)
56. Обработка строк в Python. [Электронный ресурс] - URL:
https://python-scripts.com/string(дата обращения 04.05.2020)
57. NLP - это весело! Обработка естественного языка на Python. [Электронный ресурс] - URL: https://proglib.io/p/fun-nlp(дата обращения 04.05.2020)
58. String Tokenization. [Электронный ресурс] - URL: http://blog.thehumangeo.com/2015/01/07/string-tokenization/(дата обращения 04.05.2020)
59. Natural Language Toolkit — NLTK 3.5 documentation. [Электронный ресурс] - URL: https://www.nltk.org/(дата обращения 04.05.2020)
60. Основы Natural Language Processing для текста / Блог компании
Voximplant / Хабр. [Электронный ресурс] - URL:
https://habr.com/ru/company/Voximplant/blog/446738/ (дата обращения
04.05.2020)
61. NumPy, часть 2: базовые операции над массивами | Python 3 для
начинающих и чайников. [Электронный ресурс] - URL:
https://pythonworld.ru/numpy/2.html(дата обращения 01.05.2020).
62. Comparison with SQL — pandas 1.0.3 documentation. [Электронный
ресурс] - URL: https://pandas.pydata.org/pandas-
docs/stable/getting_started/comparison/comparison_with_sql.html (дата обращения 01.05.2020).
63. Индексация, срезы, итерирование | NumPy. [Электронный ресурс] - URL: https://pyprog.pro/index_section_iteration.html(дата обращения 01.05.2020).
64. Чем отличаются list, tuple и set? Зачем они нужны?. [Электронный
ресурс] - URL: https://devman.org/qna/11/chem-otlichajutsja-list-tuple-i-set-
zachem-oni-nuzhny/ (дата обращения 01.05.2020).
65. Что такое list comprehension? Зачем оно? Какие ещё бывают?.
[Электронный ресурс] - URL: https://devman.org/qna/5/chto-takoe-list-
comprehension-zachem-ono-kakie-esche-byvajut/ (дата обращения 01.05.2020).
66. Python Lambda. [Электронный ресурс] - URL:
https://www.w3schools.com/python/python_lambda.asp (дата обращения
01.05.2020).
67. The key differences between Python 2.7.x and Python 3.x with
examples. [Электронный ресурс] - URL:
https://sebastianraschka.com/Articles/2014_python_2_3_key_diff.html (дата
обращения 01.05.2020).
68. Нативное редактирование Jupyter Notebooks в VS Code / Блог компании Microsoft / Хабр. [Электронный ресурс] - URL: https://habr.com/ru/company/microsoft/blog/471176/(дата обращения 01.05.2020).
69. Изучаем pandas. Урок 2. Структуры данных Series и DataFrame. [Электронный ресурс] - URL: https://devpractice.ru/pandas-series-and-dataframe- part2/(дата обращения 01.05.2020).
70. GitHub - nlpub/pymystem3: A Python wrapper of the Yandex Mystem
3.1 morphological analyzer (http://api.yandex.ru/mystem). [Электронный ресурс] - URL: https://github.com/nlpub/pymystem3(дата обращения 04.05.2020)
71. sklearn.model_selection.GridSearchCV — scikit-learn 0.22.2
documentation. [Электронный ресурс] - URL: https://scikit-
learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html (дата обращения 04.05.2020)
72. Pyplot tutorial — Matplotlib 3.2.1 documentation. [Электронный ресурс] - URL: https://matplotlib.org/tutorials/introductory/pyplot.html(дата обращения 04.05.2020)
73. Инструкция по работе с Google Colab • deepmipt/dlschl Wiki •
GitHub. [Электронный ресурс] - URL:
https://github.com/deepmipt/dlschl/wiki/%D0%98%D0%BD%D 1 %81 %D 1 %82%D 1 %80%D 1 %83%D0%BA%D 1 %86%D0%B8%D 1 %8F-%D0%BF%D0%BE-
%D 1 %80%D0%B0%D0%B 1 %D0%BE%D 1 %82%D0%B5-%D 1 %81 -Google-Colab (дата обращения 04.05.2020)
74. Краткое руководство по Маркдауну. [Электронный ресурс] - URL: https://paulradzkov.com/2014/markdown_cheatsheet/(дата обращения 04.05.2020)
75. 10 приемов, разрушающих хрупкую красоту кода / Хабр. [Электронный ресурс] - URL: https://habrahabr.ru/post/59570/(дата обращения 04.05.2020)
76. Знай сложности алгоритмов / Хабр. [Электронный ресурс] - URL: https://habr.com/ru/post/188010/(дата обращения 04.05.2020)
77. массивы - Массив или куча переменных - Stack Overflow на
русском. [Электронный ресурс] - URL:
https://ru.stackoverflow.com/questions/251532/%d0%9c%d0%b0%d1 %81 %d1%81 %d0%b8%d0%b2-%d0%b8%d0%bb%d0%b8-%d0%ba%d1%83%d1%87%d0%b0- %d0%bf%d0%b5%d1%80%d0%b5%d0%bc%d0%b5%d0%bd%d0%bd%d1%8b%d 1%85 (дата обращения 04.05.2020)
78. Основные виды сортировок и примеры их реализации — Академия
Яндекса. [Электронный ресурс] - URL:
https://academy.yandex.ru/posts/osnovnye-vidy-sortirovok-i-primery-ikh- realizatsii?utm_source=vk&utm_medium=smm&utm_campaign=sortirovki(дата обращения 04.05.2020)
79. Модели MSF. [Электронный ресурс] - URL:
http://www.aha.ru/-maiden/mcse/msf models.htm#Team%20model (дата
обращения 04.05.2020)
80. Microsoft Solution Framework Team Model. [Электронный ресурс] -
URL: http://www.tadviser.ru/index.php/%D0%9F%D1%80%D0%BE%D0%B4%D1%83%D0%BA%D 1 %82%D 1 %8B:Microsolt Solution Framework Team_Model (дата
обращения 04.05.2020)
81. Роль тимлида: что остается менеджерам? / Блог компании Бизнес-
школа РИК / Хабр. [Электронный ресурс] - URL:
https://habr.com/ru/company/rik/blog/195990/(дата обращения 04.05.2020)
82. SCRUM: поэма о любви и боли / Хабр. [Электронный ресурс] - URL: https://m.habr.com/ru/post/494966/(дата обращения 04.05.2020)
83. Как убить технаря в тимлиде / Блог компании Конференции Олега
Бунина (Онтико) / Хабр. [Электронный ресурс] - URL: https://habrahabr.ru/company/oleg-bunin/blog/346808/ (дата обращения
04.05.2020)
84. Где Agile ужасен, особенно Scrum / Хабр. [Электронный ресурс] - URL: https://habr.com/ru/post/430890/(дата обращения 04.05.2020)
85. Почему вам обязательно нужно узнать, что такое Scrum - Лайфхакер. [Электронный ресурс] - URL: https://lifehacker.ru/chto-takoe-scrum/(дата обращения 04.05.2020)
86. Agile и Scrum в работе над проектами и продуктами | Coursera.
[Электронный ресурс] - URL: https://www.coursera.org/learn/upravleniya-
proektami-agile-scrum/ (дата обращения 04.05.2020).
87. Краткое описание BPMN с примером / Блог компании Trinion /
Хабр. [Электронный ресурс] - URL:
https://habr.com/ru/company/trinion/blog/331254/(дата обращения 04.05.2020).
88. Impact Mapping на практике / Хабр. [Электронный ресурс] - URL: https://m.habr.com/ru/post/246401/(дата обращения 04.05.2020)Орлова П. И. Бизнес-планирование [Текст]: Учебник / П.И. Орлова - М.: Дашков и К, 2012 - 284 с.24.
89. Савицкая Г. В. Экономический анализ [Текст]: Учеб. Пособие. - М.: ИНФРА-М, 2011. - 432 с. - (Высшее образование).
90. Группа ИНЭК. [Сайт] - URL:http : //inec.ru/company/ (дата
обращения 12.05.2017).
91. Группа компаний РОФЭР. [Сайт] - URL: http://www.ib-
finance.com/kompaniy.htm (дата обращения 22.05.2017).
92. ГОСТ Р 52653-2006 «Информационно-коммуникационные технологии в образовании. Термины и определения».
93. Документированная процедура «Разработка, экспертиза и использование в учебном процессе электронных образовательных ресурсов» СМК-ДП-7.5-03-09-2013. Версия 2 от 13.06.2013. Екатеринбург: УрФУ, 2013.
образовательного учреждения высшего профессионального образования «Уральский федеральный университет имени первого Президента России Б.Н.Ельцина».
95. Федеральный закон «Об образовании в Российской Федерации» от 29 декабря 2012 года №273 (принят 29.12.2012, действующая редакция).
96. Алиев В. С., Чистов Д. В. Бизнес планирование с использованием программы Project Expert (полный курс) [Текст]: Учеб. Пособие. - М.: ИНФРА- М, 2011. - 432 с. - (Высшее образование).
97. Бронникова Т. С. Разработка бизнес-плана проекта [Текст]: Учебное пособие / Т.С. Бронникова. - М.: Альфа-М: ИНФРА-М, 2012. - 224 с.: 60x90 1/16. - (Технологический сервис).
98. Тебайкина Н. И. Применение концепции ITSM при вводе в действие информационных систем : учебное пособие / Н. И. Тебайкина ; [науч. ред. М. А. Медведева]. - Екатеринбург : Изд-во Урал. ун-та, 2014. - 72 с. - ISBN 978-5¬7996-1249-8. ( http://hdl.handle.net/10995/28707).
99. Инюшкина О. Г. Проектирование информационных систем (на
примере методов структурного системного анализа): учебное пособие / О.Г. Инюшкина ; [науч. ред. Т. А. Матвеева]. — Екатеринбург: «Форт-Диалог Исеть», 2014. — 240 с. — ISBN 978-5-91128-072-7.
(http://hdl.handle.net/10995/28812)
100. Берг Д. Б. Модели жизненного цикла : учебное пособие / Д. Б. Берг, Е. А. Ульянова, П. В. Добряк ; [науч. ред. О. И. Никонов]. — Екатеринбург : Изд-во Урал. ун-та, 2014. — 74, [2] с. — ISBN 978-5-7996-1311-2. (http://hdl.handle.net/10995/28886)
101. Обработка текстов на естественных языках / Блог компании Mail.ru
Group / Хабр. [Электронный ресурс] - URL:
https://habr.com/ru/company/mailru/blog/358736/(дата обращения 01.05.2020).
102. Современные методы анализа тональности текста | DataReview.info. [Электронный ресурс] - URL: http://datareview.mfo/article/sovremennyie-metodyi- analiza-tonalnosti-teksta/(дата обращения 01.05.2020).
103. Чудесный мир Word Embeddings: какие они бывают и зачем нужны? / Блог компании Open Data Science / Хабр. [Электронный ресурс] - URL: https://habr.com/ru/company/ods/blog/329410/(дата обращения 01.05.2020).