ВВЕДЕНИЕ 5
ГЛАВА 1 АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ 7
1.1 Обзор видов поисковых систем и методов поиска 7
1.2 Анализ проблем поиска информации в Интернете 9
1.3 Описание структуры системы поиска информации 12
1.4 Исследование существующих методов фильтрации данных в веб-приложениях 14
1.4.1 Анализ методов расчёта рекомендаций 16
1.4.2 Методы коллаборативной фильтрации 17
1.5 Обзор существующих методов интернет-маркетинга 21
1.5.1 Оценка процесса принятия решений 22
1.5.2 Использование статистики поиска контента в Интернете 24
1.5.3 Использование данных из запросов поисковой системы для изучения
процессов сбора информации 25
1.6 Исследование существующих методов интеллектуального анализа
данных 27
1.6.1 Представление каталога 28
1.6.2 Генерация ключевых слов 28
1.6.3 Обмен ссылками 29
1.6.4 Методы сканирования 29
ГЛАВА 2 ПОСТАНОВКА ЗАДАЧИ СОЗДАНИЯ ПРОГРАММНОГО
ПРИЛОЖЕНИЯ 31
2.1 Применение методов интеллектуального поиска и фильтрации данных в веб-приложениях в современных поисковых системах 31
2.2 Удобство и простота 32
2.2.1 Структура «Контрольный список» 32
2.2.2 Структура «Контрольный перечень общего назначения» 33
2.2.3 Использование фреймворков 33
2.2.4 Выбор структуры юзабилити 34
2.3 Пользовательские интерфейсы 34
2.4 Удобство технического обслуживания 35
2.4.1 Системы управления контентом (CMS) 35
2.4.2 WYSIWYG Редакторы 36
2.5 Исследование доступных технологий 38
2.5.1 Веб-сервер 38
2.5.2 Технологии на стороне клиента и на стороне сервера 40
2.5.3 Технологии Баз данных 46
ГЛАВА 3. ЭТАПЫ РАЗРАБОТКИ ПРИЛОЖЕНИЯ ДЛЯ
ИНТЕЛЛЕКТУАЛЬНОГО ПОИСКА И ФИЛЬТРАЦИИ ДАННЫХ В ВЕБ¬
ПРИЛОЖЕНИЯХ 49
3.1 Выбор и сравнение методов 49
3.1.1 Жизненный цикл разработки системы поиска 50
3.1.2 Разработка модели поисковой системы 52
3.1.3 Методология Эволюционное развитие проекта 54
3.1.4 Прототипирование 54
3.1.5 Структурированные системы анализа и проектирования (Ssadm) 55
3.2 Выбранная методология 56
Глава 4 ДИЗАЙН 57
4.1 Выбор дизайна 57
4.2 Данные 57
4.2.1 ER-модель данных 57
4.2.2 Схема базы данных 58
4.2.3 Ограничения целостности 60
4.3 Презентация 60
4.3.1 Веб-интерфейс 60
4.3.2 Цвета 62
4.3.3 Графика 62
ГЛАВА 5 РЕАЛИЗАЦИЯ ПРИЛОЖЕНИЯ 63
5.1 Вводная часть 63
5.2 Установка и настройка 63
5.3 Необходимые условия 66
ГЛАВА 6 ТЕСТИРОВАНИЕ СОЗДАННОГО ПО 78
6.1 Проверка Юзабилити 78
6.2 Тестирование пользователем 79
ЗАКЛЮЧЕНИЕ 81
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 82
ПРИЛОЖЕНИЕ 87
Интернет - глобальное информационное пространство, основанное на самых передовых технологиях, обладающее широким спектром информационных и коммуникационных ресурсов, содержащее колоссальные объемы данных. Развитие Интернета стало причиной возникновения электронного бизнеса (электронной коммерции), социальных сетей, электронных баз данных и хранилищ информации, электронных библиотечных систем. Поиск, систематизация, быстрый обмен и хранение больших объёмов информации являются основными условиями конкурентной борьбы на рынке электронной коммерции.
Для поиска информации в сети Интернет используются поисковые системы, такие, как Google, Яндекс, Yahoo!, Рамблер и другие. Тем не менее, поиск и систематизация информации занимает очень много времени, и классические алгоритмы поиска перестали удовлетворять пользователя.
Поэтому разработка и исследование систем интеллектуального поиска и фильтрации данных в веб-приложениях является актуальной задачей, одно из решений которой представлено в данной магистерской диссертации.
Целью магистерской диссертации является разработка программного обеспечения для создания интеллектуальной поисковой системы с использованием методов принятия решений и их комбинаций.
В магистерской диссертации решены следующие задачи:
- обзор методов поиска информации;
- анализ методов реализации поисковых систем;
- разработка и тестирование ПО для создания поисковой системы.
Объектом исследования является поисковая система, предметом исследования - методы интеллектуального поиска и фильтрации данных в веб-приложениях на основе алгоритмов профилирования пользователей и механизмов коллаборативной фильтрации.
Поисковые системы предлагают пользователям обширное и впечатляющее количество информации, скорость и удобство, которые десятилетие назад мало кто мог себе представить. Этот проект продемонстрировал универсальную поисковую систему, формирующую ядро приложений, которые облегчают процесс поиска информации в среде. Он использует алгоритм поиска стратегии, которая позволяет в будущем возможность модификации и усовершенствования. Этот подход использует все доступные вычислительные ресурсы эффективно по сравнению с большинство задач, выполняемых конечными серверами.
Одной из рекомендаций является поиск возможности регулярно обновлять алгоритм (должен быть проверен и периодически пересматриваться). Будущее направление этого исследования может быть продлено с помощью гибридных подходов.
Аналогичным образом, поисковые системы естественно будут продолжать развиваться на основе алгоритмов ранжирования и повышать релевантность результатов поиска - процесс, который органически приведет к решению наиболее проблемных аспектов поиска.
1. Langville, N.A &Meyer, D.C.(2012).Google's pagerank and beyond: the science of search engine rankings. Princeton, NJ, USA: Princeton University Press [Электронный ресурс]/ Режим доступа:http://geza.kzoo.edu- /~erdi/patent/langvillebook.pdf (дата обращения 05.01.2017г.)
2. Thomason, Larisa, (2004), Web Site Usability Checklist [Электронный ресурс]/ Режим доступа:http://www.netmechanic.com/news/vol7/design_no4.htm(дата обращения 07.01.2017г.)
3. Brink, Tom, Gergle, Darren, Wood, Scott, (2002), Usability Evaluation, in:
Usability for the web: designing websites that work, pp. 405-441[Электронный ресурс]/ Режим доступа: http://www.informationr.net/ir/reviews/revs074-
.html#book2 (дата обращения 14.01.2017г.)
4. Levene, M. (2010). An introduction to search engines and web navigation. 2nd
edition, Harlow, England; New York: Addison-Wesley[Электронный ресурс]/ Режим доступа: http://proquest.tech.safaribooksonline.de/9780470526842-
?uicode=CERN (дата обращения 04.02.2017г.)
5. Михнюк Д.В., Егошина А.А. Анализ современных тенденций
использования коллаборативной фильтрации в веб-приложениях [Электронный ресурс]/ Режим доступа: http://seminar.at.ispras.ru/wp-
content/uploads/2012/07/Gomzin-thesis.pdf (дата обращения 15.03.2017г.)
6. Интернет-маркетинг [Электронный ресурс]/ https://ru.wikipedia.org- Википедия - свободная энциклопедия// URL: https://ru.wikipedia.org- /wiki/Интернет-маркетинг (дата обращения 20.04.2017г)
7. Holzschlag, Molly E, (1998). The Art if Interface, in: Web by Design: the
complete guide. pp. 77-83, San Francisco : Sybex [Электронный ресурс]/ Режим доступа: http://isbnbase.ru/Web-by-design--the-complete-guide--or--cMolly-E-
Holzschlag/6/bajjgcg (дата обращения 19.02.2017г)
8. Nakano, Russell, (2002). Web Content Management: a collaborative approach. Mishawaka, IN, U.S.A: Addison- Wesley [Электронный ресурс]/ Режим доступа:http://isbnbase.ru/Web-content-management--a-collaborative-approach--or--cRussell-Nakano/6/bbajhcc (дата обращения 25.02.2017г)
9. Buttcher, S., Cormack,G.V &Clarke, C.L (2010). Information retrieval: implementing and evaluating search engines. Cambridge, Massachusetts London, England; The MIT Рге88[Электронный ресурс]/ Режим доступа: https://mitpress.mit.edu/sites/default/files/titles/content/9780262026512_pre_0001. pdf(gama обращения 27.02.2017г)
10. Jones, Russel, A, (2000). Behind the Scenes - How Active Server Pages Work, in: Mastering Active Server Pages 3, pp. 4-32, Sybex[Электронный ресурс]/ Режим доступа:http://kek.ksu.ru/eos/ECOMMERCE/masteringasp/01-01 .html(дата обращения 05.03.2017г)
11. Belkin, N. J., &Crof, W. B. (1992).Information fltering and information retrieval: Two sides of the same coin? Communications of the ACM, 55(12),29- 38[Электронный ресурс]/ Режим доступа:http://maroo.cs.umass.edu/getpdf.-php?id=131 (дата обращения 05.03.2017г)
12. Brin, S. &Page, L. The Anatomy of a Large-Scale Hypertextual Web Search Engine. Computer Networks and ISDN Systems, 33:107-17, 1998[Электронный ресурс]/ Режим доступа:http://infolab.stanford.edu/~backrub/google.html (дата обращения 07.03.2017г)
13. Jepson, B, PostgreSQL vs. MySQL: building better databases, [Электронный ресурс]/ Режим доступа: www.webtechniques.com/archives/2001/09/jepson/(дата обращения 13.03.2017г)
14. Avison, David, Shah, Hanifa, (1997). Information System Development life
cycle, in: The Information Systems Development Life Cycle: A first course in Information Systems, pp.67-87, McGraw-НйЦЭлектронный ресурс]/ Режим
доступa:https://www.google.ru/url?sa=t&rct=j&q=&esrc=s&source=web&cd=5& cad=rj a&uact=8&ved=0ahUKEwjyypbniMrUAhVCYJoKHT rfCY QQFghGMAQ &url=http%3A%2F%2Fwww.springer.com%2Fcda%2Fcontent%2Fdocument%2F cda_downloaddocument%2F9781461492535-c2.pdf%3FSGWID%3D0-0-45-
1479416-p175478101 &usg=AFQjCNEmgbSgN8Vj SJYfdwJlER4_i8Y59A (дата
обращения 23.03.2017г)
15. Avison, David, Fitzgerald, Guy, (2002). Methodologies, in: information systems development, methodology, techniques and tools, 3rd ed, pp. 347-433, McGraw-Hill[Электронный ресурс]/ Режим доступа: http://www.banrepcultural.org/sites/default/files/juan-manuel-munos-
Metodologias_de_desarrollo_de_software_para_los_sistemas_de_informacion_de_apoyo_a_la_toma_de_decisiones_basados_en_datos.pdf (дата обращения 23.03.2017г)
16. Ricardo Baeza-Yates and Emilio Davis. Web page ranking using link attributes.In The Thirteenth International World Wide Web Conference, pages 328-29, New York, 2004. ACM Press. Poster [Электронный ресурс]/ Режим доступа: http://www2004.org/(дата обращения 27.03.2017г)
17. Michael W. Berry and Murray Browne. Understanding Search Engines:
Mathematical Modeling and Text Retrieval. SIAM, Philadelphia, 2nd edition, 2005 [Электронный ресурс]/ Режим доступа: http://www.gbv.de/dms/-
ilmenau/toc/269298568.PDF (дата обращения 28.03.2017г)
18. Arasu, A., Novak, J.,Tomkins, A. & Tomlin, J. PageRank computation and the structure of the Web: Experiments and algorithms. In The Eleventh International WWW Conference, New York, May 2002. ACM Press[Электронный ресурс]/ Режим доступа: http://dl.acm.org/citation.cfm?id=511446&picked=prox(дата обращения 27.03.2017г)
19. Gillies, J. &Cailliau,R. (2000). How the Web Was Born: The Story of the World Wide Web. Oxford University Press [Электронный ресурс]/ Режим доступа:http://fdslive.oup.com/www. oup. com/academic/pdf/-13/9780192862075.pdf prox (дата обращения 30.03.2017г)
20. Holzschlag, Molly E, (1998), Layout Technology, in: Web by Design: the complete guide! pp. 375-395, Sybex[Электронный ресурс]/ Режим доступа: http://isbnbase.ru/Web-by-design--the-complete-guide--or--cMolly-E-Holzschlag/6/bajjgcg (дата обращения 19.02.2017г)
21. Flanders, Vincent, Websites that suck [Электронный ресурс]/ Режим
доступа: http://www.webpagesthatsuck.com/mysterymeatnavigation.html(дата
обращения 22.04.2017г)
22. Web Wiz Guide, Web Wiz Rich text Editor, [Электронный ресурс]/ Режим
доступа: http://www.webwizguide.info/asp/default.asp (дата обращения
23.04.2017г)
23. The ASP Resource Index [Электронный ресурс]/ Режим доступа: www.aspin.com(дата обращения 23.04.2017г)
24. Xiaoyan Zhang, Michael W. Berry, and Padma Raghavan. Level search schemes for information filtering and retrieval. Information Processing and Management, 37:313-34, 2001 [Электронный ресурс]/ Режим доступа: http://www.cse.psu.edu/~pxr3/Papers/ipm.pdf (дата обращения 01.05.2017г)
25. Coad, P. (1999). Feature-Driven Development. Object International. Retrieved April 8, 2001, from the World Wide Web [Электронный ресурс]/
http: //www. togethersoft.com/j mcuZchapter6.PDF (дата
26. Nunes, N. &Cunha, J. (2000). Wisdom: A software engineering method for small software development companies. IEEE Software, September/October 2000, 113-119 [Электронный ресурс]/ Режим доступа:http://toalango.com/msc/in-the-small.pdf (дата обращения 02.05.2017г)
27. Pollmann, T., &Baayen, R. H. (2001). Computing historical consciousness. A quantitative inquiry into the presence of the past in newspaper texts. Computers and the Humanities, 35, 237-253 [Электронный ресурс]/ Режим доступа: https://elibrary.ru/item.asp?id=794916 (дата обращения 05.05.2017г)
28. Herbert A. Simon. A Behavioral Model of Rational Choice. The Quarterly Journal of Economics, Vol. 69, No. 1. (Feb., 1955), pp. 99-118 [Электронный ресурс]/ Режим доступа: http://www.math.mcgill.caZvettaZCS764.dir/bounded.pdf (дата обращения 06.05.2017г)
29. Stewart, N., Chater, N., &Brown, G.D.A. (2006). Decision by
sampling. Cognitive Psychology, 53, 1-26[Электронный ресурс]/ Режим доступа: http://www. dectech. cornk/publications/LinksNick/Reasoning-
AndDecisionMaking/DbSCogPsychJournal.pdf (дата обращения 06.05.2017г)
30. Stewart, Neil. (2009) Decision by sampling: the role of the decision environment in risky choice. Quarterly Journal of Experimental Psychology, Vol.62 (No.6). pp. 1041-1062. ISSN 1747-0218 [Электронный ресурс]/ Режим доступа: http://wrap.warwick.ac.uk/706/(дата обращения 06.05.2017г)
31. Newman M. E. (2005). Power laws, Pareto distributions and Zipfs
law. Contemporary Physics, 46, 323-351 [Электронный ресурс]/ Режим
доступа: http: //www2. math.uu. se/~david/web/SCDS/Newman0 5 ^Ддата обращения 07.05.2017г)
32. Kello C. T., Brown G. D. A., Ferrer- i- Cancho R., Holden J. G.,
Linkenkaer- Hansen K., Rhodes T. & Van Orden G. C. (2010). Scaling laws in cognitive sciences. Trends in Cognitive Sciences, 14, 223-232. [Электронный ресурс]/ Режим доступа: https://pdfs.semanticscholar.org/9234/6ec5276-
203eb768cfa6d0a9bdaa49d4f060a.pdf(дата обращения 07.05.2017г)
33. Saiz A. &Simonsohn U. (2013). Proxying for unobservable variables with Internet document frequency. Journal of the European Economic Association, 11, 137-165 [Электронный ресурс]/ Режим доступа: https://www.deepdyve.- com/lp/wiley/proxying-for-unobservable-variables-with-internet-document- frequency-9iUgOuWarG(дата обращения 07.05.2017г)
34. Preis, T. Moat, H.S. & Stanley, H.E. (2013). Quantifying Trading Behavior in Financial Markets Using Google Trends. Science Reports. 3, 1684;
DOI:10.1038/srep01684, 2013 [Электронный ресурс]/ Режим доступа:
https://www.nature.com/articles/srep01684 (дата обращения 011.05.2017г)
Ссылки
1. http://www. searchengineshowdown. com/features/google/review.html
2. http://en.wikipedia.org/wiki/Web crawler
3. http://www7.wwwconference.org/1921/com1921.htm
4. http://www.press.umich.edu/jep/07-01/bergman.com
5. http://en.wikipedia.org/wiki/Search engine
6. http://www.robotstxt.org
7. https://moz.com/beginners-guide-to-seo/how-search-engines-operat
8. https://www.codementor.io/magarrent/how-to-install-laravel-5-xampp-windows-
du107u9ji#install-xampp
9. https://confluence.jetbrains.com/display/PhpStorm/Composer+Support+in+PhpStorm
10. http: //bourabai .ru/einf/chapter 121.htm