АННОТАЦИЯ
ВВЕДЕНИЕ 6
1 Обзор существующих приложений 7
2 Стек технологий 9
3 Общие данные 12
4 Структура приложения 13
5 Работа приложения 16
5.1 Г лавная страница 17
5.1.1 Правила поиска 18
5.2 Регистрация и вход 20
5.3 Профиль 21
5.4 Новое задание 22
5.5 Менеджер заданий 24
5.6 Хранилище 25
5.7 Журнал результатов 26
5.8 Уведомления 27
ЗАКЛЮЧЕНИЕ 29
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 30
ПРИЛОЖЕНИЕ А Схема базы данных 31
ПРИЛОЖЕНИЕ Б Файл classes.php 32
ПРИЛОЖЕНИЕ В Файл function.js 36
ПРИЛОЖЕНИЕ Г Файл function.php 40
ПРИЛОЖЕНИЕ Д Файл taskrun.php 47
Интернет сегодня становится главным источником информации для миллионов людей.
Единицей сетевой информации является web-страница. В любой момент времени пользователь просматривает в браузере какую-либо одну страницу и, переходя от одной страницы к другой, получает очередную «порцию» информации [3].
Современные web-страницы редко надолго остаются неизменными. Бывает, что количество изменений слишком велико, и, так как внимание пользователя ограничено, у него могут возникать трудности с отслеживанием событий в сети Интернет, будь то появление новых книг в интернет-магазине или библиотеке, выход нового сериала или появление другой нужной информации.
Также пользователь может длительное время находиться вне сети Интернет без доступа к компьютеру или иному устройству, а так как контент появляется на web- страницах на ограниченный период времени, то пользователю необходим виртуальный «помощник», который сделает все загрузки и отследит все изменения своевременно.
Далеко не все сайты оснащены системой оповещений, поэтому возникает вопрос об автоматизации поиска необходимой информации и её сохранения. В данной работе будет рассмотрено создание интернет-сервиса для загрузок по расписанию и поиска файлов. Это web-приложение может использоваться в качестве удобного средства для составления собственных коллекций файлов и ссылок.
Таким образом, в результате работы было создано web-приложение, которое может автоматически проверять указанный пользователем ресурс. Приложение позволяет по расписанию обследовать web-сайт на заданную глубину поиска, находить и сохранять файлы с выбранного ресурса, причем на каждое выполненное задание сохраняется своя версия найденных файлов. Также в зависимости от запросов пользователя в коммерческой реализации могут быть добавлены разнообразные индивидуальные опции, например, загрузка файлов в облачное хранилище или отправка уведомлений в мессенджер.
Поскольку тестирование приложения было осуществлено на множестве различных интернет-ресурсов, выяснилось, что некоторые web-сайты имеют встроенные алгоритмы защиты, основанные на статистике запросов к ним. В некоторых случаях реакция сайтов на данное приложение позволяет предположить наличие эвристических алгоритмов, анализирующих действия пользователей и определяющих степень соответствия ожидаемого поведения среднестатистического пользователя и конкретного посетителя. В других ситуациях это была обычная проверка IP-адреса и браузера, а где-то защита отсутствовала вообще.
Это породило противоречие между стремлением быстро получить результат для пользователя и допустимой частотой запросов к выбранному пользователем ресурсу. В коммерческих версиях проекта рекомендуется добавить функционал, имитирующий поведение человека при посещении web-страницы, сёрфинге по web-сайту.
Также к предложениям по коммерциализации проекта можно добавить размещение проекта на хостинге с тарифом, позволяющем выполнять рассылку e-mail и SMS- сообщений пользователям, поскольку так пользователь будет своевременно оповещен о событиях.
В действительности сотрудничество с различными интернет-ресурсами, представляющими ценность для пользователя (онлайн-библиотеками, видео-блогами и т.д.) должно происходить на основе обоюдной выгоды, поэтому в некоторых случаях можно договориться о предоставлении доступа к ресурсам и форматах скачиваемых файлов.
