Введение 3
Глава 1. Обзор задачи 5
1.1. Постановка задачи и средства ее реализации 5
1.2. Web Scrapping 7
1.3. Обзор существующих парсеров 10
1.4. Selenium WebDriver 20
2. Описание средств и методов, используемых в программе и в ее создании 24
2.1. Описание базы данных и используемых средств для
хранения данных на сервере 24
2.2. Описание использующихся дополнительных модулей 26
2.3. Описание основных классов и функций программы 28
2.4. Описание интерфейса программы 33
Заключение 47
Список используемой литературы: 48
Приложение
Автоматизация деятельности является комплексной проблемой на предприятии. Решение данной задачи провоцирует конкуренция. Изменяются экономические условия и предприятия сталкиваются с необходимостью совершенствовать свои экономические условия.
Решение задачи повышения эффективности управления предприятием возможно только с применением современных вычислительных систем и программных комплексов.
Требуется разработать сборщик информации с сайтов средствами Python и MySQL. Необходимо уменьшить погрешность работы регулярных выражений для более качественного сбора информации. Обеспечить интуитивный и понятный пользовательский интерфейс. Обработать все исключения.
В настоящей работе реализован web scrapping с минимальными коэффициентами ошибки нахождения email, номера телефона и адреса требуемого предприятия или фирмы с обходом анти-спам фильтров сайтов. Так же рассылка и получение входящих email-сообщений через сервисы Gmail API в многопоточном режиме. Хранение полученных данных в облаке на веб-хостинге, базе данных и в виде файлов вложений через средства FTP. Синхронизация всех модулей программы с базой данных. Разработан многопоточный интерфейс на PyQT, позволяющий работать со всеми модулями одновременно.
Python является одним и самых популярных языков программирования согласно рейтингу TIOBE. Он является высокоуровневым языком общего назначения, ориентируемый на повышение производительности разработчика и читаемости кода. Главное преимущество синтаксического ядра - минимализм, при этом включает в себя объёмную библиотеку с полезными функциями. Самые популярные проекты, написанные на Python: YouTube, Google, Instagram, PayPal и другие.
В первой главе содержится информация, зачем программе требуется обход фильтров сайтов при работе парсера, с помощью каких программ была решена данная проблема и обзор существующих программных обеспечений. Указывается цель, предмет и объект исследования, выдвигаются требования к проектируемому приложению.
Вторая глава описывает, как было реализовано ПО.
В настоящей работе разработана СППР, с помощью которой успешно выполняется сбор данных с минимальной погрешностью в максимально понятной для пользователя форме, хранение данных и работа с ними в удобном для пользователя формате и обработка данных, большая часть которой автоматизирована и доведена до совершенства.
Данное приложение сможет сэкономить тысячи рутинных часов работы для человека, увеличить в десятки раз скорость собирания данных для анализа, скорость отправки коммерческий предложений и в конечном итоге в долгосрочной основе сохранить миллионы рублей на соответствующие затраты.
