Введение 4
1 Парсинг данных как инструмент повышения эффективности обработки
показателей работы автотранспорта 7
1.1 Понятие и технологии парсинга данных 7
1.2 Анализ источников по преобразованию данных 8
1.3 Сущность и виды процесса контроля показателей устройств 9
1.4 Анализ программ для контроля показателей автотранспорта 11
1.5 Тенденции развития информационных технологий для контроля
устройств 15
2 Анализ текущего состояния системы и проектирование модуля 17
2.1 Характеристика предметной области 17
2.1.1 Характеристика предприятия «Автоконтейнер» 17
2.1.2 Характеристики деятельности специалиста сервисного отдела 21
2.2 Анализ текущего состояния информационной системы 22
2.2.1 Описание текущего состояния информационной системы 22
2.2.2 SWOT-анализ 23
2.3 Рекомендация по совершенствованию информационной системы 25
2.4 Обоснование проектных решений 26
3 Описание разработанного модуля 29
3.1 Назначение и задачи модуля 29
3.2 Описание структуры данных 30
3.3 Описание созданных классов и подключаемых библиотек 33
3.4 Интерфейс модуля 37
3.5 Расчет экономической эффективности 40
Заключение 50
Список использованных источников 52
Приложение 55
Современные технологии развиваются очень быстро и захватывают большую часть сфер деятельности человека, в условиях развития информационных технологий предприятия стремятся к автоматизации или частичной автоматизации различных операций.
С развитием информационных технологий высокими темпами растут объемы информации по тем или иным направлениям развития науки и техники. До 85 % новых данных пользователи получают, изучая тексты и в ближайшем будущем наиболее востребованными будут системы с максимально автоматизированными ETL-процессами (extract, transfer, load) структурирования контента.
Другой важной чертой современных технологий является наличие функции оперативного анализа информации, полученной по запросу для выбора дальнейшего направления исследования документов, выполняемой с помощью методов интеллектуального анализа текста.
В качестве источников могут выступать различные информационные ресурсы (Интернет, лекции, электронные книги, диссертации, статьи, журналы и др.), представленные в текстовом виде. Актуальность задачи компьютерного анализа текстовой информации связана с двумя важными факторами:
1. Обработка большого объема неструктурированной информации по профессиональной деятельности специалиста.
2. Рутинные операции, которые специалист проделывает из-за дня в день и не по одному разу.
Особую актуальность приобретает разработка методов извлечения и формирования новых данных, необходимых для решения конкретных задач в той или иной профессиональной деятельности специалиста. Для решения задачи преобразования данных из неструктурированного текста были созданы программные обеспечения, в основе которых лежит технология парсинга. Данные программные обеспечения называются синтаксическими анализаторами. В ходе синтаксического анализа исходный текст преобразуется в структуру данных, обычно — в дерево, которое отражает синтаксическую структуру входной последовательности и хорошо подходит для дальнейшей обработки.
Как правило, результатом синтаксического анализа является синтаксическое строение предложения, представленное либо в виде дерева зависимостей, либо в виде дерева составляющих, либо в виде некоторого сочетания первого и второго способов представления.
С проблемой преобразования данных из неструктурированного текстового файла столкнулась компания «ООО Автоконтейнер». «ООО Автоконтейнер» — это небольшая транспортная компания, которая занимается транспортировкой грузов различной сложности по всей России.
Проблема преобразования данных возникла из-за ряда причин: компания увеличила парк автомобилей; компания обновила парк автомобилей; у компании нет отдела информационных технологий (ИТ).
Компания увеличила парк автомобилей из-за этого у компании увеличились расходы на обслуживание автомобилей (расход топливо, ремонт, сервисное обслуживание, затраты на заработную плату). В связи с тем, что увеличились затраты на содержание автомобилей, руководство компании приняло решение о сборе информации с автомобилей для оптимизации затрат на содержание автомобилей.
Компания обновила парк автомобилей, закупив новые современные автотранспортные средства для перевозок грузов. Большинство современных автомобилей оборудованы различными датчиками и бортовым компьютером. Датчики способны собирать информацию по различным параметрам работы автомобиля: модель машины, номер выпуска автомобиля, холостой ход и т.д.
Благодаря этому у компании появилась возможность выгрузки информации о состоянии каждого автомобиля в компании.
Руководство компании приняло решение о необходимости разработать программное обеспечение (ПО), позволяющего обработать информацию из текстового файла по заданным специалистом параметрами. Обработанная информация должна хранится в базе данных.
По данным из базы данных должна строится отчетность. Отчетность должна быть реализована с возможностью выведения печатной формы.
Объект выпускной квалификационной работы — процесс обработки и преобразование данных показателей работы автотранспорта.
Предмет выпускной квалификационной работы — преобразование данных показателей работы автотранспорта компании ООО «Автоконтейнер».
Цель работы — разработать модуль парсинга данных на основе показателей работы автотранспорта компании ООО «Автоконтейнер».
В соответствии с поставленной целью в работе определены следующие задачи:
1. Изучить технологии парсинга для повышения эффективности контроля автотранспорта.
2. Проанализировать деятельность и основные проблемы по учету данных автотранспорта компании ООО «Автоконтейнер».
3. Разработать проект модуля с моделью базы данных и структуры выходного файла.
4. Реализовать программный продукт в выбранных технологиях.
5. Провести тестирование модуля на основе показателей работы авто-транспорта компании ООО «Автоконтейнер».
Цель данной выпускной квалификационной работы заключалась в разработке модуля парсинга данных на основе показателей работы автотранспорта компании ООО «Автоконтейнер». Для достижения данной цели были определенны следующие задачи:
1. Изучить технологии парсинга для повышения эффективности контроля автотранспорта.
2. Проанализировать деятельность и основные проблемы по учету данных автотранспорта компании ООО «Автоконтейнер».
3. Разработать проект модуля с моделью базы данных и структуры выходного файла.
4. Реализовать программный продукт в выбранных технологиях.
5. Провести тестирование модуля на основе показателей работы автотранспорта компании ООО «Автоконтейнер».
В соответствии поставленными задачами были сделаны следующие выводы:
1. Изучена технология парсинга, в результате чего можно сказать, что данная технология отлично подходит для синтаксического анализа текстовых данных. Технология парсинга применятся для считывания большого количества неструктурированной информации для приведения к необходимому формату данных. Технология парсинга позволяет оптимизировать временные затраты на обработку данных.
2. Анализ бизнес-процессов компании ООО «Автоконтейнер» позволил выявить сильные и слабые стороны информационной системы компании. На основании анализа существующего процесса обработки данных были сформированы рекомендации по существующей информационной системе компании. Предъявлены требования к разрабатываемому программному продукту.
3. При разработке проекта модуля была определенна структура вход-ных и выходных данных модуля. Описана структура последовательностей данных для входного текстового файла. Описана структура выходной таблицы базы данных SQL. Описана структура файла соединения в зависимости от типа подключения.
4. Разработанный модуль «Парсер ПРА-2019» предназначен для преобразования информации текстового файла в MS Excel файл или таблицу базы данных. Программное обеспечение разработано для ООО «Автоконтейнер» для парсинга текстового файла, в котором указаны данные об автотранспорте компании.
5. Для тестирования модуля на основе показателей работы автотранспорта компании ООО «Автоконтейнер» была проведена опытная эксплуатация на данных компании.
Таким образом, задачи выпускной квалификационной работы решены. Цель достигнута в полном объеме.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
