ПРОГРАММА ДЛЯ ОБРАБОТКИ, ХРАНЕНИЯ И ВИЗУАЛИЗАЦИИ ИНФОРМАЦИИ

Реферат
ПЕРЕЧЕНЬ СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ 7
ВВЕДЕНИЕ 8
1 Анализ предметной области 13
1.1 Машинное обучение и нейронные сети 13
1.2 Использование искусственного интеллекта в прогнозировании продаж в
товарном бизнесе 18
1.3 Анализ существующих аналогов разрабатываемого приложения 20
1.3.1Tableau 21
1.3.2Power BI 22
1.3.3 SAP Analytics Cloud 23
1.3.4Google Data Studio 25
1.3.5Yandex Datalens 26
1.3.6Excel 27
1.3.7 Выводы 28
1.4 Анализ методов парсинга веб-сайтов 29
1.5 Анализ функций активации 34
1.5.1 Сигмоидная функция активации 34
1.5.1 Функция активации ReLu 36
1.5.2Leaky ReLU 38
1.6 Выводы 39
2 Обоснование целесообразности использования заданных средств
разработки 40
2.1 Анализ ОС для функционирования приложения 40
2.2 Анализ платформ для разработки приложения 41
2.2.1QT Creator 43
2.2.2Eclipse 44
2.2.3Microsoft Visual Studio 45
2.2.4IntelliJ IDEA 46
2.2.5NetBeans 47
2.3 Выводы 48
3 Техническое задание 49
3.1 Назначение разработки 49
3.2 Требования к программе 49
3.3 Стадии и этапы разработки 51
3.4 Выводы 51
4 Описание программы 52
4.1 Общие сведения 52
4.2 Функциональное назначение 52
4.3 Вызов и загрузка 52
4.4 Входные данные 52
4.5 Выходные данные 52
4.6 Проектирование взаимодействия между клиентом и приложением . . . .53
4.7 Разработка приложения 53
4.8 Архитектура программы 62
4.9 Структура хранения данных 63
4.10 Описание пользовательской программы 64
4.11 Описание тестовых данных 64
4.12 Отладка и тестирование 65
4.13 Руководство пользователя по использованию программы 66
4.14 Выводы 71
ЗАКЛЮЧЕНИЕ 72
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 73
ПРИЛОЖЕНИЕ А Листинг программы 76
ПРИЛОЖЕНИЕ B Презентация 97
Купить

Визуализация и структурирование данных играют критическую роль в обработке информации. Представление данных в графическом виде значительно облегчает их восприятие, помогая выявить важные закономерности и тенденции.
Работа с графикой требует глубокого понимания математики и геометрии, что выделяет эту область от разработки обычных прикладных программ. Библиотеки и компоненты, специализированные на визуализации данных, становятся популярными из-за их способности упростить процесс создания сложных графиков.
Помимо упорядочивания данных, визуализация также помогает в обнаружении пропущенных значений и выявлении скрытых паттернов в данных. Этот подход становится важным средством для анализа информации и принятия обоснованных решений [1].
Таким образом, анализ данных через визуализацию и работу с графикой играет ключевую роль как в научной сфере, так и в бизнесе, способствуя более эффективному и качественному использованию информации для прогнозирования и принятия стратегических решений.
Сейчас на рынке есть множество программных продуктов, предназначенных для обработки данных, а также для хранения и визуализации информации [2].
Рассмотрим стандартные возможности упомянутых выше программ:
• наличие непосредственной связи с базами данных или возможности выполнения разовых процедур импорта данных из формата хранения популярных баз данных и табличных редакторов,
• наличие возможности редактирования и/или просмотра в табличном режиме данных, поступающих из подключенной базы данных, введенных в ручном режиме или импортированных извне ,
• возможность выбора типа диаграммы или графика, используемого для отображения данных, настройки цветов линий и плоскостей на графике, ориентации пределов измерений шкал, подписей и т. д.,
• возможность манипуляции шкалами: нормирование
отображаемых величин, установление масштаба отображения, изменение закона распределения делений на шкалах,
• возможность вывода на печать и экспорта в другие программы и сохранения представления в иных форматах.
Такие возможности характерны для различных программ, например, табличные редакторы (Microsoft Excel, Lotus Notes), среды математического моделирования(МаШЬаЬ, MathCAD) и многие другие инструменты для обработки и анализа данных.
Разработчики программ часто прибегают к сохранению результатов обработки в форматах, совместимых с распространенными программами для просмотра данных. Это делается для того, чтобы пользователь мог удобно просматривать и использовать данные с помощью встроенных средств отображения популярных программных продуктов, что эффективно помогает решить проблему отображения данных [3].
Применение средств визуального моделирования и проектирования на начальной стадии формализации упрощает понимание проекта в целом, так как оно:
• стимулирует мыслительные усилия эксперта за счет придания абстрактному процессу наглядной формы ,
• способствует формированию и развитию системного мышления ,
• способствует проявлению скрытых логических конфликтов, а также логической неполноты модели,
• позволяет создать основу для развития модели, дальнейшей формализации отношений, перехода от качественных показателей к количественным.
Множество компаний анализируют данные для увеличения эффективности работы.
Анализ данных - это ключевой процесс изучения информации и выявления закономерностей. Он занимает центральное место в области анализа данных и включает в себя два основных аспекта: описательный анализ (анализ данных и описание того, что происходит) и прогностический анализ (предсказание того, что произойдет в будущем, на основе текущих и прошлых действий) [4].
Описательный анализ является наиболее общим подходом к анализу данных и пытается ответить на вопрос «Что произошло в прошлом?». Для проведения описательного анализа используются исторические данные, которые могут охватывать как недавние временные интервалы, так и более длительные периоды.
Здесь применяются различные методы описательной статистики, такие как агрегации (например, сумма, количество, минимум и максимум), меры центральной тенденции (среднее, медиана, мода), и меры разброса значений (например, размах, стандартное отклонение).
Прогностический анализ, напротив, пытается ответить на вопрос «Что может произойти в будущем?». Для составления прогнозов используются исторические данные.
В прогностическом анализе используются такие инструменты, как отслеживание трендов, линии регрессии, тестирование гипотез и прогнозирование. Прогнозы строятся на основе статистических моделей, однако всегда остаются события, которые невозможно предсказать, как, например, пандемия COVID-19. Поэтому, с увеличением времени от текущего момента, точность прогнозов снижается.
Методы сбора данных - это техники и процедуры, используемые для сбора информации в исследовательских целях. Они могут варьироваться от простых опросов до сложных экспериментов и могут применять как количественный, так и качественный подходы.
Некоторые распространенные методы сбора данных включают опросы, интервью, наблюдения, фокус-группы, эксперименты и анализ вторичных данных [5].
Один из методов сбора данных - парсинг веб-страниц, который предполагает использование автоматических ботов или скриптов для извлечения данных с веб-сайтов [6].
Искусственный интеллект (ИИ) — это способность компьютера имитировать человеческое мышление. Для его обучения необходимо использовать большие объемы данных. Электронные устройства (компьютеры, телефоны) могут проанализировать изображения, распознавать речь, имитировать общение человека, а так же делать прогнозы на основе исходных данных с помощью искусственного интеллекта.
При анализе данных, для внесения изменений необходим большой человеческий ресурс. ИИ помогает упросить этот процесс, так как может самостоятельно вносить изменения, в особенности, если реализовано машинное обучение.
Машинное обучение — это метод ИИ, использующий математические алгоритмы для создания прогнозных моделей. Алгоритм нужен для анализа полей данных и «обучения» на основе закономерностей, которые получилось обнаружить в данных, для создания моделей. Далее модели можно применять для принятия решений, а так же для создания прогнозов на основе новых данных.
Для обучения модель необходимо протестировать на подготовленных данных, далее по заданным критериям, соответствующим определенному бизнес-сценарию, оценивается результат и, при необходимости, вносятся изменения. Модель машинного обучения можно улучшить путем повторного обучения.
Алгоритм — это последовательность вычислений и правил, используемых для решения проблемы или анализа набора данных. Он подобен блок-схеме с пошаговыми инструкциями для задаваемых вопросов, но написанными на математическом языке или языке программирования.
С помощью алгоритма можно описать к какой категории относится животное, например, домашнее или дикое, ведущее ночной или дневной образ жизни. Можно составить более сложный алгоритм, который сможет анализировать речь, обрабатывать текст, а так же переводить его на другие языки.
Алгоритмы способны классифицировать информацию на основе заданных критериев, самостоятельно формировать эти критерии, исследовать закономерности и тенденции, а также генерировать отчеты на основе своих выводов быстрее, чем человек.
Исходя из бизнес-целей, искусственный интеллект способен оперативно выявлять закономерности в данных и извлекать ценную информацию из них. Эта информация может быть использована для разработки маркетинговых стратегий, оценки эффективности рекламных кампаний, оптимизации издержек и других задач [7].
Купить