Тип работы:
Предмет:
Язык работы:


Анализ данных при помощи web-сервисов Amazon

Работа №38507

Тип работы

Дипломные работы, ВКР

Предмет

информатика

Объем работы63
Год сдачи2019
Стоимость6500 руб.
ПУБЛИКУЕТСЯ ВПЕРВЫЕ
Просмотрено
417
Не подходит работа?

Узнай цену на написание


Введение 3
ГЛАВА 1. АНАЛИЗ ДАННЫХ 6
1.1. Введение в анализ данных 6
1.2. Big data как новая ступень развития анализа данных 11
1.3. Применение Big data в реальной жизни 16
ГЛАВА 2. ИНСТРУМЕНТЫ ДЛЯ АНАЛИЗА ДАННЫХ 26
2.1. Язык программирования Python 26
2.2. Онлайн ресурсы для анализа данных 32
ГЛАВА 3 АНАЛИЗ ДАННЫХ В МЕДИЦИНЕ 36
3.1. Нейронные сети 36
3.2. Практический пример 40
Заключение 47
Список литературы 49
Приложения 


Более 50 лет назад американский ученый Джон Тьюки предложил реформировать академическую статистику. В своей статье «Будущее анализа данных» он указал на существование науки, которую еще не признали. Предметом интереса данной науки являлось исследование или анализ данных.
Другие ученые: Джон Чэмберс, Билл Кливленд и Лео Брейман независимо друг от друга повторно предложили академической статистики расширить свою область за пределы классической теоретической статистики. Чэмберс предложил уделять большое внимание подготовке и представлению данных, а не статистическому моделированию. Брейман считал нужным сделать большой упор на предсказание, а не на умозаключение. Кливленд предложил громкое название «Наука о данных» для предполагаемой научной области. В конце 80х - начале 90х другой известный ученый Григорий Пятецкий-Шапиро внес большой вклад в становление новой науки «Анализ данных», которая приобрела уже современный вид.
Сфера применения анализа данных не имеет ограничений - она повсюду, где есть какие-нибудь данные. В первую очередь методы анализа данных сильно заинтересовали коммерческие организации, которые развертывают проекты на основе информационных хранилищ данных. Опыт большого количества подобных предприятий показывает, что отдача от внедрения анализа данных может доходить до 1000%. Можно найти сведения о проекте в 20 миллионов долларов США, который смог окупиться за рекордные 4 месяца. Другим примером является годовая экономия около 700 тысяч долларов благодаря внедрению анализа данных в сеть универсамов в Великобритании.
Актуальность данной работы обусловлена тем, что анализ данных представляет огромную ценность не только для руководителей и аналитиков в их ежедневной деятельности, а еще и для простых работников. В частности, в данной работе будет рассмотрено применение анализа данных в медицинской сфере. Бурный рост технологий и методов анализа данных начинает плотно внедряться в медицину. Медицинская отрасль собирает огромное количество различных данных, поэтому для их обработки нужно на высоком уровне владеть компьютерными методами анализа данных, чтобы оптимизировать работу врачей и улучшить качество лечения пациентов.
Целью данной работы является создания программы на языке программирования Python по анализу данных. Главными задачами этой программы являются обнаружение и подсчет количества глазных желез на специально подготовленных фотографиях. На практике эта программа поможет упростить жизнь врачам-офтальмологам.
Чтобы достигнуть заданных целей были поставлены следующие задачи:
• Изучение специализированных библиотек языка программирования Python.
• Изучение онлайн-курсов по машинному обучению с использованием web-сервисов Amazon.
• Изучение книг и интернет ресурсов, посвященных анализу данных.
• Выбор задания по анализу данных и решение его при помощи полученных знаний.
Объектом исследования являются сырые данные, состоящие из фотографий человеческих глаз.
Предметом исследования является анализ полученных данных с целью получения информации о глазных железах.
Практическая ценность работы обусловлена важностью выбранной тематики для анализа данных. Данный анализ основывается на реальных задачах медицины и настоящих исходных данных.
Методологическую основу выпускной квалификационной работы составили следующие методы исследований:
• Изучение учебных материалов
• Изучение онлайн ресурсов, различных публикаций и статей
• Теоретический метод
• Практический метод
Выпускная квалификационная работа содержит в себе: введение, три главы, заключение, список использованной литературы и приложения.
Первая глава полностью посвящена теоретическим сведениям об анализе данных. Данная глава затрагивает понятие Big data и его методы. Также в этой главе представлены примеры использования анализа данных в реальной жизни.
Вторая глава рассказывает об инструментах для проведения анализа данных. В частности, в данной главе рассказывается теория о языке программирования Python, приводятся практические примеры. Также в этой главе идет речь об онлайн ресурсах для анализа данных.
Третья глава содержит теорию про нейронные сети. Также в ней рассказывается про практическое задание.
В заключение работы содержаться результаты и выводы.


Возникли сложности?

Нужна помощь преподавателя?

Помощь студентам в написании работ!


С каждым годом анализ данных все больше укрепляется в нашей жизни. Темпы развития технологий крайне быстрые, но анализ данных от них не отстает. Около 5 лет назад появилось новое направление анализа данных - Big data. Это направление может применяться в любых областях: медицина, бизнес, политика, производство и тд. Технологии Big data приходят на помощь, когда речь идет о колоссальных объемах различных сырых данных.
Концепция Big data предусматривает решение задач в 3х приоритетных направлениях:
1. Хранение и управление данными в сотни и тысячи терабайтов, которые обычные базы данных не могут эффективно использовать.
2. Организация неупорядоченных наборов данных, которые состоят из документов, изображений, аудио, видео и прочих видов файлов.
3. Обработка имеющихся данных с целью их структурирования, формирования аналитических отчетов, создание высокоточных прогнозов.
Также возросла потребность в квалифицированных специалистах по анализу данных (data scientist) и в ближайшее время будет только расти. Ведь мало иметь только мощную технику и новые передовые технологии, нужно иметь также специалистов, которые грамотно будут со всем этим работать.
В ходе выполнения данной работы было реализовано практическое задание по анализу данных. Тема выбранного анализа крайне важная потому что связана с медициной. Были подобраны данные, обучена нейронная сеть и написаны необходимые скрипты для выполнения анализа. Данное задание остается пока больше учебным, но при соответствующей доработке может быть полезно в офтальмологии.



1. Уэс Маккинни Python и анализ данных - М.: ДМК Пресс, 2015. - 482 с.:ил.
2. Дэвид Донохо 50 лет анализу данных: научная статья, 18 сентября 2015 г.
II. Интернет ресурсы:
1. https://wiki.loginom.ru/articles/data-mining.html - Добыча данных (Data Mining) (дата обращения 01.06.2019)
2. https://www.intuit.ru/studies/courses/6/6/lecture/166? - Задачи Data Mining. Классификация и кластеризация (дата обращения 01.06.2019)
3. https://moluch.ru/archive/166/45354/ - BigData: анализ больших данных сегодня (дата обращения 02.06.2019)
4. https://www.hse.ru/25professions/data_scientist - 25 профессий будущего (дата обращения 03.06.2019)
5. http://ru.datasides.com/big-data-use-cases/ - 8 сфер и 19 самых интересных применений технологий Big Data (дата обращения 03.06.2019)
6. https://web-creator.ru/articles/bigdata - Big Data — хранение, обработка и анализ огромных массивов информации (дата обращения 04.06.2019)
7. https://techcave.ru/posts/39-biblioteki-python-dlja-analiza-dannyh.html- Библиотеки Python для анализа данных (дата обращения 05.06.2019)
8. http://science.spb.ru/allnews/item/6459-globalnoe-poteplenie-mozhet-unichtozhit- zemlyu-k-2100-godu - Глобальное потепление может уничтожить Землю к 2100 году (дата обращения 06.06.2019)
9. https://blog.iteam.ru/data-mining-intellektualnyj-
analizdannyh/#1 Data_Mining - Data Mining - интеллектуальный анализ
данных (дата обращения 06.06.2019)
10. http://datareview.info/people/439/ - Основоположник концепции KDD Григорий Пятецкий-Шапиро (дата обращения 07.06.2019)
11. https://edu.kpfu.ru/pluginfile.php/238500/mod_resource/content/2/ ВВЕДЕНИЕ.%20ОСНОВНЫЕ%20ЗАДАЧИ%20АНАЛИЗА%20ДАННЫХ_201 8_сен_8.pdf - Введение. Основные задачи анализа данных (дата обращения
07.06.2019)
12. https://neurohive.io/ru/osnovy-data-science/osnovy-nejronnyh-setej-algoritmy- obuchenie-funkcii-aktivacii-i-poteri/ - Как работает нейронная сеть: алгоритмы, обучение, функции активации и потери (дата обращения 08.06.2019)
13. http://logmag.net/vsevozmozhnye-sfery-primeneniya-nejronnyx-setej/ - Всевозможные сферы применения нейронных сетей (дата обращения
08.06.2019)
14. http://www.neuropro.ru/neu7.shtml - Области практического применения искусственных нейронных сетей (дата обращения 08.06.2019)


Работу высылаем на протяжении 30 минут после оплаты.



Подобные работы


©2024 Cервис помощи студентам в выполнении работ