Введение 2
Глава 1: Теоретические аспекты технологии больших данных 8
1.1 Технология больших данных: понятие, предыстория и характеристики 8
1.2 Принцип и этапы работы с технологией больших данных 11
1.3 Возможные риски использования и будущее технологии больших данных 14
Глава 2: Использование технологии больших данных в Китае 17
2.1 Китайская стратегия «больших данных» 17
2.2 Использование китайскими компаниями технологии больших данных 22
Глава 3: Использование технологии больших данных в России 25
3.1 Взаимодействие российских бигтех-компаний (Сбер, Яндекс и ВК) с технологией больших данных 25
3.2 Взаимодействие государства и большими данными, аккумулированными бигтех компаниями 31
3.3 Сравнение китайского и российского опыта в области больших данных 35
Заключение 40
Список литературы 43
На протяжение всей истории существования человечества информация была одним из самых главных ресурсов, способствующим развитию всех сфер общества. Благодаря появлению компьютеров сейчас огромные объемы информации оцифрованы и хранятся на специальных носителях в виде серверов компаний или специальных серверных облаках, которыми могут пользоваться даже обычные пользователя интернета. Огромные объемы информации генерируются в форме террабайтов данных чуть ли не каждую секунду и анализ этих данных помогает как частным компаниям, так и самим государственным структурам достать из этих террабайтов необходимые по их запросам данные. Все современные компании собирают данные о своих пользователях. В контексте больших современных компаний как, например, Google или Яндекс к этим данным имеет доступ и государство. В современном мире технология больших данных используется везде - для медицинских исследований, при разработке новых лекарств; в бизнесе для более качественного портрета клиентской базы, для выявления рисков; в финансовой сфере для определения мошеннических операций и их предупреждения; государство использует большие данные, в частности, для улучшения работы госслужб и получения нужной информации о населении; ведущие наднациональные мировые структуры и ТНК; военно-разведывательный комплекс и это лишь малая часть сфер, в которых сегодня используется эта технология. Понятие “больших данных” впервые было озвучено и опубликовано в 2008 году, но это не значит, что до этого момента технология не существовала и не развивалась. Об объемах данных начали говорить еще в прошлом веке, а в 2001 году определили основные характеристики этой технологии. Говоря об актуальности темы, в 2024 году мы как никогда ранее имеем дело с этой технологией, потому что цифровизация многих процессов в нашей жизни способствует тому, что каждое действие как в интернете, так и в некоторых случаях за его пределами фиксируется в массивы больших данных используется большими корпорациями в их интересам и передается государству. Существуют даже прецеденты, когда с помощью больших данных ученые смогли определить вероятность сильной сейсмической активности на определенной территории в ближайшие 30 лет. Доля использования больших данных в российском финтех секторе достигает 90%.
По данным Fortune Business Insights, к 2022 году рынок больших данных во всем мире составил $271,83 млрд и согласно динамике увеличивается примерно на 13% каждый год. Россия не отстает от всего мира и в стране рынок тоже растет, пусть и не такими ускоренными темпами, какие бы можно было отметить без ухода с рынка иностранных компаний. В частности, Яндекс и ВК двигают индустрию больших данных в России.
Технология больших данных в последние годы активно развивается и набирает огромный потенциал для анализа и использования информации в различных сферах:
1. Экономическое развитие:
- Большие данные позволяют компаниям анализировать потребительские предпочтения, оптимизировать производственные процессы и улучшать бизнес-стратегии, что ведет к экономическому росту.
- Анализ данных помогает выявлять новые рыночные тренды и возможности, способствуя инновациям и развитию новых продуктов и услуг.
2. Повышение эффективности в различных отраслях:
- В здравоохранении большие данные помогают улучшать диагностику и лечение, прогнозировать эпидемии и управлять ресурсами.
- В образовании анализ данных позволяет разрабатывать индивидуальные образовательные программы и оценивать эффективность учебных процессов.
- В логистике и транспорте использование больших данных оптимизирует маршруты, снижает затраты и повышает уровень обслуживания.
3. Научные исследования и инновации:
- Большие данные играют ключевую роль в научных исследованиях, таких как геномика, климатология и астрономия, предоставляя исследователям мощные инструменты для анализа огромных объемов информации.
4. Социальные изменения и урбанизация:
- В условиях быстрого роста городов большие данные используются для планирования городской инфраструктуры, управления трафиком и обеспечения безопасности граждан.
- Анализ данных способствует более эффективному управлению городскими ресурсами и улучшению качества жизни.
Выделяя отрасли использования государством технологии больших данных, можно отметить следующее:
1. Управление и принятие решений:
- Государства используют большие данные для улучшения управления и принятия решений на основе объективной информации.
- Анализ данных помогает выявлять проблемы и находить оптимальные решения в различных сферах государственного управления.
2. Обеспечение безопасности и правопорядка:
- Анализ больших данных играет важную роль в обеспечении национальной безопасности, позволяя прогнозировать и предотвращать угрозы.
...
Большие данные представляют собой важный инструмент для повышения конкурентоспособности и инновационного развития как в России, так и в Китае. Для обеих стран критически важно продолжать инвестиции в инфраструктуру, разработки технологий и создание благоприятной правовой среды. Важно отметить, что каждая страна имеет свои особенности и преимущества, что позволяет им учиться друг у друга и адаптировать лучшие практики в своих условиях.
Проведенная работа подтверждает, что будущее больших данных в России и Китае обещает быть многообещающим, открывая новые возможности для экономического роста и улучшения качества жизни населения.
В ходе написания работы были решены следующие задачи:
1. Определены теоретические аспекты технологии больших данных, выделены характеристики, способы анализа, а также будущее технологии.
Большие данные — это наборы данных, размеры которых выходят за пределы возможностей по сбору, хранению, управлению и анализу, присущих обычному программному обеспечению базы данных. С момента появления технологии, большие данные имеют отличительную черту от обычных – это 3 V – velocity, variety, volume. В сфере сбора, хранения и аналитики данных существует множество различных технологий, программ и способов во всем мире и выбор зависит от требований и ожиданий от конечного результата. У технологии также существуют угрозы, одна из самых важных и насущных не только для бизнесов, использующих эту технологию, но и для государства. Проблема конфиденциальности данных и угроза их утечки вечная проблема. Высокочувствительная информация, такая как реквизиты банковского счета и важные пароли, находится под постоянным риском утечки данных. Это означает, что данные миллионов людей могут быть продублированы и переданы тем, кто желает использовать их со злым умыслом.
2. Исследовано использование технологии больших данных большими компаниями в Китае, степень заинтересованности в ней государства.
Китай значительно инвестировал в развитие облачных технологий, дата-центров и сетевой инфраструктуры, что позволило создать мощную базу для обработки и анализа больших данных. Наблюдается широкое использование больших данных в различных секторах экономики, включая промышленность, здравоохранение, транспорт и финансы. Это позволяет значительно улучшать эффективность и принимать обоснованные управленческие решения.
Благодаря большим инвестициям и быстрому росту технологии Китай является лидером в Азии и чуть ли не обгоняет весь мир. Большая генерация данных из-за соотвествубщего количества населения предоставляет стране преимущесто и намного больши потенциал, чем многие другие страны.
Такие компании, как Alibaba, Tencent и Baidu, стали мировыми лидерами в области больших данных. Они активно используют данные для оптимизации своих сервисов, улучшения пользовательского опыта и создания новых продуктов. Эти компании инвестируют значительные ресурсы в развитие своих дата-центров, облачных платформ и искусственного интеллекта. Правительство Китая активно поддерживает развитие больших данных, создавая благоприятные условия для их использования. Национальные стратегии и инициативы, такие как "Интернет плюс" и "Большие данные для новой экономики", способствуют развитию отрасли и стимулируют компании к внедрению передовых технологий.
3. Изучено использование технологии больших данных Яндексом, Сбером и mail. ru group в России, выявлены сферы запроса информации и степень заинтересованности в ней государства.
Российские компании сегмента биг-тех активно используют технологию и обмениваются опытом в этой сфере. Так как данные, полученные и обработанные посредством технологии, во многом определяют деятельность компаний, они выделяют большое количество средств и ресурсов на развитие и качественное обращение с технологией. В основном, государтсво запрашивает данные о пользовательских данных, благодаря отчету Яндекса это также данные, полученные с сервисов Яндекс.Такси, на который пришлось около 19 тыс. запросов, Яндекс.Еда и Почта с 4 тыс. и 5 тыс., а также Яндекс.ID. Существуйет также обратная практика, когда банки запрашивают данные у государтсва, чтобы обсулужить своих клиентов.
4. Сравнены китайский и российский опыт в области использования технологии больших данных.
Развитие и внедрение технологий больших данных в России и Китае идет стремительными темпами, при этом каждая из стран демонстрирует свои уникальные подходы и достижения в данной области. Китай значительно инвестировал в развитие облачных технологий, дата-центров и сетевой инфраструктуры, что позволило создать мощную базу для обработки и анализа больших данных. Российские компании также способствуют развитию технологии в стране, разрабатывают инструменты и предоставляют массивы данных для малого и среднего бизнеса.
Говоря о вопросе вмешательства государства в процессы развития технологии, о степени заинтересованности и запросах данных у компаний, в России проводятся форумы и вносятся инициативы в развитие технологии, компании объединяются для общего вклада и, в особенности, для более качественной защиты данных. Государство, в частности, запрашивает данные о пользователях, о личной информации и в большинстве случает компании положительно отвечают на эти запросы, передавая конфиденциальные данные государству.
В Китае более строго относятся к аккумулированным данным и государство планирует внедрить систему рейтинга граждан, на основе информации, собранной посредством технологии больших данных. Все компании, осуществляющие свою деятельность в стране, будь то китайские или иностранные, обязаны передавать данные и отчеты об их сборе государтсву. Китай очень серьезно относится к этой инициативе и строго следит за тем, чтобы все компании выполняли требование.
Подводя итог, большие данные являются ключевым фактором инновационного и экономического развития как в России, так и в Китае. Обе страны демонстрируют значительный прогресс в этой области, однако их пути и стратегии различаются. Китаю удалось достичь впечатляющих результатов благодаря сильной государственной поддержке и стратегическим инвестициям в инфраструктуру. Россия, в свою очередь, имеет значительный потенциал, который может быть реализован через более координированное и целенаправленное развитие правовой базы и технологической инфраструктуры.
Будущее больших данных в России и Китае выглядит многообещающе, открывая новые возможности для роста, инноваций и улучшения качества жизни. Продолжение исследований и обмен опытом между странами помогут ускорить прогресс и достичь новых высот в использовании технологий больших данных.
Таким образом, становится понятно текущее состояния и перспективы развития технологий больших данных в двух ведущих странах мира, подчеркивая их значимость для глобального экономического и технологического ландшафта.
1. Арбузова В. 35,5% российских компаний решили использовать технологии больших данных // РБК. Тренды. 2024. URL: https://trends.rbc.ru/trends/industry/65d5b0a19a79470b9c08a69a?from=copy
2. Ассоциация Больших данных: официальный сайт . - URL: https://rubda.ru/
3. Блог VK : habr. Com. - URL: https://habr.com/ru/companies/vk/profile/
4. Блог Яндекса : habr. com. - URL: https://habr.com/ru/companies/yandex/profile/
5. Васильковский С. А. Как в России используют технологии Big Data? // Институт статистических исследований и экономики знаний (ИСИЭЗ) НИУ ВШЭ. 2022 . URL: https://issek.hse.ru/news/776383019.html
6. Виатрис В. "Яндекс" открыл исходный код своей платформы для работы с большими данными // ТАСС. 2023 URL: https://tass.ru/ekonomika/17316235
7. Королев Н., Шестоперов Д. Фабрика-цифра // Коммерсантъ. №193 URL: https://www.kommersant.ru/doc/4539873
8. Литвиненко Ю. Большие данные прошли переоценку // Коммерсантъ. 2023. URL: https://www.kommersant.ru/doc/5939856
9. Новый В. В России учредили Ассоциацию участников рынка больших данных // Коммерсантъ. 2018. URL: https://www.kommersant.ru/doc/3772146
10. Погорельский А. В. Как будет развиваться рынок больших данных в России // РБК. Тренды. 2024. URL: https://trends.rbc.ru/trends/industry/65d5b0a19a79470b9c08a69a?from=copy
11. Редакция developers.sber.ru Big Data: инструменты работы с большими массивами данными // developers.sber.ru URL: https://developers.sber.ru/help/ml/big-data#luchshie-instrumenty-dlya-big-data-ot-sbera
12. СберИндекс: официальный сайт. - URL: https://sberindex.ru/ru
13. Технологии для работы с Big Data: готовность к использованию и основные барьеры // Совместное исследование VK Cloud и Arenadata. 2022
14. Шадаев М. В. В России планируется создать государственную фабрику больших данных // ТАСС. 2023 URL: https://tass.ru/ekonomika/19229859
15. Шугаев Г. Сбер внедрил собственную графовую платформу // lenta. Ru URL: https://lenta.ru/news/2023/03/31/grfpltf/
...
87 источников