Введение 4
1 Обзор средств для анализа госзакупок 5
1.1 Система государственных закупок 5
1.2 Нарушения в государственных закупках 12
1.3 Обзор аналогов 15
1.4 Технологии, используемые при анализе данных 17
1.5 Задание на разработку 18
2 Проектирование средств для анализа госзакупок 20
2.1 Выбор технологий 20
2.2 Архитектура системы 22
2.3 Проектирование базы данных 23
2.4 Проектирование парсера 25
2.5 Проектирование OLAP куба 26
3 Разработка средств для анализа госзакупок 28
3.1 Реализация ETL-процессов 28
3.2 Формирование структуры OLAP куба 30
4 Результаты анализа госзакупок 32
4.1 Инструмент эксперта аналитика 32
4.2 Примеры результатов анализа 38
4.3 Нарушения 50
4.3.1 Нарушения со сроками 50
4.3.2 Анализ применения латиницы в русских словах
Заключение
Список публикаций 55
Список используемых источников 56
Приложение А 59
Приложение Б 68
Приложение В 69
Приложение Г 72
Использование современных технологий в области организации финансовых отношений между компаниями повлекло к созданию портала государственных закупок Российской Федерации. С 1 января 2011 года портал предоставляет сервисы для поиска информации, размещения заказов на поставки товаров, размещения предложений выполнения работ, оказание услуг для государственных и муниципальных нужд.
В связи с большим объёмом размещаемой информации, а также с несовершенством технических возможностей ресурса, не редко имеют место случаи нарушений среди участников конкурсов.
Целью данной работы является разработка набор инструментов анализа данных государственных закупок, помогающих аналитикам в нахождении нарушений, а также в формировании статистики.
Объектом исследования является анализ портала госзакупок. Инструментами для проведения анализа являются средства технологий On-Line Analytical Processing (OLAP), позволяющие представить информацию в виде, удобном для анализа и находить ранее скрытые знания, например, зависимости между изменениями данных, ранее не рассматриваемых при других видах анализа.
Предметом исследований, представленных в данной работе, является автоматизация процесса сбора и анализа данных портала государственных закупок (сокращенно госзакупки) и предоставление возможности быстрого и гибкого анализа полученных данных. Поскольку объём данных по Российской Федерации слишком большой (около 300Гб), для первичного анализа было решено выбрать одну из областей Российской Федерации. Поскольку работа выполнялась в Томской области, информация о сделках, проводимых в данной области, представляет наибольший интерес.
В ходе данной работы были выполнены следующие задачи:
• собрана и проанализирована научно-техническая информация по тематике исследования;
• разработана информационная модель данных о государственных закупках;
• проанализированы типовые мошеннические схемы;
• проведен анализ существующих решений;
• разработана архитектура информационно-аналитической системы;
• реализована база данных;
• построены витрины данных для проведения многомерного анализа;
• спроектированы и реализованы ETL процессы;
• проведён анализ полученных данных
• найдены мошенники на основе анализа применения латиницы
Во время работы над магистерской диссертацией были написаны статьи «Использование технологий Business Intelligence для анализа данных в сфере государственных закупок», которая была размещена в материалах международной научно-практической конференции «Технологии Microsoft в теории и практике программирования» весной 2015 года и «Извлечение и анализ данных с портала государственных закупок», которая была размещена в материалах международной научно-практической конференции «Молодежь и современные информационные технологии».
Проведено комплексное описание и анализ финансово-экономических аспектов выполненной работы. Рассмотрены вопросы выполнения требований к безопасности и гигиене труда, к промышленной безопасности, охране окружающей среды и ресурсосбережения.
1. Выгрузка условий конкурсов госзакупок с ООС zakupki.gov.ru / [Электронный ресурс] / Хабрахабр. URL: http://habrahabr.ru/post/253201/, свободный. Загл. с экрана. - Яз. рус. Дата обращения: 19.03.2016 г.
2. Способы закупок по 223-ФЗ и требования к документации [Электронный ресурс] / Электронная торговая площадка для торгов по закупкам 223-ФЗ и коммерческих закупок - OTC-tender. URL: http://www.otc.ru/tender /sposoby_zakupki_trebovanija_k_documentacii.aspx, свободный. - Загл. с экрана. - Яз. рус. Дата обращения: 19.03.2016 г.
3. Как проводится контроль в сфере закупок [Электронный ресурс] / Разъяснения в редакции, действующей с 21.01.2014 (ПК «Система главбух»); М.В. Чемерисов. Электрон. Дан. — 2014.— 3 с. URL:
http://www.yamaledu.org/activity/economics_and_finance/state_order/arhiv- gosudarstvennyy-zakaz/8226-kak-provoditsya-kontrol-v-sfere-zakupok-mv- chemerisov.html, свободный. Загл. с экрана. - Яз. рус. Дата обращения:13.05.2016 г.
4. Российская практика проведения государственных закупок [Электронный ресурс] / Совершенствование процесса проведения государственных закупок. Рекомендации и материалы, подготовленные Рабочей группой промышленных компаний (Industrial Companies Working Group); Мухтаров Э.В., Жуков В.Н. Электрон. Дан. - М., 2012. - 64 с. URL: http://www.iblfrussia.org/upload/iblock/239/Improvement_of_public_procurement _procedures_ru.pdf, свободный. Загл. с экрана. - Яз. рус. Дата обращения: 19.03.2016 г.
5. Разъяснения по процедуре выгрузки сведений об опубликованных документах на FTP-сервер Общероссийского официального сайта [Электронный ресурс] / Документация портала государственных закупок - Руководства пользователя. URL: http://zakupki.gov.ru/epz/main/public/
download/downloadDocument.html?id=793, свободный. - Загл. с экрана. - Яз. рус. Дата обращения: 13.05.2016 г.
6. Пособие для выявления сомнительных закупок [Электронный ресурс] / Редакционная группа проекта «За честные закупки». Электрон. Дан. 2 изд. - 8 с. URL: https://zachestnyezakupki.onf.ru/files/Ostap_book_2.pdf, свободный. - Загл. с экрана. - Яз. рус. Дата обращения: 13.05.2016 г.
7. Информация о системе «Закупки 360» [Электронный ресурс] / Startpack. - URL: https://startpack.ru/application/zakupki360, свободный. - Загл. с экрана. - Яз. рус. Дата обращения: 19.03.2016.
8. ПО «ГосЗакупки» [Электронный ресурс] / URL: http://www.soft-zakupki.ru/, свободный - Загл. с экрана. - Яз. рус. Дата обращения: 19.03.2016 г
9. О проекте [Электронный ресурс] / ГосЗатраты. URL: https://clearspending.ru/page/about/ свободный - Загл. с экрана. - Яз. рус. Дата обращения: 19.03.2016 г
10. Решения по построению корпоративных хранилищ данных [Электронный ресурс] / IBA Rus. URL:http://ibarus.ru/solutions/dwh/,свободный. Загл. с экрана. - Яз. рус. Дата обращения: 15.05.2016 г.
11. Лекция 2: Многомерное представление данных. Схемы звезда и снежинка [Электронный ресурс] / Интуит. URL: http://www.intuit.ru/studies/courses/ 1145/214/lecture/5508?page=2, свободный. - Яз. рус. Дата обращения:
19.05.2016 г.
12. David Loshin. ETL (Extract, Transform, Load) // Business Intelligence. — 2nd. — Morgan Kaufmann, 2012. — 400 p.
13. Тарифы закупки 360 [Электронный ресурс] - URL: http://zakupki360.ru/#?sHde=cta_tariffs, свободный. - Загл. с экрана. - Яз. рус. Дата обращения: 2.05.2016.
14. Белов С.В. Безопасность жизнедеятельности и защита окружающей среды: учебник для вузов. - М.: Изд- во Юрайт, 2013. - 671с.
15. СанПиН 2.2.4.1294-03 «Гигиенические требования к аэроионному составу воздуха производственных и общественных помещений».
16. СанПиН 2.2.2/2.4.1340 - 03 «Гигиенические требования к персональным электронно-вычислительным машинам и организации работы». - М.: Госкомсанэпиднадзор, 2003.
17. ГОСТ 12.1.030 -81. Защитное заземление, зануление.
18. СНиП 21 - 01 - 97. Пожарная безопасность зданий и сооружений. М.: Гострой России, 1997. - с. 12.
19. Федеральный закон Российской Федерации от 22 июля 2008 г. N 123-ФЗ "Технический регламент о требованиях пожарной безопасности".
20. Гусельников М.Э., Методические указания по разработке раздела «Производственная и экологическая безопасность» выпускной квалификационной работы для студентов всех форм обучения.
21. Гусельников М.Э., Методические указания по разработке раздела «Производственная и экологическая безопасность» выпускной квалификационной работы для студентов всех форм обучения.