Введение 3
1. ПОНЯТИЕ СИНТАКСИЧЕСКОГО АНАЛИЗА ДАННЫХ 9
1.1. Парсеры 9
1.2. Пример простого парсинга 11
1.3. Формат JSON 15
1.4. Примеры JSON файлов 16
2. РАЗРАБОТКА ИНСТРУМЕНТАРИЯ ВЕКТОРНОЙ МАТЕМАТИКИ 23
2.1. Решение задачи упаковки сферического квадрата сферическими квадратами
меньшей площади 30
2.2. Решение задачи упаковки круга на сфере сферическими квадратами 34
3. СОЗДАНИЕ ПРИЛОЖЕНИЯ 43
3.1. API 2ГИС 43
3.2. Основные рабочие функции программы 48
3.3. Экспорт данных 58
3.4. Терминал для общения с пользователем 60
Заключение 66
Список использованных источников 69
Купить

Мировая сеть интернет состоит из связанной информации, которая представляется пользователям через веб-сайты. Она значительно изменила способы, с помощью которых мы обмениваемся, собираем и публикуем информацию. Количество представленной информации растет очень быстро.
Вместе с тем, как быстро растет количество информации в размерах, вариации и важности, лидеры бизнеса должны обратить внимание на то, какая информация важна больше всего. Не вся информация одинакова значима для бизнесменов и потребителей. Предприятиями, процветающими во время этого взрыва количества информации, будут те, которые могут выявлять и использовать критически важные подмножества данных, способные оказывать положительное влияние на пользовательский опыт и решать сложные проблемы.
Также, с использованием интернета, как нового канала для маркетинга и продаж, количество контента сильно увеличилось. Интернет-магазины предлагают большие пакеты данных для описания своих продуктов, а владельцы баз знаний предлагают доступ к своим базам данных.
IDC (International Data Corporation) предсказывает, что к 2025 году количество информации в мировой сети интернет вырастет до 175 зетабайт (примерно триллион гигабайт). Это в 10 раз больше, чем цифра в 33 зетабайт, актуальная на 2018 год[2]. Все эти данные дадут возможность для уникально нового пользовательского опыта и путей развития бизнеса.
При таком неорганизованном росте больше невозможно вручную отслеживать все источники данных. Этот тот момент, когда автоматических сбор данных эволюционировал. Автоматизированные методы позволяют собирать огромное количество данных из Интернета по сравнению с ручным извлечением данных.
Темой данного диплома является парсинг данных с геоинформационного
сервиса 2ГИС. Мы будем решать актуальную на сегодня задачу сбора данных.
Сбор данных — это процесс собирания информации и измерения целевых показателей в сложившейся системе, который позволит потом ответить на актуальные вопросы и оценить результаты. Сбор данных является частью исследований во всех областях изучения, включая физику, общественные науки, гуманитарные науки и бизнес. Хотя методы различны для разных дисциплин, упор на обеспечение точной и правдивой информации остаётся тем же самым. Целью всего сбора данных служит получение свидетельства о качестве данных, что позволяет при анализе дать убедительные и надёжные ответы на поставленные вопросы[4].
Как известно, сервис 2ГИС является примером хорошего сервиса по обеспечению пользователей пространственными данными и их атрибутами. И если пользователю нужно что — то узнать, он скорее всего получит нужную информацию и сделать это будет довольно просто. Это говорит о практической полноте базы данных данного сервиса.
2ГИС обладает уникальной базой данных по организациям. В ней представлены практически все контакты организации; ее филиалы; профиль, на который ориентируется организация; расположение входа в здание организации; виды кухни (для организаций, связанных с общепитом); и многое другое. Данная база ведется со времен основания сервиса в 1999 году. Ее пользователями на текущий момент являются 40 000 000 пользователей в более чем 280 городах мира. Она 4 раза в год обновляется на самые актуальные данные, которые собираются их сотрудниками call-центров, а также людьми, занимающимися разъездом по городу[5].
Есть множество ситуаций, в которых людям пригодились бы эти данные (и сервис это прекрасно понимает, поэтому на нем, как и на любом другом крупном интернет — ресурсе, действует некая защита). Самое очевидное, что приходит на ум - задействовать их для спам-рассылок или для обзвона клиентов. Или, например, автоматизировать поиск конкурентов. Вообще,
большей частью подобные данные могли бы помочь в целях маркетинга.
Допустим кто — то открыл магазин спортивных товаров. Он закупил спортивное оборудование, но не знает, по какой цене продавать. Этот человек мог бы воспользоваться нашим парсером и найти спортивные магазины в непосредственной близости от своего, после чего скорректировать цены собственного магазина, учитывая цены других магазинов.
К сожалению, если нам понадобилось собирать данные с сервиса в «промышленных масштабах», 2ГИС не даст нам так просто этого сделать. Да, он предоставляет возможность произвести выборку по своей базе данных. Но это стоит относительно больших денег и каждая такая выборка оплачивается отдельно. (Примечание: Может показаться, что все это является незаконным, но это не так, ибо мы ничего не взламываем, а пользуемся открытыми данными).
Да, мы могли бы нанять целый штаб людей, которые бы целый день сидели за компьютером на сайте сервиса и переводили информацию из него в удобную для обработки форму (например, в электронные таблицы). Но это неэффективно и проще заказать выборку.
К счастью, существуют способы автоматизировать данный процесс, не нарушая закон и не прибегая к платным услугам сервиса. Одним из них является парсинг данных (или по — другому, лексический анализ).
Программы, производящие парсинг данных, называются парсеры. Для сервиса 2ГИС в сети можно найти множество неофициальных парсеров, которые за небольшую сумму готовы предоставить самые актуальные данные из базы 2ГИС на заданной территории. Но все же порядочность подобных парсеров должна всегда подвергаться сомнению, так как очень просто написать программу, имитирующую реальный парсинг. Например, существует множество генераторов телефонных номеров или адресов e-mail. В конце концов, злоумышленники могут просто отдавать вам старые, неактуальные данные.
Поэтому гораздо лучше написать свой парсер, чем мы и займемся в
рамках данной ВКР.
Наш парсер мы оформим в виде программы на языке псевдокода (то есть компактного, неформального языка описания алгоритмов, в котором опущены несущественные детали и специфический синтаксис, не имеющие отношения к решаемой проблеме[6]). Она будет работать в режиме терминала. В начале она инициализируется и проверяет наличие необходимых для ее работы ресурсов. Если их нет - она их загрузит по сети (и при первом запуске она так и поступит, поэтому первый запуск будет долгим). После чего она переходит в режим ожидания запросов от пользователя, которому понадобились данные сервиса и исполняет их.
Преимущество использования псевдокода для решения нашей проблемы в том, что ее с легкостью можно адаптировать под любой существующий язык программирования. А так же в том, что программы, описанные таким образом, намного легче понять человеку, даже не совсем знакомому с программированием.
Так же, если ознакомиться с неофициальными парсерами поближе, можно заметить, что они всегда предоставляют парсинг по целому городу (то есть геометрической фигурой, в которой производится сбор данных, являются очертания города). Мы же усложним задачу и будем производить парсинг в сферическом квадрате и в круге, лежащем на сфере. Это в некоторых случаях бывает полезнее, чем просто данные по целому городу. Например, если у нас есть магазин и мы ищем конкурентов - нам нет дела до конкурентов, находящихся на другом конце города, в отличие от тех, кто находится от нас в радиусе X метров. Чтобы все это реализовать, нам придется использовать довольно запутанный математический аппарат для работы с векторами.
В целом можно сказать, что подобная программа очень сильно пригодилась бы людям, жизнь которых связана со сферой услуг, маркетингом и предпринимательством.
Поговорим немного подробнее о сервисе 2ГИС.
«2ГИС» (произносится «двагис»; до ребрендинга в 2011 году — «ДубльГИС») — международная картографическая компания, выпускающая одноимённые электронные справочники с картами городов с 1999 года[5].
Главный офис «2ГИС» находится в Новосибирске. Компания имеет справочники для многих городов России, а также нескольких городов за рубежом — в Казахстане, Италии, Чехии, Чили, ОАЭ, Киргизии, на Украине и Кипре[5].
Сервис ежедневно обрабатывает более 2,2 млн поисковых запросов[5].
Все версии 2ГИС, как и обновления к ним, бесплатны для пользователей. Основной источник доходов компании «2ГИС» — продажа рекламных мест на карте и в справочнике (баннер, место в списке, дополнительный текст)[7].
Входит в десятку крупнейших интернет-компаний России по версии Forbes. В 2018 году журнал оценил стоимость компании в $ 211 млн.[8] В 2019 году компания «2ГИС» заняла восьмую позицию в рейтинге «20 самых дорогих компаний Рунета — 2019», опубликованном журналом Forbes. По оценкам экспертов стоимость компании в 2019 году составила 243 миллиона долларов.
«ДубльГИС» родилась как сторонний проект компании из Новосибирска под названием «Техноград плюс». В то время она занималась разработкой ГИС в основном для новосибирской городской телефонной сети, а также для других организаций. Их продукцию с картами Новосибирска в то время на рынке продавала родительская компания. Уже тогда «ДубльГИС» выпустила свой первый городской справочник в виде CD-диска, прилагавшегося к газете «Стройка», в котором была собрана информация о строительных фирмах и организациях Новосибирска[5].
В 1998 году многие заказчика компании «Техноград плюс» претерпели финансовые трудности и оказались не в состоянии оплачивать дорогостоящие разработки профессиональных ГИС. В связи с этим «ДубльГИС» начала думать о поиске новых клиентов и новых рынках сбыта собственной продукции. Более того, городские справочники, на которых держался доход компании, разошлись
пиратскими тиражами и продавать их стало бессмысленно[5].
Компания приняла решение на распространение бесплатного программного обеспечения, доход которой приходился бы на рекламу. Опыт с газетой «Стройка» показал, что людям интересна концепция объединенной карты и городского справочника. Именно так и появилось название «ДубльГИС», то есть «Геоинформационная система» и «Городской информационный справочник»[5].
В дальнейшем компания активно развивалась. Выпустила свою продукцию в онлайн, а также на большую часть мобильных операционных систем. Также с 2012 года компания начала осваивать зарубежный рынок ГИС, разработав ГИС для итальянских городов Венеции и Падуи[5].
На сегодняшний день можно с уверенностью сказать, что «ДубльГИС» (а с 2011-ого года - «2ГИС») создала один из наиболее полных городских справочников, в котором собрано огромное количество информации по организациям различного профиля. Сама «2ГИС» заявляет, что придерживается 95% точности данных, которая обеспечивается непрерывной работой ее сотрудников по актуализации данных[5]. Полнота отражается даже в таких мелочах, как показ стороны, с которой нужно войти в здание, дабы попасть в ту или иную организацию[38]. Или, например, компанией собраны и организованы такие специфичные и сложные данные, как устройство некоторых торговых центров изнутри, в том числе казанское «Кольцо»[39].
Также можно отметить, что «2ГИС» в настоящее время активно переводит свой формат данных в трехмерное пространство[40]. Например, оцифрованы с хорошей точностью такие казанские достопримечательности как мечеть Кул- Шариф или Петропавловский собор. Для этого используются методы дистанционного зондирования земли, с последующей обработкой профессиональными дизайнерами полученных данных в программах для 3D моделирования.

Купить