Помощь студентам в учебе
МАТЕМАТИЧЕСКОЕ И АЛГОРИТМИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ДЛЯ АНАЛИЗА ХАРАКТЕРИСТИК ИНФОРМАЦИОННЫХ ПОТОКОВ В МАГИСТРАЛЬНЫХ ИНТЕРНЕТ-КАНАЛАХ
|
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ 2
Положения, выносимые на защиту 4
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ 5
Заключение 23
Список литературы 24
Положения, выносимые на защиту 4
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ 5
Заключение 23
Список литературы 24
Актуальность темы исследования и степень ее разработанности. Сегодня компьютерные сети (КС) широко используются для передачи различной информации, контроля и управления различными сервисами в реальном времени, просмотра телепередач, онлайн покупок и т.д. В связи с увеличением новых классов телекоммуникационных устройств и соответствующих сервисов быстрыми темпами увеличиваются объемы информации, передаваемой через сеть Интернет (Интернет-трафик). Например, по данным Cisco Visual Networking Index (наглядные показатели Сети) объемы передаваемого Интернет-трафика увеличились со 100 Г/сутки в 1992 г. до 16 000 Гб/с в 2014 г. При этом существенно усложнилась собственно структура передаваемой информации, которая создается и используется многочисленными пользователями персональных компьютеров, смартфонов, планшетов, телевизоров, бытовой техникой (Интернет вещей) и др.
В этой ситуации закономерно возрастают требования к гибкости и масштабируемости современных КС свойства, которых оказываются существенно отличными от свойств КС с классической архитектурой (по сути, статических). Например, традиционные архитектуры/дизайны КС оказываются неэффективными в динамических средах. При этом классические подходы, ориентированные на распределенное управление устройствами традиционных КС (например, виртуальные сети (VLAN)), не соответствуют современному уровню развития виртуализации серверов и систем хранения данных, а также требованиям крупного бизнеса и сер вис-провайдеров (например, AT&T, Verizon, Google, Facebook, Microsoft и др.). Сложившаяся ситуация в телекоммуникационной отрасли подтверждается, том числе, данными, содержащимися в аналитическом отчете за 2016 г. компании KPMG, где введены понятия «разрушающий трафик» (т.е. трафик таких объемов, с которыми не справляется используемое сетевое оборудование) и «разрушительные технологии», которые создают разрушающий трафик (виртуальная реальность, облачные сервисы, искусственный интеллект, анализ данных в реальном времени и др.).
Для эффективного решения проблем «разрушающего трафика», вопросов проектирования оборудования отвечающего потребностям современных КС, а так же проектирования КС нового поколения, в том числе и виртуальных программно-конфигурируемых сетей - SDN (Software- d efined Networking), необходимо понимать особенности информационных потоков, предаваемых в современных КС, механизмы их взаимодействия друг с другом и влияния на загрузку канала.
Анализ состояния современной теории телетрафика показывает, что имеет место определенный разрыв между современными уровнями развития телекоммуникационных технологий и математических моделей информационных процессов в КС, который, в известной мере, пытаются восполнить большим количеством экспериментальных результатов, проведенных исследований особенностей информационных потоков в КС, в особенности, высокоскоростных магистральных Интернет-каналах (см. работы О.И. Шелухина, В.В. Петрова, Н.Г. Треногина, Е.В. Никульчева, M. Soysal, K. Fukuda, W. Leland, W. Willinger, D. Wilson и др.)
Однако объективный анализ этих работ показал, что проводимые экспериментальные исследования, зачастую, имеют бессистемный характер. Это проявляется: в отсутствии общепринятой методики исследований Интернет-трафика в магистральном высокоскоростном интернет-канале; их направленности не на проверку, но на подтверждение тех или иных изначально выбранных математических моделей Интернет-трафика (в первую очередь, самоподобных моделей).
Цель работы разработка и применение математического и алгоритмического обеспечения для анализа характеристик информационных потоков в высокоскоростных магистральных Интернет-каналах.
Для достижения поставленной цели были поставлены и решены следу ющие основные задачи исследования:
1. Анализ методов исследования информационных потоков в КС сетей с точки зрения их применимости для исследования трафика в высокоскоростных магистральных Интернет -каналах.
2. Разработка программного инструмента, обеспечивающего автоматическое извлечение информации из рсар-файлов в выбранном измерении.
3. Разработка методики анализа первичной информации, извлеченной в соответствующем измерении из рсар-файлов, обеспечивающей получение количественных характеристики информационных потоков, переданных в магистральном высокоскоростном Интернет -канале.
4. Изучение особенностей информационных потоков в магистральном Интернет-канале, создаваемых выбранными классами пользователей («Слоны», «Мулы», «Мыши»), и их взаимного влияния друг на друга.
Научная новизна. В диссертации получены следующие новые научные результаты:
1. Разработано математическое и алгоритмическое обеспечение, а также соответствующее программное обеспечение (ПО) для анализа характеристик информационных потоков в высокоскоростных магистральных Интернет-каналах.
2. Предложена методика анализа Интернет-трафика и доказана ее работоспособность при исследовании информационных потоков в высокоскоростном магистральном Интернет -канале.
3. Проведено исследование взаимного влияния информационных потоков, создаваемых в магистральном Интернет-канале выбранными классами пользователей («Слоны», «Мулы», «Мыши»), и доказано, что связи между объемами информации, переданной в магистральном Интернет-канале каждым из выбранных классов пользователей, описываются детерминированными линейными моделями.
4. Предложен алгоритм управления загрузкой канала передачи информационных потоков позволяющая, за счет отслеживания глобального показателя Херста накопленных сумм случайных последовательностей объема переданной информации класса «Мыши» и соответствующего проактивного ограничения скоростей потоков класса «Слоны» и «Мыши», минимизировать кол -во сбросов скользящего окна для каждого потока, обеспечивая тем самым использование пропускной способности канала близкой к максимальной.
Методология и методы исследования. В работе проведено экспериментальное исследование свойств информационных потоков в высокоскоростных магистральных Интернет - каналов на основе системного подхода с использованием методов математической статистики, генетических алгоритмов и методов анализа временных рядов.
Теоретическая и практическая значимость диссертационного исследования:
1. Создан программно-аппаратный комплекс, обеспечивающий анализ дампов Интернет - трафика, размещенных в pcap-файлов, адаптированный для использования на суперкомпьютере «Уран» Института математики и механики им. академика Н.Н. Красовского УрО РАН.
2. Проведен анализ дампов Интернет-трафика, зарегистрированных в магистральном Интернет-канале, проложенном между США и Японией, результаты которого подтвердили работоспособность разработанной методики анализа Интернет-трафика и созданного программноаппаратного комплекса.
3. Предложен механизм балансировки объемов передаваемой информации, каждым из выделенных классов пользователей («Слоны», «Мулы», «Мыши»), устанавливающий скорость передачи информации для каждого класса пользователей, исходя из значений показателей Херста накопленных сумм зависимостей «мгновенного» числа переданных пакетов, «мгновенного» объема переданной информации, «мгновенного» объема информации, переданной одним пакетом, от времени. (Здесь и далее под «мгновенными» значения понимаются значения соответствующих параметров, подсчитанные в течение заданного временного интервала.)..
В этой ситуации закономерно возрастают требования к гибкости и масштабируемости современных КС свойства, которых оказываются существенно отличными от свойств КС с классической архитектурой (по сути, статических). Например, традиционные архитектуры/дизайны КС оказываются неэффективными в динамических средах. При этом классические подходы, ориентированные на распределенное управление устройствами традиционных КС (например, виртуальные сети (VLAN)), не соответствуют современному уровню развития виртуализации серверов и систем хранения данных, а также требованиям крупного бизнеса и сер вис-провайдеров (например, AT&T, Verizon, Google, Facebook, Microsoft и др.). Сложившаяся ситуация в телекоммуникационной отрасли подтверждается, том числе, данными, содержащимися в аналитическом отчете за 2016 г. компании KPMG, где введены понятия «разрушающий трафик» (т.е. трафик таких объемов, с которыми не справляется используемое сетевое оборудование) и «разрушительные технологии», которые создают разрушающий трафик (виртуальная реальность, облачные сервисы, искусственный интеллект, анализ данных в реальном времени и др.).
Для эффективного решения проблем «разрушающего трафика», вопросов проектирования оборудования отвечающего потребностям современных КС, а так же проектирования КС нового поколения, в том числе и виртуальных программно-конфигурируемых сетей - SDN (Software- d efined Networking), необходимо понимать особенности информационных потоков, предаваемых в современных КС, механизмы их взаимодействия друг с другом и влияния на загрузку канала.
Анализ состояния современной теории телетрафика показывает, что имеет место определенный разрыв между современными уровнями развития телекоммуникационных технологий и математических моделей информационных процессов в КС, который, в известной мере, пытаются восполнить большим количеством экспериментальных результатов, проведенных исследований особенностей информационных потоков в КС, в особенности, высокоскоростных магистральных Интернет-каналах (см. работы О.И. Шелухина, В.В. Петрова, Н.Г. Треногина, Е.В. Никульчева, M. Soysal, K. Fukuda, W. Leland, W. Willinger, D. Wilson и др.)
Однако объективный анализ этих работ показал, что проводимые экспериментальные исследования, зачастую, имеют бессистемный характер. Это проявляется: в отсутствии общепринятой методики исследований Интернет-трафика в магистральном высокоскоростном интернет-канале; их направленности не на проверку, но на подтверждение тех или иных изначально выбранных математических моделей Интернет-трафика (в первую очередь, самоподобных моделей).
Цель работы разработка и применение математического и алгоритмического обеспечения для анализа характеристик информационных потоков в высокоскоростных магистральных Интернет-каналах.
Для достижения поставленной цели были поставлены и решены следу ющие основные задачи исследования:
1. Анализ методов исследования информационных потоков в КС сетей с точки зрения их применимости для исследования трафика в высокоскоростных магистральных Интернет -каналах.
2. Разработка программного инструмента, обеспечивающего автоматическое извлечение информации из рсар-файлов в выбранном измерении.
3. Разработка методики анализа первичной информации, извлеченной в соответствующем измерении из рсар-файлов, обеспечивающей получение количественных характеристики информационных потоков, переданных в магистральном высокоскоростном Интернет -канале.
4. Изучение особенностей информационных потоков в магистральном Интернет-канале, создаваемых выбранными классами пользователей («Слоны», «Мулы», «Мыши»), и их взаимного влияния друг на друга.
Научная новизна. В диссертации получены следующие новые научные результаты:
1. Разработано математическое и алгоритмическое обеспечение, а также соответствующее программное обеспечение (ПО) для анализа характеристик информационных потоков в высокоскоростных магистральных Интернет-каналах.
2. Предложена методика анализа Интернет-трафика и доказана ее работоспособность при исследовании информационных потоков в высокоскоростном магистральном Интернет -канале.
3. Проведено исследование взаимного влияния информационных потоков, создаваемых в магистральном Интернет-канале выбранными классами пользователей («Слоны», «Мулы», «Мыши»), и доказано, что связи между объемами информации, переданной в магистральном Интернет-канале каждым из выбранных классов пользователей, описываются детерминированными линейными моделями.
4. Предложен алгоритм управления загрузкой канала передачи информационных потоков позволяющая, за счет отслеживания глобального показателя Херста накопленных сумм случайных последовательностей объема переданной информации класса «Мыши» и соответствующего проактивного ограничения скоростей потоков класса «Слоны» и «Мыши», минимизировать кол -во сбросов скользящего окна для каждого потока, обеспечивая тем самым использование пропускной способности канала близкой к максимальной.
Методология и методы исследования. В работе проведено экспериментальное исследование свойств информационных потоков в высокоскоростных магистральных Интернет - каналов на основе системного подхода с использованием методов математической статистики, генетических алгоритмов и методов анализа временных рядов.
Теоретическая и практическая значимость диссертационного исследования:
1. Создан программно-аппаратный комплекс, обеспечивающий анализ дампов Интернет - трафика, размещенных в pcap-файлов, адаптированный для использования на суперкомпьютере «Уран» Института математики и механики им. академика Н.Н. Красовского УрО РАН.
2. Проведен анализ дампов Интернет-трафика, зарегистрированных в магистральном Интернет-канале, проложенном между США и Японией, результаты которого подтвердили работоспособность разработанной методики анализа Интернет-трафика и созданного программноаппаратного комплекса.
3. Предложен механизм балансировки объемов передаваемой информации, каждым из выделенных классов пользователей («Слоны», «Мулы», «Мыши»), устанавливающий скорость передачи информации для каждого класса пользователей, исходя из значений показателей Херста накопленных сумм зависимостей «мгновенного» числа переданных пакетов, «мгновенного» объема переданной информации, «мгновенного» объема информации, переданной одним пакетом, от времени. (Здесь и далее под «мгновенными» значения понимаются значения соответствующих параметров, подсчитанные в течение заданного временного интервала.)..
1. Проведен анализ методов исследования информационных потоков в КС сетей с точки зрения их применимости для исследования трафика в высокоскоростных магистральных Интернет - каналах, и соответствующих программных инструментов, результаты, которого подтвердили необходимость разработки специализированного математического и алгоритмического программного обеспечения, обеспечивающего автоматическое извлечение информации из pcap- файлов в выбранном измерении.
2. Создан программно-аппаратный комплекс, обеспечивающий извлечение в автоматизированном режиме из дампов трафика, передаваемого в высокоскоростном магистральном Интернет-канале, количественные его количественные характеристики, адаптированный для суперкомпьютера «Уран» ИММ УрО РАН.
3. Разработана методики анализа первичной информации, извлекаемой из pcap-файлов, обеспечивающая получение количественных характеристики информационных потоков, переданных в магистральном высокоскоростном Интернет-канале.
4. Изучены в соответствие с авторской методикой особенности информационных потоков в магистральном Интернет-канале, создаваемых выбранными классами пользователей («Слоны», «Мулы», «Мыши»), и их взаимное влияния друг на друга, в том числе, установлено, что:
4.1. в информационных потоках, создаваемых, классом «Мыши» преобладающими являются пакеты размером не более 200 байт, в информационных потоках, создаваемых, классами «Мулы» и «Слоны» преобладающими являются пакеты размером ~ 1500 байт;
4.2. наиболее стабильными во времени параметры распределения информационных потоков по размеру пакетов в течение недели оказываются у класса пользователей «Слоны» и «Мулы», наименее стабильные - у пользователей класса «Мыши»;
4.3. временные ряды Ni, Vi, Д, содержащие упорядоченные во времени значения числа пакетов и объемов информации, переданных в течение заданного временного интервала, а также среднего объема переданной информации, приходящейся на один пакет. представляют собой случайные последовательности с ограниченной областью рассеяния, накопленные суммы которых обладают свойством самоподобия;
4.4. существует детерминированная линейная связь между объемами информации, переданной в течении 15 минут каждым из классов пользователей, что свидетельствует о возможности создания на основе управления скоростью передачи информации каждого из выделенных классов пользователей механизмов балансировки объемов передаваемой информации , призванных повысить качество обслуживания пользователей данным каналом, и предложена структурная схема подобного алгоритма.
2. Создан программно-аппаратный комплекс, обеспечивающий извлечение в автоматизированном режиме из дампов трафика, передаваемого в высокоскоростном магистральном Интернет-канале, количественные его количественные характеристики, адаптированный для суперкомпьютера «Уран» ИММ УрО РАН.
3. Разработана методики анализа первичной информации, извлекаемой из pcap-файлов, обеспечивающая получение количественных характеристики информационных потоков, переданных в магистральном высокоскоростном Интернет-канале.
4. Изучены в соответствие с авторской методикой особенности информационных потоков в магистральном Интернет-канале, создаваемых выбранными классами пользователей («Слоны», «Мулы», «Мыши»), и их взаимное влияния друг на друга, в том числе, установлено, что:
4.1. в информационных потоках, создаваемых, классом «Мыши» преобладающими являются пакеты размером не более 200 байт, в информационных потоках, создаваемых, классами «Мулы» и «Слоны» преобладающими являются пакеты размером ~ 1500 байт;
4.2. наиболее стабильными во времени параметры распределения информационных потоков по размеру пакетов в течение недели оказываются у класса пользователей «Слоны» и «Мулы», наименее стабильные - у пользователей класса «Мыши»;
4.3. временные ряды Ni, Vi, Д, содержащие упорядоченные во времени значения числа пакетов и объемов информации, переданных в течение заданного временного интервала, а также среднего объема переданной информации, приходящейся на один пакет. представляют собой случайные последовательности с ограниченной областью рассеяния, накопленные суммы которых обладают свойством самоподобия;
4.4. существует детерминированная линейная связь между объемами информации, переданной в течении 15 минут каждым из классов пользователей, что свидетельствует о возможности создания на основе управления скоростью передачи информации каждого из выделенных классов пользователей механизмов балансировки объемов передаваемой информации , призванных повысить качество обслуживания пользователей данным каналом, и предложена структурная схема подобного алгоритма.
МАТЕМАТИЧЕСКОЕ И АЛГОРИТМИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ДЛЯ АНАЛИЗА ХАРАКТЕРИСТИК ИНФОРМАЦИОННЫХ ПОТОКОВ В МАГИСТРАЛЬНЫХ ИНТЕРНЕТ-КАНАЛАХ
