Способы моделирования, анализа и реализации децентрализованных пиринговых систем
|
ВВЕДЕНИЕ 5
1 Основные понятия теории пиринговых систем 8
1.1 Понятие пиринговой сети 8
1.2 Классификация Р2Р систем 11
1.3 Типы оверлеев пиринговых сетей 15
1.3.1 Неструктурированные оверлеи 15
1.3.2 Структурированные оверлеи 17
1.4 Основные распределенные алгоритмы децентрализованных
пиринговых систем 18
1.4.1 Основные принципы и проблемы разработки распределенных систем 18
1.4.2 Обобщенный список распределенных алгоритмов
децентрализованных пиринговых систем 20
2 Моделирование децентрализованных пиринговых систем 23
2.1 Методы формального моделирования распределенных вычислений и систем 23
2.2 Языки программирования для распределенных и мобильных
вычислений 25
2.2.1 Язык программирования Pict 25
2.2.2 Язык программирования SALSA 26
2.2.3 Язык программирования JoCalm 27
2.3 Симуляторы для исследования пиринговых систем 28
2.3.1 Симулятор PeerSim 29
2.3.2 Симулятор GPS 30
2.3.3 Симулятор NeuroGrid 30
2.3.4 Симулятор Р2РSim 31
ЗАКЛЮЧЕНИЕ 33
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ 35
1 Основные понятия теории пиринговых систем 8
1.1 Понятие пиринговой сети 8
1.2 Классификация Р2Р систем 11
1.3 Типы оверлеев пиринговых сетей 15
1.3.1 Неструктурированные оверлеи 15
1.3.2 Структурированные оверлеи 17
1.4 Основные распределенные алгоритмы децентрализованных
пиринговых систем 18
1.4.1 Основные принципы и проблемы разработки распределенных систем 18
1.4.2 Обобщенный список распределенных алгоритмов
децентрализованных пиринговых систем 20
2 Моделирование децентрализованных пиринговых систем 23
2.1 Методы формального моделирования распределенных вычислений и систем 23
2.2 Языки программирования для распределенных и мобильных
вычислений 25
2.2.1 Язык программирования Pict 25
2.2.2 Язык программирования SALSA 26
2.2.3 Язык программирования JoCalm 27
2.3 Симуляторы для исследования пиринговых систем 28
2.3.1 Симулятор PeerSim 29
2.3.2 Симулятор GPS 30
2.3.3 Симулятор NeuroGrid 30
2.3.4 Симулятор Р2РSim 31
ЗАКЛЮЧЕНИЕ 33
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ 35
Информационные системы и технологии пронизывают все новые и новые сферы человеческой деятельности, за которыми стоят решения все более сложных научных и практических задач. Постоянно возрастают требования к скорости передачи, обработки и анализа данных, что вызывает соответствующие требования к скорости вычислительных процессоров и компьютерных сетей, объему хранимой информации, надежности систем передачи данных и т.п. Технологический прогресс в области цифровой схемотехники делает возможность повсеместного использования миниатюрных вычислительных систем и их связи с классическими архитектурами.
Несмотря на имеющиеся скептические прогнозы по поводу выполнимости закона Мура, характеристики процессоров, сетей и накопителей данных продолжают свой экспоненциальный рост. Действительно, проанализировав открытые данные можно убедиться, что за последние 40 -45 лет указанные характеристики увеличились на шесть порядков [7].
Если такие темпы роста сохраняться, то к 2031 году мы сможем увидеть дальнейшее тысячекратное улучшение характеристик аппаратных средств. В результате чего мобильные устройства, ноутбуки и персональные компьютеры будут иметь более 1000 процессоров. Сетевые магистрали будут иметь скорость более 100 терабит в секунду, а емкость накопителей данных буд ет измеряться в петабайтах.
Технологии глобальной сети Интернет также активно развиваются. Одним из основных факторов, обуславливающих научные и инженерные поиски в области новых технологий Интернет является продолжающийся «взрывной» рост трафика, который «делает затруднительным его концентрацию на отдельных узлах сети, и как следствие, порождает уже явно выраженную в последнее время тенденцию к переходу различных интернет - сервисов от клиент-серверной модели предоставления услуг сначала к частично распределённой ..., а затем и к полностью распределённой» [39]. Анализ динамики трафика Интернет показывает, что сегодня доля трафика традиционных сервисов (электронная почта, WWW, FTP) по сравнению с остальными видами трафика, достаточно мала и с течением времени только будет уменьшаться. Наибольший же рост объёмов интернет трафика наблюдается для трафика P2P сервисов и приложений, доля которого уже в 2007 году достигла 70% [39].
Термин «Р2Р» используется для описания широкого круга приложений и архитектур. Часть пиринговых систем была успешно апробирована на системах распределенных вычислений (SETI@home, XtremWeb), распределенного хранения данных (Publius, Kazaa, Gnutella), обмена сообщений (ICQ, Jabber), массовых онлайн играх и т.д. Во всех этих приложениях, на узлах распределяется часть ресурсов (вычислительная мощность, дисковое пространство и т.д.), непосредственно доступных другим узлам, распределенным по сети.
В последнее время технология пиринговых сетей активно используется на рынке онлайн-телевидения - P2P-TV [40], что обеспечило высокий научный интерес к разработке новых технологий построения распределенных технологий и алгоритмов.
Вместе с тем информация, относящаяся к методам формального описания, математического и компьютерного имитационного моделирования пиринговых систем, ровно как, и распределенных алгоритмов, применяемых в P2P сетях, носит разрозненный, несистематический характер. Кроме того, наблюдается острый дефицит литературы на русском языке, посвященной теме исследований. Поэтому тема работы является актуальной как с научной, так и с инженерной точек зрения.
Объектом исследований являются методология пиринговых систем. Предметом исследований являются систематизация методов формального описания, моделирования и реализации децентрализованных пиринговых систем.
Целью бакалаврской работы является системный анализ подходов и методов формального описания, математического и компьютерного моделирования, а также реализации децентрализованных пиринговых систем.
Для достижения поставленной цели были выделены следующие задачи:
1. На основе анализа современной научной литературы обобщить основную информацию по теории пиринговых систем.
2. Выполнить обзор методов формального описания и моделирования пиринговых систем.
3. Выполнить обзор специализированных языков программирования, предназначенных для реализации распределенных систем и вычислений.
4. Выполнить обзор программ-симуляторов Р2Р сетей.
Новизна исследования заключается в системном изложении научных знаний в области формального описания, моделирования и реализации децентрализованных пиринговых сетей.
Бакалаврская работа состоит из введения, двух глав, заключения, списка используемых источников.
В первой главе систематизируются основные положения теории пиринговых систем и основные подходы к формальному описанию Р2Р сетей.
Во второй главе рассматриваются языки реализации и приводится обзор программ симуляторов пиринговых сетей.
Несмотря на имеющиеся скептические прогнозы по поводу выполнимости закона Мура, характеристики процессоров, сетей и накопителей данных продолжают свой экспоненциальный рост. Действительно, проанализировав открытые данные можно убедиться, что за последние 40 -45 лет указанные характеристики увеличились на шесть порядков [7].
Если такие темпы роста сохраняться, то к 2031 году мы сможем увидеть дальнейшее тысячекратное улучшение характеристик аппаратных средств. В результате чего мобильные устройства, ноутбуки и персональные компьютеры будут иметь более 1000 процессоров. Сетевые магистрали будут иметь скорость более 100 терабит в секунду, а емкость накопителей данных буд ет измеряться в петабайтах.
Технологии глобальной сети Интернет также активно развиваются. Одним из основных факторов, обуславливающих научные и инженерные поиски в области новых технологий Интернет является продолжающийся «взрывной» рост трафика, который «делает затруднительным его концентрацию на отдельных узлах сети, и как следствие, порождает уже явно выраженную в последнее время тенденцию к переходу различных интернет - сервисов от клиент-серверной модели предоставления услуг сначала к частично распределённой ..., а затем и к полностью распределённой» [39]. Анализ динамики трафика Интернет показывает, что сегодня доля трафика традиционных сервисов (электронная почта, WWW, FTP) по сравнению с остальными видами трафика, достаточно мала и с течением времени только будет уменьшаться. Наибольший же рост объёмов интернет трафика наблюдается для трафика P2P сервисов и приложений, доля которого уже в 2007 году достигла 70% [39].
Термин «Р2Р» используется для описания широкого круга приложений и архитектур. Часть пиринговых систем была успешно апробирована на системах распределенных вычислений (SETI@home, XtremWeb), распределенного хранения данных (Publius, Kazaa, Gnutella), обмена сообщений (ICQ, Jabber), массовых онлайн играх и т.д. Во всех этих приложениях, на узлах распределяется часть ресурсов (вычислительная мощность, дисковое пространство и т.д.), непосредственно доступных другим узлам, распределенным по сети.
В последнее время технология пиринговых сетей активно используется на рынке онлайн-телевидения - P2P-TV [40], что обеспечило высокий научный интерес к разработке новых технологий построения распределенных технологий и алгоритмов.
Вместе с тем информация, относящаяся к методам формального описания, математического и компьютерного имитационного моделирования пиринговых систем, ровно как, и распределенных алгоритмов, применяемых в P2P сетях, носит разрозненный, несистематический характер. Кроме того, наблюдается острый дефицит литературы на русском языке, посвященной теме исследований. Поэтому тема работы является актуальной как с научной, так и с инженерной точек зрения.
Объектом исследований являются методология пиринговых систем. Предметом исследований являются систематизация методов формального описания, моделирования и реализации децентрализованных пиринговых систем.
Целью бакалаврской работы является системный анализ подходов и методов формального описания, математического и компьютерного моделирования, а также реализации децентрализованных пиринговых систем.
Для достижения поставленной цели были выделены следующие задачи:
1. На основе анализа современной научной литературы обобщить основную информацию по теории пиринговых систем.
2. Выполнить обзор методов формального описания и моделирования пиринговых систем.
3. Выполнить обзор специализированных языков программирования, предназначенных для реализации распределенных систем и вычислений.
4. Выполнить обзор программ-симуляторов Р2Р сетей.
Новизна исследования заключается в системном изложении научных знаний в области формального описания, моделирования и реализации децентрализованных пиринговых сетей.
Бакалаврская работа состоит из введения, двух глав, заключения, списка используемых источников.
В первой главе систематизируются основные положения теории пиринговых систем и основные подходы к формальному описанию Р2Р сетей.
Во второй главе рассматриваются языки реализации и приводится обзор программ симуляторов пиринговых сетей.
В ходе выполнения бакалаврской работы был выполнен анализ научной литературы по теме моделирования децентрализованных пиринговых систем.
Были обобщены понятия и классификация понятий, касающихся теории распределённых вычислений и систем в части касающейся Р2Р сетей. Было показана место пиринговых сетей в классификации распределённых систем. Была рассмотрена классификация Р2Р сетей с точки зрения централизации архитектуры. Данная классификация включает три вида Р2Р сетей: централизованные, частично централизованные и децентрализованные сети.
В свою очередь независимо от архитектуры Р2Р сети могут образовывать различные логические топологии - оверлеи. Было показано, что различают два вида оверлеев: неструктурированные и структурированные.
Структурированные оверлеи могут строиться по различным топологиям, таким как: кольцо, бабочка, гиперкуб, d-тор, графы де Брюйна и т.д.
Несмотря на различные архитектуры и топологии, пиринговые сети должны поддерживать различные группы распределенных алгоритмов, которые бы решали основные проблемы распределённых вычислений, а именно проблемы: синхронизации, балансировки нагрузки и отказоустойчивости. Для решения этих проблем были отмечены алгоритмы поиска консенсуса и выбора лидирующего звена. Типовые алгоритмы, используемые Р2Р сетями, было предложено объединить в семь групп, среди которых: алгоритмы текучести, маршрутизации, коммуникации, синхронизации, балансировки нагрузки, отказоустойчивости и алгоритмы доверия.
В первой части второй главы был рассмотрен список методов формального моделирования распределенных, в том числе пиринговых, систем. Как было показано, основу рассмотренных методов составляет Х-исчисление. Однако настоящий прорыв в области моделирования и анализа параллельных и распределённых вычислений осуществило п-исчисление, разработанное в 1992 году. Как показал анализ научной литературы, в дальнейшем на основе п- исчисления были разработаны более полные и современные подходы, такие как исчисление акторов, исчисление соединений процессов и др.
На базе методов формального описания распределенных систем на протяжении двух десятилетий разрабатывались специальные языки программирования распределенных вычислений. В работе кратко рассмотрены такие языки как Pict, SALSA, JoCalm. Также было отмечено их отличие от таких популярных языков программирования, позволяющих писать распределённые алгоритмы, как Java и C++.
В завершении исследования была рассмотрена проблема компьютерного имитационного моделирования. Для этой цели был разработан достаточно большой ряд Р2Р симуляторов, ориентированных на решение различных топологий и задач в области Р2Р сетей. В работе были приведены основные сведения о возможности таких симуляторов как PeerSim, GPS, NeuroGrid, P2PSim. Также было отмечено, что существует явная проблема разработки современного симулятора, способного моделировать пиринговые сети, содержащие десятки и сотни миллионов узлов и поддерживающие основные свойства пиринговых сетей, таких как масштабируемость, мобильность и распределённость.
Выполненный обзор основан на анализе более чем 50 научных источников, среди которых 37 источников на иностранном языке, в том числе 29 статей и 5 монографий.
Были обобщены понятия и классификация понятий, касающихся теории распределённых вычислений и систем в части касающейся Р2Р сетей. Было показана место пиринговых сетей в классификации распределённых систем. Была рассмотрена классификация Р2Р сетей с точки зрения централизации архитектуры. Данная классификация включает три вида Р2Р сетей: централизованные, частично централизованные и децентрализованные сети.
В свою очередь независимо от архитектуры Р2Р сети могут образовывать различные логические топологии - оверлеи. Было показано, что различают два вида оверлеев: неструктурированные и структурированные.
Структурированные оверлеи могут строиться по различным топологиям, таким как: кольцо, бабочка, гиперкуб, d-тор, графы де Брюйна и т.д.
Несмотря на различные архитектуры и топологии, пиринговые сети должны поддерживать различные группы распределенных алгоритмов, которые бы решали основные проблемы распределённых вычислений, а именно проблемы: синхронизации, балансировки нагрузки и отказоустойчивости. Для решения этих проблем были отмечены алгоритмы поиска консенсуса и выбора лидирующего звена. Типовые алгоритмы, используемые Р2Р сетями, было предложено объединить в семь групп, среди которых: алгоритмы текучести, маршрутизации, коммуникации, синхронизации, балансировки нагрузки, отказоустойчивости и алгоритмы доверия.
В первой части второй главы был рассмотрен список методов формального моделирования распределенных, в том числе пиринговых, систем. Как было показано, основу рассмотренных методов составляет Х-исчисление. Однако настоящий прорыв в области моделирования и анализа параллельных и распределённых вычислений осуществило п-исчисление, разработанное в 1992 году. Как показал анализ научной литературы, в дальнейшем на основе п- исчисления были разработаны более полные и современные подходы, такие как исчисление акторов, исчисление соединений процессов и др.
На базе методов формального описания распределенных систем на протяжении двух десятилетий разрабатывались специальные языки программирования распределенных вычислений. В работе кратко рассмотрены такие языки как Pict, SALSA, JoCalm. Также было отмечено их отличие от таких популярных языков программирования, позволяющих писать распределённые алгоритмы, как Java и C++.
В завершении исследования была рассмотрена проблема компьютерного имитационного моделирования. Для этой цели был разработан достаточно большой ряд Р2Р симуляторов, ориентированных на решение различных топологий и задач в области Р2Р сетей. В работе были приведены основные сведения о возможности таких симуляторов как PeerSim, GPS, NeuroGrid, P2PSim. Также было отмечено, что существует явная проблема разработки современного симулятора, способного моделировать пиринговые сети, содержащие десятки и сотни миллионов узлов и поддерживающие основные свойства пиринговых сетей, таких как масштабируемость, мобильность и распределённость.
Выполненный обзор основан на анализе более чем 50 научных источников, среди которых 37 источников на иностранном языке, в том числе 29 статей и 5 монографий.
Подобные работы
- Компьютерные модели анализа архитектур пиринговых систем
Бакалаврская работа, информатика. Язык работы: Русский. Цена: 4310 р. Год сдачи: 2019