Введение
Глава 1. Обзор предметной области 3
Глава 2. Формирование основного результата 6
Глава 3. Методы экспериментального доказательства 9
Глава 4. Обсуждение полученных результатов 16
Глава 5.
Литература 18
Приложение
В последние годы идея самоорганизующихся систем - сложных систем, в которых случайные значения организуются в некий порядок, приобретает все большее влияние. Эти случайные величины, могут быть распределены по - разному, но нас будет интересовать именно степенное распределение. Широкое применение степенных законов в real networks, биологии, бизнесе, экономике и лингвистике можно объяснить в рамках различных математических моделей.
Одним из примеров может служить закон Ципфа, который был популяризирован Джорджем Ципфом - лингвистом из Гарвардского университета. Закон Ципфа утверждает, что если упорядочить по частоте встречаемости список словоформ, то частота r-ой словоформы будет обратно пропорциональна её рангу и будет задаваться степенной функцией: /(r) = cr~a, где r - ранг словоформы. Напомним, что такие словоформы как «the», «of» и «and» используются чаще всего в английских текстах. Согласно закону Ципфа слово «the» встречается в два разе чаще, чем слово «of» и в три раза чаще, чем слово «and» [1]. По статистике каждое 16 слово в английском языке - это «the». Для русского языка тройку самых популярных слов составляют: «и», «в», «не» и для них тоже справедлив закон Ципфа.
Мир хаотичен, как нам кажется, и вещи в нем распределены рядами способов и не только степенной зависимостью, но удивительно, что язык, личное и осознанное нами, поддается такому простому, как казалось бы, правилу. Мы можем с уверенностью сказать, что любой язык в мире (даже мертвый язык) ципфичен.
В объяснении почему язык ципфичен нам может помочь еще одно степенное распределение - распределение Парето. А именно принцип Парето, который гласит, что 20% всех усилий, дают 80% результата. Также и в языке 20% самых используемых слов составляют 80% нашей речи. Достаточно 20% языка, чтобы ежедневно понимать друг друга. Наверное полиглоты знают этот секрет, поэтому выучить новый язык им не составляет труда. Сам Джордж Ципф полагал, что такое интересное распределение слов в языках можно было объяснить принципом наименьшего усилия - тенденции, заставляющие жизнь следовать по пути наименьшего сопротивления. Принцип наименьшего усилия играл большую роль в поведении человека. И когда язык развивался, рассказчики естественно предпочитали извлекать как можно меньше слов для описания своих мыслей. В свою очередь для более точного и лучшего понимания рассказчика слушатели предпочитали больший набор слов для большего разнообразия, чтобы им приходилось тратить меньше усилий на понимание того, что хотел донести до них рассказчик.
Другое объяснение закона Ципфа предложил Бенуа Мандельброт - французский и американский математик. Для нас является интересным, что в дальнейшем он предложил наиболее простое объяснение закона Ципфа, назвав ее моделью обезьяны. Он объяснил закон на основе простой вероятностной модели, где все символы в тексте (в том числе и пробел) набирает мартышка - машинистка, которая не знает алфавит и символы в тексте появляются независимо друг от друга с определенной вероятностью. И оказалось, что с ростом длины слов их количество возрастает экспоненциально. И слова располагались в частотном списке в зависимости от их длины.
Но стоит отметить, что буквы в реальных словах зависимы. И мы попробуем модифицировать и применить различные модели для исследования закона Ципфа для случая зависимых букв.
