Энтропийный анализ негауссовских мер

1 Используемые обозначения 3
2 Асимптотика mm-энтропии пространства Rn с абсолютно непрерывной
мерой 3
2.1 Основной результат 4
2.2 Доказательство основного результата 4
3 Асимптотика mm-энтропии пуассоновского процесса 8
3.1 Основной результат 13
3.2 Доказательство основного результата 14
4 Заключение 15
Литература 15
Купить

История термина ’’энтропия” восходит корнями ко второй половине XIX века, когда уче­ные стремились познать и описать законы термодинамики. Одним из первых, кто опре­делил понятие энтропии (термодинамической энтропии), был немецкий физик-теоретик Рудольф Клаузиус, который подобным образом обозначал меру необратимого рассеива­ния энергии, т.е. энергию, которая не шла на совершение ’полезной” работы. Им был введен и сам термин, с греческого означающий ev en ”в” + rgonn trope ’превращение”.
В дальнейшем Людвиг Больцман разработал аналог энтропии в статистической ме­ханике: так он определил величину, пропорциональную логарифму числа состояний, в которых может находиться система. Больцман рассматривал энтропию как меру ’запутан­ности” системы. В настоящее время энтропия Больцмана-Гиббса имеет фундаментальное значение в физике.
Нас же в данной работе будет интересовать информационная энтропия, среди перво­открывателей которой - Клод Шеннон, Джон фон Нейман и Норберт Виннер. Подробнее об истории развития можно прочесть в работе А.М.Вершика. Энтропия Шеннона стала ключевым объектом множества разделов математики, включая теоритическую информа­тику, теорию динамических систем, эргодическую теорию и теорию вероятностей.
Начнем с двух определений, первое из которых общеизвестно, а второе фактически есть у Шеннона.
Пусть (X, d) - метрическое пространство, A С X - компактное подмножество X. Обо­значим за N (A, е) наименьшее число замкнутых шаров радиуса Е, необходимое для по­крытия множества A. Величина
H (A, е) := ln N (A, е)
называется энтропией компакта A (или метрической энтропией компакта A).
Определение энтропии вероятностной меры, данное Шенноном, можно обобщить на другие объекты. Для метрического пространства с борелевской мерой (X, d, P) рас­смотрим понятие mm-энтропии:
Nmm(E, А) := min{n : 3x1, x2 ... ,xn : P(X An=1B(xi, e) < А}.
Hmm(E,5) := In Nmm(E,A),
где B(x, r) - замкнутый шар с центром в точке x и радиуса г. Отметим, что данное опре­деление использует тот хорошо известный факт, что мера P с точностью до произвольно малой массы сосредоточена на компакте. Индекс ”mm” означает ’measure-metric” по аналогии с mm-пространствами Громова. Величину Hmm(-, •) будем называть mm- энтропией пространства. Более детальный анализ структуры ”метрика плюс мера”.
Идея использования энтропии компактов для измерения ”массивности” множеств в метрических пространствах восходит ещё к довоенным работам Л.С.Понтрягина и Л.Г. Шнирельмана. Новую главу в теории информации и энтропии открыли знаменитые рабо­ты К.Шеннона. Они усилили интерес А.Н.Колмогорова к различным аспектам этой тео­рии. В частности, А.Н.Колмогоров начал изучать энтропию покрытия разных классов множеств, большое внимание уделяя именно компактам. Например, см. знаменитый обзор А.Н.Колмогорова и В.М.Тихомирова, также комментарий к нему В.М.Тихомирова, и обзоры. Вскоре энтропия компактов нашла неожиданные применения в теории вероятностей, где Р.Дадли, В.Н.Судаков и К.Ферник на её основе исследовали траектор­ные свойства гауссовских случайных процессов.
Интерес к изучению mm-энтропии связан в том числе и с тем, что она позволяет определить нетривиальный инвариант mm-пространств относительно изометрий, сохра­няющих меру. Так, например, мы можем утверждать об отсутствии изоморфизма двух mm-пространств, если их mm-энтропии различны.
Одними из первых стали изучать mm-энтропию А.М.Вершик и М.А.Лифшиц: в сов­местной работе они показали, что для широкого класса банаховых пространств с гаус­совской мерой mm-энтропия тесно связана с энтропией соответствующего эллипсоида рассеивания.
Купить