Тема: Энтропия распределений случайных процессов

Пусть (X, d) - метрическое пространство, A С X - некоторое компактное множе­ство. Поскольку в любом покрытии компактного множества открытыми множе­ствами найдётся конечное подпокрытие, то естественным является желание коли­чественно измерить сложность покрытия этого компактного множества. Обозна­чим N(A, е) минимальное число замкнутых шаров радиуса е, достаточное, чтобы покрыть A. Величина
H(A, е) := log N(A, s) называется энтропией компакта A или метрической энтропией A в пространстве X.
Идея использования энтропии компактов для измерения «массивности» мно­жеств в метрических пространствах восходит ещё к довоенным работам Л.С. Пон­трягина и Л.Г. Шнирельмана. А.Н. Колмогоров [20] инициировал систематическое изучение энтропии компактов для различных классов множеств, особенно для ком­пактных классов функций в функциональных пространствах, см., например, зна­менитый обзор А.Н. Колмогорова и В.М. Тихомирова [21], комментарий к нему В.М. Тихомирова [25], а также его обзоры [26, 27]. Вскоре энтропия компактов также нашла замечательные применения в теории вероятностей, где Р. Дадли, В.Н. Судаков и К. Ферник на её основе исследовали траекторные свойства гаус­совских случайных процессов, см., например, [22, 23].
Следуя К. Шеннону [13, Приложение 7], похожим образом можно ввести поня­тие энтропии метрического пространства с борелевской мерой (X, d, P), полагая
Nmm(s,5) := min {n | 3x1,..., xn : P (X Lj=1 B(xj, s)) < 5} ;
Hmm(s,5) := log Nmm(s,5),
где B(x, r) здесь и далее обозначает замкнутый шар радиуса r с центром в х. Это определение активно использует тот факт, что мера P с точностью до произвольно малой массы сосредоточена на компакте [28]. Индекс «mm» означает «measure­metric» по аналогии с mm-пространствами, введенными Громовым в [6]. Величину Hmm(.,.) в дальнейшем будем называть mm-энтропией. Более детальный анализ структуры «метрика плюс мера» см. [17].
Многие авторы впоследствии переоткрывали это определение. В литературе изучались близкие по смыслу к mm-энтропии, но интегральные по форме показа­тели е-дискретизации (quantization) пространства с мерой.
Ошибка дискретизации (quantization error) в интегральном виде равна
inf / min d(x, {х1,..., xn})qP(dx) xi,...,xn J X
для некоторого показателя q.
Такие моментные характеристики ошибок дискретизации используются в об­ширной литературе, мотивированной передачей сигналов с помощью словарей.
Упомянем для примера работы Г. Лушги и Ж. Пажеса [12], Ш. Дерайха с соав­торами [2, 3, 4, 5]. С другой стороны, А.М. Вершик [14] для построения новых инвариантов в эргодической теории использовал в качестве меры ошибки дискре­тизации расстояние Канторовича. В работе была введена энтропия на метрическом пространстве (X, р) относительно борелевской меры р как
H(р, р,е) = inf H(v),
где инфимум пробегает по всем дискретным распределениям v таким, что они находятся в ^-окрестности меры р по метрике Канторовича кр, а H(p) для дис­кретного распределения p = (p1,... ,pn) определяется классическим образом как
H (Р) = “52 Pilog Р^.
Напомним, что расстояние Канторовича относительно пространства с метрикой (X, dist) между вероятностными мерами р1,р2 определяется следующим образом:
kdist(pi,P2) = inf dist(x,y)Y (dx,dy),
Т€Г(дх,Д2) J JxxX
где Г(р1,р2) - семейство вероятностных мер с носителем X х X, т.ч. их марги­нальные распределения совпадают с р1 и р2. Непосредственно формула для mm- энтропии сигналов обсуждалась разве что в [24] и нескольких других работах тех же авторов.
То, что названо выше mm-энтропией метрического пространства с мерой и фак­тически есть в работе Шеннона, есть самое естественное по своему объему понятие энтропии, и энтропия компактов это лишь его частный случай при 5 ^ 0. Поэтому представляет интерес систематическое исследование и вычисление mm-энтропии метрических (и, в частности, линейных нормированных) пространств с мерой, ко­торое начато в статье [18] для банаховых пространств с гауссовской мерой.
Отметим, что mm-энтропия предлагалась в [14] в качестве обобщения энтропии по Колмогорову для уже произвольных автоморфизмов, сохраняющих меру, под названием масштабированной энтропии. Без понятия mm-энтропии такое обобще­ние невозможно определить.
В то время как энтропии компактов, энтропии динамических систем и их много­численным применениям посвящены едва ли не тысячи работ, mm-энтропия прак­тически не изучалась и мало использовалась в приложениях.
Стоит ещё упомянуть пользу mm-энтропии для общей теории метрических про­странств с мерой, развиваемой в разных направлениях (Громов [6], Вершик [16]), а именно, с точки зрения классификации: mm-энтропия является нетривиальным инвариантом mm-пространств относительно изометрий, сохраняющих меру, и по­этому позволяет утверждать, например, отсутствие изоморфизма двух таких про­странств, если их mm-энтропии различны.
Купить

В работе для широкого класса банаховых пространств с гауссовской мерой по­казано, что их энтропия в смысле Шеннона (mm-энтропия) тесно связана с энтропией соответствующего эллипсоида рассеяния, в определённом диапа­зоне ведёт себя так же, как логарифм меры малых шаров. Полученные оценки обобщают недавние результаты работы А.М. Вершика и М.А. Лифшица.
Купить