Теория марковских цепей берёт своё начало с работы А.А. Маркова 1907 года о последовательностях испытаний, «связанных в цепь». Общая теория марковских процессов была создана в тридцатых-сороковых годах работами А. Н. Колмогорова, В. Феллера, В. Деблина, П. Леви и других.
Марковские процессы находят широкое применение в различных областях, в частности, системах массового обслуживания, теории надёжности, применениях методов Монте-Карло для высокопроизводительных вычислений. Поэтому изучение марковских процессов включено в программу высшего образования по многим специальностям.
В данной работе изучаются однородные марковские цепи с конечным числом состояний и дискретным временем. Как известно, такая цепь определяется стохастической матрицей переходных вероятностей. Чтобы вычислить вероятности перехода за к шагов, следует возвести исходную матрицу в к-ук>степень. При увеличении числа шагов и большом количестве состояний цепи, вычисление матрицы переходных вероятностей усложняется. В данной работе будут рассмотрены различные способы нахождения переходных вероятностей, которые дают возможность упростить вычисления. Стохастические матрицы являются частным видом неотрицательных матриц, для которых существует развитая теория, использующая графы матриц, каноническую форму Фробениуса и особые свойства спектра. Эти понятия и свойства применяются в работе к стохастическим матрицам. Основную же роль играют методы линейной алгебры и теории матриц.
В параграфе 1 даются определения неотрицательной матрицы и ориентированного графа, доказывается лемма, указывающая на их взаимосвязь. Также говорится о неразложимых матрицах, которые в свою очередь можно разделить на примитивные и импримитивные.
В параграфе 2 речь пойдёт о стохастических матрицах, которые рассматриваются как матрицы переходных вероятностей марковской цепи. Показывается, что вероятность перехода из произвольного состояния iв произвольное состояние jмарковской цепи равна (ij)-элементу стохастической матрицы Рк. Также вводится понятие формы Фробениуса, индекса импримитивности графа и матрицы.
В параграфе 3 вводятся понятия периодической и чисто периодической последовательности матриц. Говорится об условиях при которых последовательность стохастических матриц Р, Р2,... является периодической или чисто периодической. Также рассмотрены примеры последовательностей Р, Р2,..., с различным периодом.
Параграф 4 начинается с определения скелетного разложения матрицы Р. Сам параграф посвящён применению скелетного разложения к стохастическим матрицам с целью упрощения вычислений переходных вероятностей марковской цепи. Для этого была доказана теорема, в которой указываются условия при которых матрицу переходных вероятностей можно выразить через матрицу наименьшего возможного порядка. Также на примерах было показано применение скелетного разложения.
В параграфе 5 введено понятие ганкелевой матрицы, для которой была доказаны теорема Кронекера, методом отличным от известных нам из литературы. Далее показана возможности представления ганкелевых матриц в виде матриц переходных вероятностей марковской цепи. Также описан способ построения матрицы наименьшего возможного порядка для вычисления переходных вероятностей для данной пары состояний цепи.
В данной работе мы рассмотрели различные способы нахождения матрицы перехода марковской цепи с целью возможного упрощения вычислений. В качестве матрицы переходных вероятностей марковской цепи используют стохастическую матрицу. Доказана теорема, с помощью которой можно определить будет ли последовательность матрицР,Р2,... периодической, где через Р обозначена матрица переходных вероятностей. Если данная последовательность окажется периодической, то было показано, что наименьший показатель q, для которого существует показатель s (s >q) со свойств ом Рs= Рq, не превышает п. Далее рассматривается скелетное разложение стохастической матрицы. Доказана теорема, которая говорит, что число применений скелетного разложения к матрице Р, которое может уменьшить порядок данной матрицы, равно наибольшему из порядков жордановых клеток с собственным значением равным 0. Далее рассматриваются применение ганкелевых матриц для изучения переходных вероятностей для данной пары состояний. Доказана теорема Кронекера, способом отличным от известных нам из литературы. Также показан способ построения матрицы наименьшего возможного порядка для вычисления переходных вероятностей для данной пары состояний цепи и построение соответствующей ганкелевой матрицы.
