СРАВНЕНИЕ РАЗЛИЧНЫХ ПОДХОДОВ К ОЦЕНИВАНИЮ ПАРАМЕТРА МОДЕЛИ УСТОЙЧИВОЙ АВТОРЕГРЕССИИ ПЕРВОГО ПОРЯДКА С ДИСКРЕТНЫМ ВРЕМЕНЕМ
|
РЕФЕРАТ 3
ВВЕДЕНИЕ 4
ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ 6
1 ХАРАКТЕРИСТИКА ВРЕМЕННЫХ РЯДОВ. ПОНЯТИЕ АНАЛИЗА ВРЕМЕННЫХ РЯДОВ 8
2 БАЙЕСОВСКИЙ ПОДХОД К СТАТИСТИЧЕСКОМУ ОЦЕНИВАНИЮ 9
2.1 Байесовский риск и байесовские решения 10
2.2 Неотрицательные функции потерь 11
3 МЕТОД НАИМЕНЬШИХ КВАДРАТОВ 13
4 ПОСЛЕДОВАТЕЛЬНОЕ ОЦЕНИВАНИЕ 18
4.1 Последовательный выбор 19
4.2 Процедура последовательного оценивания 23
4.3 Риск процедуры последовательного оценивания 25
4.4 Оптимальность процедуры оценивания с фиксированным числом шагов наблюдения 26
4.5 Эквивалентность процедур статистического решения и моментов остановки 28
4.6 Экономичность последовательного критерия 28
5 СРАВНЕНИЕ РАЗЛИЧНЫХ ПОДХОДОВ К ОЦЕНИВАНИЮ ПАРАМЕТРА МОДЕЛИ
УСТОЙЧИВОЙ АВТОРЕГРЕССИИ ПЕРВОГО ПОРЯДКА С ПОМОЩЬЮ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ 31
5.1 Постановка задачи 31
5.2 Исследование разности рисков 31
5.3 Последовательный подход к оцениванию 41
5.4 Средняя асимптотическая длительность процедуры 45
5.5 Усеченная последовательная процедура оценивания 46
ЗАКЛЮЧЕНИЕ 59
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 62
ПРИЛОЖЕНИЕ А 64
ПРИЛОЖЕНИЕ Б 66
ВВЕДЕНИЕ 4
ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ 6
1 ХАРАКТЕРИСТИКА ВРЕМЕННЫХ РЯДОВ. ПОНЯТИЕ АНАЛИЗА ВРЕМЕННЫХ РЯДОВ 8
2 БАЙЕСОВСКИЙ ПОДХОД К СТАТИСТИЧЕСКОМУ ОЦЕНИВАНИЮ 9
2.1 Байесовский риск и байесовские решения 10
2.2 Неотрицательные функции потерь 11
3 МЕТОД НАИМЕНЬШИХ КВАДРАТОВ 13
4 ПОСЛЕДОВАТЕЛЬНОЕ ОЦЕНИВАНИЕ 18
4.1 Последовательный выбор 19
4.2 Процедура последовательного оценивания 23
4.3 Риск процедуры последовательного оценивания 25
4.4 Оптимальность процедуры оценивания с фиксированным числом шагов наблюдения 26
4.5 Эквивалентность процедур статистического решения и моментов остановки 28
4.6 Экономичность последовательного критерия 28
5 СРАВНЕНИЕ РАЗЛИЧНЫХ ПОДХОДОВ К ОЦЕНИВАНИЮ ПАРАМЕТРА МОДЕЛИ
УСТОЙЧИВОЙ АВТОРЕГРЕССИИ ПЕРВОГО ПОРЯДКА С ПОМОЩЬЮ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ 31
5.1 Постановка задачи 31
5.2 Исследование разности рисков 31
5.3 Последовательный подход к оцениванию 41
5.4 Средняя асимптотическая длительность процедуры 45
5.5 Усеченная последовательная процедура оценивания 46
ЗАКЛЮЧЕНИЕ 59
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 62
ПРИЛОЖЕНИЕ А 64
ПРИЛОЖЕНИЕ Б 66
В задачах обработки временных рядов широко используются авторегрессионные модели, описывающие стационарные случайные процессы. Параметры таких моделей в большинстве случаев неизвестны, поэтому перед использованием модели требуется идентифицировать ее параметры непосредственным оцениванием. Проблема оценивания параметров является одной из основных проблем статистического анализа данных.
Асимптотические методы идентификации, такие, например, как метод максимального правдоподобия [1], метод моментов [1], метод наименьших квадратов [1], [2], [9], позволяют находить оценки неизвестных параметров с известными статистическими свойствами при неограниченном увеличении объема наблюдений. В то же время, последовательный метод оценивания параметров позволяет получить оценки с гарантированным качеством в среднеквадратическом смысле за конечное время. Время оценивания при этом определяется правилом остановки, построенным по наблюдаемому процессу [10].
В большинстве практических задач имеется ограниченное доступное число шагов наблюдений, часто измеряемое единицами, а потери существенно нелинейно растут с увеличением числа шагов наблюдений. Кроме того, измеряемый параметр часто не постоянен, а является случайным процессом [11].
В связи с этим представляет интерес рассмотреть задачу последовательного оценивания случайных процессов при функциях потерь квадратичной формы. Важным является также нахождение оптимальных правил остановки наблюдений в ситуациях, когда последовательная процедура оптимальна [И].
В настоящее время актуальной задачей математической статистики является развитие методов обработки данных на основе выборок с фиксированным объемом. Одним из таких подходов является хорошо известный последовательный метод оценивания, который успешно применяется для параметрических и непараметрических задач. Этот подход впервые был применен А. Вальдом для независимых наблюдений [5]. В дальнейшем эта идея была применена для задач оценивания параметров зависимых наблюдений во многих исследованиях (Р. Липцер [9], А. Ширяев [9], В. Борисов [12], В. Конев [12]-[16], В. Васильев [20], Т. Шрирам [17]-[19] и т.д.).
Для получения последовательных оценок с произвольной точностью, необходимо иметь выборку неограниченного размера. Однако на практике время наблюдения системы, как правило, не только конечно, но фиксировано. Одним из подходов нахождения оценок с гарантированной точностью при использовании выборки фиксированного объема является подход усеченного последовательного оценивания. Метод усеченной процедуры оценивания был разработан Д. Фурдринье, В. Коневым, С. Пергаменщиковым [13] и другими для решения задач параметрического оценивания динамических моделей в дискретном времени.
При последовательном оценивании число наблюдений заранее неизвестно, оно определяется в ходе наблюдения процесса. При решении практических задач может оказаться, что при заданном объеме выборки момент остановки не достигается. В этом случае используют усеченную последовательную процедуру.
Целью исследования является сравнение байесовской, последовательной и усеченной последовательной процедур оценивания параметра модели устойчивой авторегрессии первого порядка с дискретным временем.
Рассматривается задача оценивания параметра процесса xt, заданного стохастическим разностным уравнением
Xi = ЛХ^ + OEi, i = 1,2,..., (1)
где Хо = О,Е[ - независимые одинаково распределенные случайные величины. ЕЕ^ = О, VarEi = <т2 < +оо, а также анализ разности рисков, построенных согласно байесовскому и последовательному подходам к оцениванию.
Асимптотические методы идентификации, такие, например, как метод максимального правдоподобия [1], метод моментов [1], метод наименьших квадратов [1], [2], [9], позволяют находить оценки неизвестных параметров с известными статистическими свойствами при неограниченном увеличении объема наблюдений. В то же время, последовательный метод оценивания параметров позволяет получить оценки с гарантированным качеством в среднеквадратическом смысле за конечное время. Время оценивания при этом определяется правилом остановки, построенным по наблюдаемому процессу [10].
В большинстве практических задач имеется ограниченное доступное число шагов наблюдений, часто измеряемое единицами, а потери существенно нелинейно растут с увеличением числа шагов наблюдений. Кроме того, измеряемый параметр часто не постоянен, а является случайным процессом [11].
В связи с этим представляет интерес рассмотреть задачу последовательного оценивания случайных процессов при функциях потерь квадратичной формы. Важным является также нахождение оптимальных правил остановки наблюдений в ситуациях, когда последовательная процедура оптимальна [И].
В настоящее время актуальной задачей математической статистики является развитие методов обработки данных на основе выборок с фиксированным объемом. Одним из таких подходов является хорошо известный последовательный метод оценивания, который успешно применяется для параметрических и непараметрических задач. Этот подход впервые был применен А. Вальдом для независимых наблюдений [5]. В дальнейшем эта идея была применена для задач оценивания параметров зависимых наблюдений во многих исследованиях (Р. Липцер [9], А. Ширяев [9], В. Борисов [12], В. Конев [12]-[16], В. Васильев [20], Т. Шрирам [17]-[19] и т.д.).
Для получения последовательных оценок с произвольной точностью, необходимо иметь выборку неограниченного размера. Однако на практике время наблюдения системы, как правило, не только конечно, но фиксировано. Одним из подходов нахождения оценок с гарантированной точностью при использовании выборки фиксированного объема является подход усеченного последовательного оценивания. Метод усеченной процедуры оценивания был разработан Д. Фурдринье, В. Коневым, С. Пергаменщиковым [13] и другими для решения задач параметрического оценивания динамических моделей в дискретном времени.
При последовательном оценивании число наблюдений заранее неизвестно, оно определяется в ходе наблюдения процесса. При решении практических задач может оказаться, что при заданном объеме выборки момент остановки не достигается. В этом случае используют усеченную последовательную процедуру.
Целью исследования является сравнение байесовской, последовательной и усеченной последовательной процедур оценивания параметра модели устойчивой авторегрессии первого порядка с дискретным временем.
Рассматривается задача оценивания параметра процесса xt, заданного стохастическим разностным уравнением
Xi = ЛХ^ + OEi, i = 1,2,..., (1)
где Хо = О,Е[ - независимые одинаково распределенные случайные величины. ЕЕ^ = О, VarEi = <т2 < +оо, а также анализ разности рисков, построенных согласно байесовскому и последовательному подходам к оцениванию.
Одна из центральных задач статистического анализа реальной системы заключается в вычислении (на основании имеющихся статистических данных) как можно более точных приближенных значений - статистических оценок - для одного или нескольких числовых параметров, характеризующих функционирование этой системы.
Приведем выводы и основные результаты проделанной работы.
1. Проведено сравнение байесовской, последовательной и усеченной последовательной процедур оценивания параметра модели устойчивой авторегрессии первого порядка с дискретным временем.
2. При использовании байесовской процедуры оценивания вводится некоторая функция потерь, которая характеризуется как мера расхождения между истинным значением оцениваемого параметра и его оценкой. В свою очередь риск определяется как математическое ожидание функции потерь. Риск функции потерь минимизируется оптимальным объемом выборки. Однако бесполезно использовать оптимальный объем выборки в случае неизвестных параметров <т2 и А. В этом случае используется последовательная процедура оценивания.
3. Последовательный метод оценивания параметров позволяет получить оценки с гарантированным качеством в среднеквадратическом смысле за конечное время. Время оценивания определяется правилом остановки, построенным по наблюдаемому процессу. Для моделей авторегрессии первого порядка с дискретным временем можно построить последовательную оценку, представляющую собой оценку по методу наименьших квадратов, вычисленную в момент остановки.
4. Для получения последовательных оценок с произвольной точностью, необходимо иметь выборку неограниченного размера. Однако на практике время наблюдений системы, как правило, не только конечно, но фиксировано. Одним из подходов нахождения оценок с гарантированной точностью при использовании выборки фиксированного объема является подход усеченного последовательного оценивания. Усеченная последовательная оценка основана на оценке по методу наименьших квадратов.
5. Исследование разности рисков.
В работе был проведен анализ разности рисков последовательной и байесовской процедур оценивания RtA — Rno, когда ошибка £;- соответствует различным распределениям. Проведено численное моделирование оценивания параметров и вычисления разности рисков. Параметр А изменяется от 0.1 до 0.9 с шагом 0.1. Использовались следующие распределения: а) стандартное нормальное; б) смешанное нормальное распределение
(1 — а)У(0,1) +
о В случае стандартного нормального распределения разность рисков становится отрицательной при увеличении параметра А. При А = 4000 разность рисков отрицательна, когда Л < 0.3; при А = 10 000 разность рисков отрицательна, когда Л < 0.5;
о В случае смешанного нормального распределения с <т2 = 1.08 разность рисков отрицательна при каждом А, исключая случай А = 1 000, Л > 0.84;
о В случае смешанного нормального распределения с <т2 = 1.4 разность рисков становится отрицательной при увеличении параметра А. При А = 4000 разность рисков отрицательна, когда Л < 0.5; при А = 10 000 разность рисков отрицательная, когда Л < 0.68;
о В случае смешанного нормального распределения с <т2 = 1.8 разность рисков отрицательна при каждом А, исключая случай А = 400, Л > 0.7;
Таким образом, численным моделированием продемонстрировано, что использование последовательного оценивания параметра Л эффективно минимизирует риск функции потерь, что является подтверждением эффективности последовательного подхода к оцениванию параметров модели устойчивой авторегрессии первого порядка.
6. Исследование последовательной процедуры оценивания.
Проведено численное моделирования для вычисления момента остановки, а также для оценивания неизвестных параметров модели авторегрессии первого порядка. Вычислено среднеквадратическое отклонение последовательной оценки от истинного значения параметра.
о При одинаковом объеме выборки с увеличением значения цены наблюдения увеличивается значение момента остановки, за чем следует уменьшение среднеквадратического отклонения, т.е. с увеличением цены наблюдений точность оценивания становится выше, а значит и оценки становятся более эффективными.
о Момент остановки последовательной процедуры оценивания обладает свойством асимптотической эффективности. В последовательных процедурах можно получить заданную среднеквадратическую точность путем выбора порога процедуры. Численное моделирование свидетельствует о хорошем согласии практических результатов с теоретическими.
7. Исследование усеченного последовательного подхода к оцениванию.
Проведено исследование усеченного последовательного подхода к оцениванию. Было проведено численное моделирование для вычисления момента остановки, а также для оценивания параметров <т2 и Л. Вычислено среднеквадратическое отклонение оценки, построенной на основе усеченной последовательной процедуры оценивания, от истинного значения параметра.
При увеличении объема выборки возрастает значение момента остановки и
уменьшается среднеквадратическое отклонение.
о При увеличении порогового значения HN значение момента остановки TN совпадает с объемом выборки, что свидетельствует о том, что процедура усечения работает. При увеличении порога среднеквадратическое отклонение оценок, вычисленных с помощью усеченной процедуры оценивания, имеет постоянное значение, в то время как при меньшем значении порога HN (в случае значения параметра h = 0.2) среднеквадратическое отклонение уменьшается с увеличением объема выборки.
о Аналогичные результаты получили и в случае увеличения параметра авторегрессии. При увеличении параметра авторегрессии и при значении параметра h = 0.2 значение момента остановки уменьшается по сравнению со значением момента остановки для значения параметра Л = 0.1.
о Рассмотрев результаты численного моделирования можно сказать, что отклонение становится меньше при увеличении объема выборки. Это означает, что величина оценки становится ближе к истинному значению параметра. Этот факт доказывает, что данная процедура оценивания является эффективной. Результаты вычислений подтверждают эффективность представленной процедуры оценивания.
Таким образом, как последовательная процедура, так и усеченная процедура оценивания, дают надежные оценки с заданной среднеквадратической точностью. В случае неограниченного объема выборки удобно пользоваться последовательной процедурой оценивания. На практике при заданном объеме выборки момент остановки может не достигаться. В этом случае оценивание следует проводить с помощью усеченной последовательной процедуры. Численным моделированием продемонстрировано, что использование последовательного оценивания параметра Л эффективно минимизирует риск функции потерь, что является подтверждением эффективности последовательного оценивания для параметров модели устойчивой авторегрессии первого порядка с дискретным временем.
Приведем выводы и основные результаты проделанной работы.
1. Проведено сравнение байесовской, последовательной и усеченной последовательной процедур оценивания параметра модели устойчивой авторегрессии первого порядка с дискретным временем.
2. При использовании байесовской процедуры оценивания вводится некоторая функция потерь, которая характеризуется как мера расхождения между истинным значением оцениваемого параметра и его оценкой. В свою очередь риск определяется как математическое ожидание функции потерь. Риск функции потерь минимизируется оптимальным объемом выборки. Однако бесполезно использовать оптимальный объем выборки в случае неизвестных параметров <т2 и А. В этом случае используется последовательная процедура оценивания.
3. Последовательный метод оценивания параметров позволяет получить оценки с гарантированным качеством в среднеквадратическом смысле за конечное время. Время оценивания определяется правилом остановки, построенным по наблюдаемому процессу. Для моделей авторегрессии первого порядка с дискретным временем можно построить последовательную оценку, представляющую собой оценку по методу наименьших квадратов, вычисленную в момент остановки.
4. Для получения последовательных оценок с произвольной точностью, необходимо иметь выборку неограниченного размера. Однако на практике время наблюдений системы, как правило, не только конечно, но фиксировано. Одним из подходов нахождения оценок с гарантированной точностью при использовании выборки фиксированного объема является подход усеченного последовательного оценивания. Усеченная последовательная оценка основана на оценке по методу наименьших квадратов.
5. Исследование разности рисков.
В работе был проведен анализ разности рисков последовательной и байесовской процедур оценивания RtA — Rno, когда ошибка £;- соответствует различным распределениям. Проведено численное моделирование оценивания параметров и вычисления разности рисков. Параметр А изменяется от 0.1 до 0.9 с шагом 0.1. Использовались следующие распределения: а) стандартное нормальное; б) смешанное нормальное распределение
(1 — а)У(0,1) +
о В случае стандартного нормального распределения разность рисков становится отрицательной при увеличении параметра А. При А = 4000 разность рисков отрицательна, когда Л < 0.3; при А = 10 000 разность рисков отрицательна, когда Л < 0.5;
о В случае смешанного нормального распределения с <т2 = 1.08 разность рисков отрицательна при каждом А, исключая случай А = 1 000, Л > 0.84;
о В случае смешанного нормального распределения с <т2 = 1.4 разность рисков становится отрицательной при увеличении параметра А. При А = 4000 разность рисков отрицательна, когда Л < 0.5; при А = 10 000 разность рисков отрицательная, когда Л < 0.68;
о В случае смешанного нормального распределения с <т2 = 1.8 разность рисков отрицательна при каждом А, исключая случай А = 400, Л > 0.7;
Таким образом, численным моделированием продемонстрировано, что использование последовательного оценивания параметра Л эффективно минимизирует риск функции потерь, что является подтверждением эффективности последовательного подхода к оцениванию параметров модели устойчивой авторегрессии первого порядка.
6. Исследование последовательной процедуры оценивания.
Проведено численное моделирования для вычисления момента остановки, а также для оценивания неизвестных параметров модели авторегрессии первого порядка. Вычислено среднеквадратическое отклонение последовательной оценки от истинного значения параметра.
о При одинаковом объеме выборки с увеличением значения цены наблюдения увеличивается значение момента остановки, за чем следует уменьшение среднеквадратического отклонения, т.е. с увеличением цены наблюдений точность оценивания становится выше, а значит и оценки становятся более эффективными.
о Момент остановки последовательной процедуры оценивания обладает свойством асимптотической эффективности. В последовательных процедурах можно получить заданную среднеквадратическую точность путем выбора порога процедуры. Численное моделирование свидетельствует о хорошем согласии практических результатов с теоретическими.
7. Исследование усеченного последовательного подхода к оцениванию.
Проведено исследование усеченного последовательного подхода к оцениванию. Было проведено численное моделирование для вычисления момента остановки, а также для оценивания параметров <т2 и Л. Вычислено среднеквадратическое отклонение оценки, построенной на основе усеченной последовательной процедуры оценивания, от истинного значения параметра.
При увеличении объема выборки возрастает значение момента остановки и
уменьшается среднеквадратическое отклонение.
о При увеличении порогового значения HN значение момента остановки TN совпадает с объемом выборки, что свидетельствует о том, что процедура усечения работает. При увеличении порога среднеквадратическое отклонение оценок, вычисленных с помощью усеченной процедуры оценивания, имеет постоянное значение, в то время как при меньшем значении порога HN (в случае значения параметра h = 0.2) среднеквадратическое отклонение уменьшается с увеличением объема выборки.
о Аналогичные результаты получили и в случае увеличения параметра авторегрессии. При увеличении параметра авторегрессии и при значении параметра h = 0.2 значение момента остановки уменьшается по сравнению со значением момента остановки для значения параметра Л = 0.1.
о Рассмотрев результаты численного моделирования можно сказать, что отклонение становится меньше при увеличении объема выборки. Это означает, что величина оценки становится ближе к истинному значению параметра. Этот факт доказывает, что данная процедура оценивания является эффективной. Результаты вычислений подтверждают эффективность представленной процедуры оценивания.
Таким образом, как последовательная процедура, так и усеченная процедура оценивания, дают надежные оценки с заданной среднеквадратической точностью. В случае неограниченного объема выборки удобно пользоваться последовательной процедурой оценивания. На практике при заданном объеме выборки момент остановки может не достигаться. В этом случае оценивание следует проводить с помощью усеченной последовательной процедуры. Численным моделированием продемонстрировано, что использование последовательного оценивания параметра Л эффективно минимизирует риск функции потерь, что является подтверждением эффективности последовательного оценивания для параметров модели устойчивой авторегрессии первого порядка с дискретным временем.
