ВВЕДЕНИЕ 3
Глава 1 Теоретические основы построения регрессионной модели 6
1.1 Основные предпосылки построения регрессионной модели 6
1.2 Построение регрессионной модели 9
Глава 2 Адаптация регрессионной модели методом Брауна 21
2.1 Применение метода Брауна для адаптации регрессионной модели 21
2.2 Реализация метода Брауна для адаптации регрессионной модели 51
Глава 3 Адаптация регрессионной модели методом стохастической аппроксимации 55
3.1 Теоретические вопросы одномерной стохастической аппроксимации .. 55
3.2 Практические вопросы использования одномерной стохастической
аппроксимации 66
3.3 Применение стохастической аппроксимации для адаптации
регрессионной модели 72
3.4 Реализация алгоритма стохастической аппроксимации для адаптации
регрессионной модели 80
3.5 Сравнительный анализ эффективности адаптационных алгоритмов 83
ЗАКЛЮЧЕНИЕ 87
СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ 89
ПРИЛОЖЕНИЕ А 94
Регрессионный анализ находит широкое применение при прогнозировании явлений в разных областях знаний. Практика показала, что регрессионные уравнения - хорошие измерители связей между явлениями.
Данные, полученные в результате исследования, постоянно меняются и обновляются. Регрессионные модели, построенные по этим данным, устаревают, что в свою очередь снижает точность прогнозов, полученных с помощью этих моделей. Для решения этой проблемы прибегают к методам, позволяющим адаптировать регрессионные модели с учётом поступления новой информации.
Одним из адаптационных методов является метод Брауна. Он позволяет адаптировать исходную модель, но при этом приходиться учитывать исходные и новые данные, что в свою очередь является недостатком.
Предлагается другой алгоритм адаптации - метод стохастической аппроксимации. Он позволяет адаптировать регрессионную модель для новых данных, при этом не требуется заново строить модель с использованием исходных и полученных данных. Этим определяется актуальность темы.
Стохастическая аппроксимация - сравнительно молодой метод для решения задач в условиях неполной информации и широко используется в естественных и технических науках.
Профессор X. Хотеллинг в статье, опубликованной, в 1941 г., обсудил многие идеи метода стохастической аппроксимации, затем в работах Фридмана и Севеджа, а также и других авторов появились родственные результаты. Бурхгольдер рассмотрел обобщённый метод стохастической аппроксимации. Итерационных метод стохастической аппроксимации был предложен Дворецким. В свою очередь, метод Дворецкого укладывается в обобщенные методы, предложенные Браверманом и Розеноэром и Волконским и Иванковым.
Но лишь Роббинс и Монро в своей основополагающей статье дали формальную математическую трактовку этого вопроса. С тех пор во многих работах по стохастической аппроксимации, появлявшихся в теоретических и прикладных журналах, отмечалась необходимость использовании этого метода в различных областях.
Цель работы:
Применить алгоритм стохастической аппроксимации для адаптации регрессионной модели.
Объект исследования:
Регрессионная модель.
Предмет исследования:
Адаптация регрессионной модели.
Для достижения цели сформулируем следующие задачи:
1. проанализировать алгоритм построения регрессионной модели;
2. использовать метод Брауна для адаптации регрессионной модели;
3. использовать метод стохастической аппроксимации для адаптации регрессионной модели и осуществить сравнительный анализ адаптационных алгоритмов.
Апробация результатов диссертации. Основные результаты докладывались на следующих конференциях:
• III Международная научно -практическая конференция (школе- семинаре) молодых ученых «Прикладная математика и информатика: современные исследования в области естественных и технических наук», 2017 г.
• IV Международная научно-практическая конференция (школе- семинаре) молодых ученых «Прикладная математика и информатика: современные исследования в области естественных и технических наук», 2018 г.
Научная новизна состоит в использование алгоритма стохастической аппроксимации для адаптации регрессионной модели.
Теоретические основы исследования включают использование научных трудов зарубежных и отечественных авторов по стохастической аппроксимации и регрессионным моделям.
Практическая значимость состоит в том, что предлагаемый подход может использоваться для адаптации регрессионных моделей.
Достоверность обусловлена тем, что полученные результаты вычислений не противоречат статистическим данным.
Основные положения, выносимые на защиту:
• разработка алгоритма стохастической аппроксимации для адаптации регрессионной модели;
• анализ результатов вычислительных экспериментов адаптации регрессионной модели методом Брауна и методом стохастической аппроксимации.
Текст диссертационной работы состоит из введения, трех глав, вывода по работе, списка литературы и приложения. Объем диссертации составляет 92 страниц, содержит 20 рисунков, список литературы включает 34 наименования.
В первой главе диссертации проводится анализ теоретических основ регрессионных моделей и методов их построения .
Во второй главе проводится анализ адаптационного метода Брауна.
В третьей главе проводится анализ алгоритма стохастической аппроксимации и его применение для адаптации регрессионных моделей . Описывается построение математической модели и алгоритма для ее решения. Программный продукт состоит из головного модуля, модулей содержащего математическую модель, модуля вычислений, а также модулей адаптации коэффициентов модели к изменяющимся данным и вывода результатов расчета.
В заключении описаны выводы результатов работы программного продукта.
В приложение находится листинг кода программного продукта.
Регрессионные модели широко применяются для прогнозирования разных явлений. Данная работа посвящена регрессионным моделям. В частности, их адаптации.
Поставленная задача, состоящая в анализе алгоритма построения регрессионной модели, достигнута.
В первой главе проведен анализ классической линейной модели множественной регрессии и предпосылки, описывающие требования к её построению. Проведен обзор метода построения регрессионной модели. Результатом проведённого анализа стали выводы о том, что с течением времени и появлением новой информации, регрессионная модель описывающая процесс, становиться непригодной для использования. Использование такой регрессионной модели дает неточные результаты. Для предотвращения такого результата, регрессионную модель требуется адаптировать.
Проблема адаптации моделей является одной из основных в современных исследованиях, т.к. она характеризует точность получения результатов моделируемого процесса.
Поставленная задача, состоящая в использование метода Брауна для адаптации регрессионной модели, достигнута.
Во второй главе описывается первый из использованных алгоритмов адаптации - метод Брауна. Этот метод позволяет адаптировать исходную модель и осуществлять прогнозирование. Адаптация методом Брауна строится на значение постоянной сглаживания, которое отображает уровень влияния данных на адаптируемую модель. Этот фактор является недостатком, потому что необходимо подбирать значение постоянной сглаживания таким образом, чтобы получить оптимальный результат. Ещё одним значимым недостатком метода Брауна является необходимость построения новой модели при поступление новых данных.
Поставленная задача, состоящая в использование алгоритма стохастической аппроксимации для адаптации регрессионной модели и осуществления сравнительного анализ адаптационных алгоритмов, достигнута.
В третьей главе описывается второй метода адаптации - алгоритм стохастической аппроксимации. Использование этого алгоритма возможно в условиях неполноты информации. Адаптация методом стохастической аппроксимации сводится к адаптации коэффициентов регрессионной модели, при поступление новых данных. Таким образом исходная суть модели не подвергается изменениям, что в свою очередь является достоинством метода. Вывод, полученный из анализа работы метода стохастической аппроксимации является то, что он не требует построения новой регрессионной модели. Отклонение прогнозируемых значений, полученных адаптированной моделью, от фактических данных зависит от задаваемой точности метода.
Метод стохастической аппроксимации решает проблему получения более точных результатов с помощью регрессионной модели. Поэтому используемый метод является предпочтительным для адаптации регрессионных моделей. Это позволяет сократить затраты ресурсов на построение новых моделей и получить оптимальный результат адаптации.
Проведен сравнительный анализ метода Брауна и метода стохастической аппроксимации. Регрессионная модель, используемая для адаптации строилась на основе условных данных. Результатом сравнения является то, что прогнозируемые значения, получаемые моделью, адаптированной методом стохастической аппроксимации, находятся ближе к фактическим значениям, чем прогнозные значения, полученные методом Брауна. Это доказывает эффективность метода стохастической аппроксимации для адаптации регрессионной модели. Цель, поставленная в данной работе достигнута.
1. Афанасьев В.Н. Анализ временных рядов и прогнозирование: учебник / В.Н. Афанасьев, Юзбашев М.М. - М.: Финансы и статистика, 2011. - 228 с.
2. Граничин О.Н. Рандомизированные алгоритмы оптимизации и оценивания при почти произвольных помехах / О.Н. Граничин, Б.Т. Поляк; Отв. Ред. А.В. Назин. - М.: Наука, 2013. - 291 с.
3. Дуброва Т.А. Статистические методы прогнозирования в экономике / Т.А. Дуброва - М.: Московская финансово -промышленная академия, 2014. - 60с.
4. Кремер Н.Ш. Эконометрика: учебник / Н.Ш. Кремер, Б.А. Путко - М.: ЮНИТИ-ДАНА, 2012. - 311 с.
5. Левицкий Е.М. Адаптивные эконометрические модели: учебник / Е.М. Левицкий. -Новосибирск: Наука, 2012. - 224с.
6. Лукашин Ю.П. Адаптивные методы краткосрочного
прогнозирования временных рядов: учеб. пособие / Ю.П. Лукашин. - М.:Финансы и статистика, 2013. - 416 с.
7. Мхитарян В.С. Эконометрика: учебник / В.С. Мхитарян, М.Ю. Архипова, В.А. Балаш, О.С. Балаш, Т.А. Дуброва, В.П. Сиротин. - М.: Проспект, 2011. - 384 с.
8. Мхитарян В.С. Эконометрика: учебно -методический комплекс / В.С. Мхитарян, М.Ю. Архипова, В.П. Сиротин. - М.: Изд. Центр ЕАОИ. 2010. - 144 с.
9. Семенов А.Д. Идентификация объектов управления: учеб. пособие / А.Д. Семенов, Д.В. Артамонов, А.В. Брюхачев. - Пенза: Изд-во Пенз. гос. ун¬та. 2013. - 211 с.
прогнозирования: учебник / С.Г. Светуньков, И.С. Светуньков. - СПб.: Изд-во СПбГУЭФ, 2010. - 103с.
11. Светуньков С.Г. Запредельные случаи метода Брауна в экономическом прогнозировании / С.Г. Светуньков, А.В. Бутуханов, И.С. Светуньков. - СПб.: Изд-во СПбГУЭФ. 2016. - 71с.
12. УайлдД.Дж. Методы поиска экстремума: монография / Д.Дж. Уайлд. - М.: Наука. Главная редакция физико -математической литературы, 2011. - 268с.
13. Фёрстер Э. Методы корреляционного и регрессионного анализа: учебник / Э. Фёрстер, Б. Рёнц. - М.: Изд-во «Финансы и статистика», 2012. - 302 с.
14. Фукунага К. Введение в статистическую теорию распознавания образов: монография / К. Фукунага. - М.: Наука. Главная редакция физико - математической литературы, 2013. -368с.
Электронные ресурсы
15. Балдин А.В. Стохастическая аппроксимация в моделях управления
транспортными машинами /А.В. Балдин, В.Б. Борисевич, В.Ю. Строганов. 2010. [Электронный ресурс]: http ://vestniken. ru/articles/354/html/fles/as s ets/bas ic -
html/page1.html
16. Граничин О.Н. Поисковые алгоритмы стохастической аппроксимации с рандомизацией на входе/ О.Н. Граничин. 2015. [Электронный ресурс]:http ://www. math. spbu. ru/user/gran/papers/GranPol2015.pdf
17. Домбровский В.В. Эконометрика / В.В. Домбровский. 2016. [Электронный ресурс]: http://sun.tsu.ru/mminfo/2016/Dombrovski/start.htm
18. Светуньков С.Г. Самообучающаяся модель краткосрочного прогнозирования социально -экономической динамики / С.Г. Светуньков. 2010. [Электронный ресурс]:https://www.hse.ru/sci/publications/27286573.html
19. Хуан В. Стохастическая оптимизация сопряженных градиентов на основе метода наименьших квадратов для задач сейсмической инверсии /В.
Хуан, Х. В. Чжоу.2014. [Электронный ресурс]:
http://www.iongeo.ru/media/img/index/pdffiles/143/TP SEG Stochastic Conjugate Gradient Method rus.pdf
Литература на иностранном языке
20. Behaim M. Stochastic Approximations And Differential Inclusions. / M. Behaim, J. Hofbauer, S. Sorin. 2010. [Электронный ресурс]: http://members.unine.ch/michel.benaim/perso/bhs.pdf
21. Broadie M. General Bounds and Finite-Time Improvement for the Kiefer-
Wolfowitz Stochastic Approximation Algorithm. / M. Broadie, D. Cicek, A. Zeevi. 2009. [Электронный ресурс]:
http://www.columbia.edu/~mnb2/broadie/Assets/GeneralBoundsAndFiniteTimeImprovementOnSAA OR 20100730.pdf
22. Combes R. An introduction to stochastic approximation. 2013. [Электронный ресурс]: https://people.kth.se/~alepro/DistriOptCourse/lecture stoch approx.pdf
23. Galtier, N M. Relative entropy minimizing noisy non-linear neural
networkto approximate stochastic processes / M. N Galtier, C. Marini, G. Wainrib, H. Jaeger. 2014. [Электронный ресурс]: https://hal.archives-ouvertes.fr/hal-
00994652/document
24. Granichin O. N. Randomized Algorithms for Stochastic Approximation
under Arbitrary Disturbances. 2011. [Электронный ресурс]:
http://www.jhuapl.edu/spsa/PDF-SPSA/Granichin%20Article.pdf
25. Karagiannis G. Parallel and Interacting Stochastic Approximation
Annealing algorithms for global optimization. / G. Karagiannis, B. A. Konomi, G. Lin, F. Liang. 2015 [Электронный ресурс]:
https://www.math.purdue.edu/~gkaragia/papers/Supplamentary material.pdf
26. Khong S.Z. On sampled-dataextremum seeking control via stochastic
approximation methods. / S.Z. Khong, Y. Tan, D. Nesic, C. Manzie. 2013. [Электронный ресурс]: http://people.eng.unimelb.edu.au/manziec/Publications%20pdfs/13 Conf Khong b.pdf
27. Liang F. A Resampling-Based Stochastic Approximation Method for
Analysis of Large Geostatistical Data / F. Liang, Y. Cheng, Q. Song, J. Park, P. Yang. 2013.[Электронныйресурс ]:
http://homepages.math.uic.edu/~minyang/Big%20Data%20Discussion%20Group/Resampling-based%20stochastic%20for%20analysis%20of%20large%20geostatistical%20data.pdf
28. Mokkadem A. Revisiting Revesz’s stochastic approximation method for the estimation of a regression function. / A. Mokkadem, M. Pelletler, Y. Slaoul. 2009. [Электронный ресурс]:http://alea.impa.br/articles/v6/06-03.pdf
29. Nemirovski A. Robust Stochastic Approximation Approach To Stochastic
Programming. / A. Nemirovski, A. Juditsky, G. Lan, A. Shapiro. 2009. [Электронный ресурс]: http://www.optimization-
online.org/DB_FILE/2007/09/1787.pdf
30. Odense S. Universal Approximation Results for the Temporal Restricted
Boltzmann Machine and the Recurrent Temporal Restricted Boltzmann Machine / S. Odense, R. Edwards. 2016. [Электронный ресурс]:
http://jmlr.org/papers/volume17/15-478/15-478.pdf
31. Ollivier Y. Training recurrent networks online without backtracking / Y. Ollivier, C. Tallec, G. Charpian. 2015. [Электронный ресурс]:http://www.yann-ollivier.org/rech/publs/nobacktrack.pdf
32. Sun Y. Consensus-Type Stochastic Approximation Algorithms. 2012.
[Электронный ресурс]:
http://digitalcommons.wayne.edu/cgi/viewcontent.cgi?article=1556&context=oa dissertations
33. Xu Z. A robust recurrent simultaneous perturbation stochastic approximation training algorithm for recurrent neural networks. / Z. Xu, Q. Song, D.
Wang. 2014. [Электронный ресурс]:
https://dr.ntu.edu.sg/bitstream/handle/10220/20401/A%20Robust%20Recurrent%20Simultaneous%20Perturbation%20Stochastic%20Approximation%20Training%20for%20Recurrent%20Neural%20Networks.pdf?sequence=1&isAllowed=y
34. Yu M. Stochastic Approximation And A Nonlocally Weighted Soft- Constrained Recursive Algorithm For Blind Separation Of Reverberant Speech Mixtures. / M. Yu, J. Xin. 2010. [Электронный ресурс]: http://www.math.uci.edu/~jxin/dcds mengxin.pdf