Аннотация 3
1. Введение 3
1.1. Основные понятия 5
1.2. Связанные работы 5
2. Поиск потенциалов 6
2.1. Основная теорема 6
2.2. Скорость сходимости экстраградиентного метода 7
3. Постановка задачи поиска потенциалов 9
3.1. Постановка задачи в виде принадлежности некоторому конусу 9
3.2. Постановка задачи в виде динамической системы 12
4. Анализ задачи по поиску потенциалов 14
4.1. Неподвижные точки 14
4.2. Динамика на прямой 15
4.3. Прямой недостаточно 19
5. Заключение 19
Аннотация
В данной работе мы развиваем подход (Taylor et al. ((2018))) по поиску потенциалов. Обычно для доказательства через потенциалы требуется решить задачу полуопределенного программирования(SDP) из O(k) линейных матричных неравенств(LMIs), где к - количество итераций. В нашем же подходе мы показываем, что в определенных случаях достаточно использовать лишь константное количество неравенств. В качестве демонстрации эффективности нашего подхода мы приводим альтернативное доказательство сходимости последней итерации экстраградиентного метода для отрицательно комонотонного случая, по аналогии с (Gorbunov et al. ((2022b))).
В работе мы предложили альтернативный метод поиска потенциалов, который в отличии от стандартного подхода (Taylor et al. ((2018)), Taylor and Bach ((2021))) требует проверки всего константного количества линейных матричных неравенств. С помощью данного подхода мы установили альтернативное доказательство скорости сходимости последней итерации экстраградиентного метода в комонотонном случае. Также мы провели анализ задачи поиска потенциалов и связали задачу поиска потенциалов вида Pk + kQk с динамикой на прямой в некотором компактном выпуклом множестве.
Тем не менее до сих пор остается множество открытых вопросов. Так с помощью нашего подхода непонятно как работать со скоростями сходимости по типу O(k2). Также в качестве будущих направлений для исследований мы отмечаем дальнейший анализ динамики сформулированной для задачи поиска потенциалов. Тут однако может пригодиться серьезное вовлечение в алгебраическую геометрию и компьютерную алгебру.
1. A. Ben-Tal, L. E. Ghaoui, and A. Nemirovski. Robust optimization. Princeton University Press, 2009.
2. J. Diakonikolas, C. Daskalakis, and M. Jordan. Efficient methods for structured nonconvex-nonconcave min-max optimization. 2021.
3. Y. Drori and M. Teboulle. Performance of first-order methods for smooth convex minimization: a novel approach. 2014.
4. N. Golowich, S. Pattathil, and C. Daskalakis. Tight last-iterate convergence rates for no- regret learning in multi-player games. 2020a.
5. N. Golowich, S. Pattathil, C. Daskalakis, and A. Ozdaglar. Last iterate is slower than averaged iterate in smooth convex-concave saddle point problems. 2020b.
6. I. Goodfellow and J. Shlens. Explaining and harnessing adversarial examples. 2014.
7. I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio. Generative adversarial nets. 2014.
8. E. Gorbunov, N. Loizou, and G. Gidel. Extragradient method: O(1/k) last- iterate convergence for monotone variational inequalities and connections with cocoercivity. 2022a.
9. E. Gorbunov, A. Taylor, S. Horvath, and G. Gidel. Convergence of proximal point and extragradient-based methods beyond monotonicity: the case of negative comonotonicity. 2022b.
10. M. Hast, K. J. Astrom, B. Bernhardsson, and S. Boyd. Pid design by convex-concave optimization. 2013.
11. G. M. Korpelevich. The extragradient method for finding saddle points and other problems. 1976.
12. A. Madry, A. Makelov, L. Shmidt, and D. Tsipras. Towards deep learning models resistant to adversarial attacks. 2017.
13. A. Mokhtari, A. Ozdaglar, and S. Pattathil. Proximal point approximations achieving a conver- gence rate of o(1/k) for smooth convex-concave sad- dle point problems: Optimistic gradient and extra- gradient methods. 2019.
14. A. Nemirovski. Prox-method with rate of con- vergence o(1/t) for variational inequalities with lip- schitz continuous monotone operators and smooth convex- concave saddle point problems. 2004.
15. L. Popov. A modification of the arrow-hurwicz method for search of saddle points. 1980.
16. A. Taylor and F. Bach. Stochastic first-order methods: non-asymptotic and computer- aided analyses via potential functions. 2021.
17. A. Taylor, J. M. Hendrickx, and F. Glineur. Smooth strongly convex interpolation and exact worst-case performance of first-order methods. 2017.
18. A. Taylor, B. V. Scoy, and L. Lessard. Lyapunov functions for first-order methods: Tight automated convergence guarantees. 2018.
1 + ati < 1 + ti
1 + ti+1 1 + ti+1
1 + t1 1 + C
. , 1 + tn+1 1 — C
i=1
Поэтому получаем, что последовательность П сг ограничена.
Далее мы предполагаем u и v линейно независимыми. При этом наша динамика принимает вид
u + ta1u + ta^v = u + sv
c