Название исследуемой задачи:	Methods with preconditioning with weight decay regularization
Тип научной работы:	M1P
Автор:	Матвей Вадимович Крейнин
Научный руководитель:	PhD, Безносиков Александр Николаевич

Methods with preconditioning with weight decay regularization

Автор: Крейнин Матвей

Консультант/эксперт: Безносиков Александр

Постановка задачи:

Целью работы является теоретический анализ сходимости методов оптимизации с предобуславливанием с добавлением регуляризации.

Целью эксперимента является оценка сходимости методов оптимизации на практике.

Research publications

1. ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION: https://arxiv.org/pdf/1412.6980.pdf
2. Doubly Adaptive Scaled Algorithm for Machine Learning Using Second-Order Information: https://arxiv.org/pdf/2109.05198.pdf
3. Stochastic Gradient Methods with Preconditioned Updates: https://arxiv.org/pdf/2206.00285.pdf
4. On Scaled Methods for Saddle Point Problems: https://arxiv.org/pdf/2206.08303.pdf
5. DECOUPLED WEIGHT DECAY REGULARIZATION:https://openreview.net/pdf?id=Bkg6RiCqY7
6. STABLE WEIGHT DECAY REGULARIZATION: https://openreview.net/pdf?id=YzgAOeA67xX