Adam

Adam (сокращение от «метод адаптивной оценки моментов», англ. Adaptive Moment Estimation) — одна из модернизацией алгоритма стохастического градиентного спуска, наиболее популярный оптимизатор в современном машинном обучении.

Предложен в 2014 году как обновление оптимизатора RMSProp, основанное на комбинировании его с оптимизатором импульса.

В этом оптимизационном алгоритме используются скользящие средние как градиентов, так и вторых моментов градиентов. Если даны параметры $w^ {(t)}$, а функция потерь $L ^ {(t)}$, где $t$ отражает индекс текущей итерации (отчёт начинается с $0$), пересчёт параметра алгоритмом Adam задаётся формулами $$m_w ^ {(t+1)} \leftarrow \beta_1 m_w ^ {(t)} + (1 - \beta_1) \nabla _w L ^ {(t)}$$ $$v_w ^ {(t+1)} \leftarrow \beta_2 v_w ^ {(t)} + (1 - \beta_2) (\nabla _w L ^ {(t)} )^2$$ $$\hat{m}_w=\frac{m_w ^ {(t+1)}}{1 - \beta_1 ^{t+1}}$$ $$\hat{v}_w=\frac{ v_w ^ {(t+1)}}{1 - \beta_2 ^{t+1}}$$ $$w ^ {(t+1)} \leftarrow w ^ {(t)} - \eta \frac{\hat{m}_w}{\sqrt{\hat{v}_w} + \epsilon}$$

где $\epsilon$ является малой добавкой, используемой для предотвращения деления на 0, а $\beta_1$ и $\beta_2$ являются коэффициентами забывания для градиентов и вторых моментов градиентов соответственно. Возведение в квадрат и квадратный корень вычисляются поэлементно.

Поскольку экспоненциальные скользящие средние градиента $m_w ^ {(t)}$ и квадрата градиента $v_w ^ {(t)}$ инициализируются вектором из нулей, на первых итерациях обучения возникнет смещение в сторону нуля. Для компенсации этого смещения и получения более точных оценок $\hat{m}_w ^ {(t)}$ и $\hat{v}_w ^ {(t)}$ вводится коэффициент $\tfrac{1}{1 - \beta_{1/2}^t}$.

Первоначальное доказательство, устанавливающее сходимость Adam, было неполным, и последующий анализ показал, что Adam сходится не для всех выпуклых целей. Несмотря на это, Adam продолжает использоваться из-за его высокой эффективности на практике и, возможно, общей ригидности сообщества ML-разработчиков, оптимизировавшего используемый технологический стек под наилучшую работу с Adam вместо поиска более эффективных для этой задачи алгоритмов оптимизации. В качестве примера подобных действий приводится тот факт, что, хотя в исходных статьях по сетям Колмогорова-Арнольда (KAN) в качестве оптимизатора использовался приближённый алгоритм оптимизации второго порядка LBFGS, в очень большом числе работ других исследователей, рассматривавших KAN, он был заменён на Adam.

Варианты

Существуют, также, многочисленные варианты и усовершенствования алгоритма.

Популярность Adam вдохновила исследователей на создание множества его усовершенствованных вариантов.

Вот некоторые примеры:

• Градиенты, улучшенные по Нестерову: NAdam, FASFA;

• Различные интерпретации информации второго порядка: Powerpropagation и AdaSqrt;

• Использование нормы Чебышева: AdaMax;
• AMSGrad, который улучшает сходимость по сравнению с Adam, используя максимум квадратов прошлых градиентов вместо экспоненциального среднего. AdamX дополнительно улучшает сходимость по сравнению с AMSGrad.
• AdamW который использует регуляризацию Тихонова.
• Стохастический градиентный спуск на основе знака. Несмотря на то, что оптимизация на основе знака восходит к методу Rprop, в 2018 году исследователи попытались упростить Adam, исключив из рассмотрения величину стохастического градиента и рассматривая только его знак.