Adam

Adam (сокращение от «метод адаптивной оценки моментов», англ. Adaptive Moment Estimation) — одна из модернизацией алгоритма стохастического градиентного спуска, наиболее популярный оптимизатор в современном машинном обучении.

Предложен в 2014 году как обновление оптимизатора RMSProp, основанное на комбинировании его с оптимизатором импульса.

В этом оптимизационном алгоритме используются скользящие средние как градиентов, так и вторых моментов градиентов. Если даны параметры $w^ {(t)}$, а функция потерь $L ^ {(t)}$, где $t$ отражает индекс текущей итерации (отчёт начинается с $0$), пересчёт параметра алгоритмом Adam задаётся формулами $$m_w ^ {(t+1)} \leftarrow \beta_1 m_w ^ {(t)} + (1 - \beta_1) \nabla _w L ^ {(t)}$$ $$v_w ^ {(t+1)} \leftarrow \beta_2 v_w ^ {(t)} + (1 - \beta_2) (\nabla _w L ^ {(t)} )^2$$ $$\hat{m}_w=\frac{m_w ^ {(t+1)}}{1 - \beta_1 ^{t+1}}$$ $$\hat{v}_w=\frac{ v_w ^ {(t+1)}}{1 - \beta_2 ^{t+1}}$$ $$w ^ {(t+1)} \leftarrow w ^ {(t)} - \eta \frac{\hat{m}_w}{\sqrt{\hat{v}_w} + \epsilon}$$

где $\epsilon$ является малой добавкой, используемой для предотвращения деления на 0, а $\beta_1$ и $\beta_2$ являются коэффициентами забывания для градиентов и вторых моментов градиентов соответственно. Возведение в квадрат и квадратный корень вычисляются поэлементно.

Поскольку экспоненциальные скользящие средние градиента $m_w ^ {(t)}$ и квадрата градиента $v_w ^ {(t)}$ инициализируются вектором из нулей, на первых итерациях обучения возникнет смещение в сторону нуля. Для компенсации этого смещения и получения более точных оценок $\hat{m}_w ^ {(t)}$ и $\hat{v}_w ^ {(t)}$ вводится коэффициент $\tfrac{1}{1 - \beta_{1/2}^t}$.

Первоначальное доказательство, устанавливающее сходимость Adam, было неполным, и последующий анализ показал, что Adam сходится не для всех выпуклых целей. Несмотря на это, Adam продолжает использоваться из-за его высокой эффективности на практике и общей ригидности сообщества ML-разработчиков.