Adam

Adam (сокращение от «метод адаптивной оценки моментов», англ. Adaptive Moment Estimation) — одна из модернизацией алгоритма стохастического градиентного спуска, наиболее популярный оптимизатор в современном машинном обучении.

Предложен в 2014 году как обновление оптимизатора RMSProp, основанное на комбинировании его с оптимизатором импульса.

В этом оптимизационном алгоритме используются скользящие средние как градиентов, так и вторых моментов градиентов. Если даны параметры $w^ {(t)}$, а функция потерь $L ^ {(t)}$, где $t$ отражает индекс текущей итерации (отчёт начинается с $0$), пересчёт параметра алгоритмом Adam задаётся формулами $$m_w ^ {(t+1)} \leftarrow \beta_1 m_w ^ {(t)} + (1 - \beta_1) \nabla _w L ^ {(t)}$$ $$v_w ^ {(t+1)} \leftarrow \beta_2 v_w ^ {(t)} + (1 - \beta_2) (\nabla _w L ^ {(t)} )^2$$ $$\hat{m}_w=\frac{m_w ^ {(t+1)}}{1 - \beta_1 ^{t+1}}$$ $$\hat{v}_w=\frac{ v_w ^ {(t+1)}}{1 - \beta_2 ^{t+1}}$$ $$w ^ {(t+1)} \leftarrow w ^ {(t)} - \eta \frac{\hat{m}_w}{\sqrt{\hat{v}_w} + \epsilon}$$

где $\epsilon$ является малой добавкой, используемой для предотвращения деления на 0, а $\beta_1$ и $\beta_2$ являются коэффициентами забывания для градиентов и вторых моментов градиентов соответственно. Возведение в квадрат и квадратный корень вычисляются поэлементно.