[Optimization]Adam(Adaptive Momentum Estimation), Adamax

 

 

앞선 글에서 Gradient Descent에서 Momentum(운동량), Velocity(속도)를 조정하는 방법들에 대해서 알아보았습니다

[Optimization]Momentum, Nesterov Accelerated Gradient(NAG)

 

 

이번 글에서는 Momentum, Velocity를 모두 조정하는 방법인 Adam에 대해 알아보도록 하겠습니다

Adam(Adaptive Momoment Estimation)

Adam은 Momentum과 RMSProp의 장점을 결합한 Gradient Descent 
Momentum의 특징인 $v_i$와 RMSProp의 특징인 기울기의 제곱을 지수 이동 평균한 값을 수식에 활용합니다

$$\begin{array}{rl}& v(t)={\beta }_1\cdot v(t-1)+(1-{\beta }_1)\cdot \mathrm{\nabla }L({\theta }_t)\\ & G(t)={\beta }_2\cdot G(t-1)+(1-{\beta }_2)\cdot \mathrm{\nabla }{L({\theta }_t)}^2\\ & {\theta }_{t+1}={\theta }_t-\eta \cdot \frac{\hat{G}(t)}{\sqrt{\hat{v}(t)+ϵ}}\end{array}$$

※ 편향 보정

초기에 $v(t)$와 $G(t)$는 0에 가까운 값을 가지므로 이를 보정하여 추정이 정확하게 이루어지도록 한다.

$$\hat{v}(t)=\frac{v(t)}{1-{\beta }_1^t},\hat{G}(t)=\frac{G(t)}{1-{\beta }_2^t}$$

 

$\hat{v}(t),\; \hat{G}(t)$ 는 초기 학습 단계에서 gradient가 작을 때 적절한 learning rate를 선택하기 위해 bias가 수정된 값이다

 

1차 모멘텀 추정 

$v(t)$는 Momentum에서와 같이 Gradient에 EMA를 적용한 값을 사용한 것입니다

여기서 $\beta_1$은 보통 0.9의 값을 사용합니다

 

아래 글은 Momentum에 대한 글입니다.

[Optimization]Momentum, Nesterov Accelerated Gradient(NAG)

 

2차 모멘텀 추정

$G(t)$는 RMSProp에서와 같이 Gradient의 제곱에 EMA를 적용한 값을 사용한 것입니다

여기서 $\beta_2$은 보통 0.99의 값을 사용합니다

 

아래 글은 RMSProp에 대한 글입니다.

[Optimization]Adagrad(Adaptive Gradient), RMSProp(Root Mean Squared Propagation), Adadelta(Adaptive delta)

 

Adam의 장점

1. 적응적인 학습률 : 각 Paramter 마다 개별적으로 학습률을 조정
2. 빠르고 안정적인 수렴 : 1차 모멘텀과 2차 모멘텀을 결합하여 빠르게 수렴하고 큰 기울기로 인한 과도한 업데이트 방지, 기울기와 기울기 제곱을 동시에 추정함으로써 더욱 안정적이고 빠른 학습 가능
3. 편향 보정 : 초기 단계에 편향 보정을 적용하여 $v(t)$와 $G(t)$가 너무 작아지는 문제를 방지

Adam의 단점

1. 메모리 사용량 : 각 Parameter에 대해 1차와 2차 모멘텀 추정을 유지해야 하므로 다른 최적화 알고리즘에 비해 메모리 사용량이 많다
2. 빠르고 안정적인 수렴 : 1차 모멘텀과 2차 모멘텀을 결합하여 빠르게 수렴하고 큰 기울기로 인한 과도한 업데이트 방지, 기울기와 기울기 제

 

---

Adamax

Adamax는 Adam 논문에서 Extension으로 제안된 알고리즘입니다

Adam은 L2 Norm을 기반으로 Learning rate를 조정하는데 Adamax는 NP Norm으로 확장하여 Learning rate를 조정하도록 확장시킨 알고리즘입니다

하지만 p가 매우 클 경우, NP Norm이 극단적인 값을 갖는 등 매우 불안정할 수 있다고 합니다

 

$v(t)$는 Adagrad에서 사용한 것과 동일하게 사용합니다

$$v(t)={\beta }_1\cdot v(t-1)+(1-{\beta }_1)\cdot \eta \mathrm{\nabla }L({\theta }_t)$$

 

Adam은 L2 Norm을 사용하였지만 LP Norm으로 확장시킨 식은 아래와 같습니다

$$V(t)={\beta }_2\cdot V(t-1)+(1-{\beta }_2)\cdot (\mathrm{\nabla }L({\theta }_t){)}^p=(1-{\beta }_2^p)\sum _{i=1}^t{{\beta }_2}^{p(t-i)}|\frac{\partial L}{\partial w(t)}|$$

 

여기서 $p \rightarrow \infty$일 때 $V(t)^{\frac{1}{p}}$를 $G(t)$라고 하면

$$\underset{p\to \mathrm{\infty }}{lim}{V(t)}^{\frac{1}{p}}=G(t)=max({\beta }_{2}G(t-1),|\frac{\partial L}{\partial w(t)}|)$$

 

따라서 Adamax의 알고리즘은 아래와 같습니다

$$w(t+1)=w(t)-\frac{\eta }{G(t)}\widehat{v(t)}$$