Optimization(최적화) 란?
Optimization이란 최소한의 Cost로 최적의 답을 찾는 과정을 의미합니다
ML/DL 에서는 Loss Function을 정의하고
Gradicent Descent, Stochastic Gradient Descent, Mometum, RMSProp, Adam 등 많은 Optimization 기법 등을 통해 Model의 최적의 Parameter를 찾아가는 과정을 의미합니다.
위에서 언급한 Loss Function과 Optimization 기법들에 대해서는 추후에 포스팅 할 예정이니 관심 있다면 봐주시길 부탁합니다 !
우선 이 글에서는 기본적인 Optimization 정의에 대해서만 언급하려고 합니당
Optimization은 주어진 Loss Function $L(\theta)$에 대해서 $L(\theta)$ 의 Local(Global) Minimum을 찾는 과정
기본 컨셉은 아래와 같습니다
$$\underset{\theta}{\arg\min} \; L(\theta; X, y) $$
$L(\theta; X, y)$를 어떻게 정의하냐, Optimizer를 어떻게 정의하냐에 따라 Model의 성능이 크게 달라지기 때문에 이후 많은 것을 공부해야 합니다..!
그림에서 보는 것 처럼 Model Parameter인 $w, b$를 update 해가며 Local(Global) Minimum을 찾아가는 과정입니다
(Global Minimum을 찾는 것이 목표지만 이를 찾는데는 매우 큰 비용이 들기 때문에 보통 Local Minimum을 찾는 것을 목표로합니다)
앞으로 Optimization, Loss Function에 대해 올릴 예정이니 관심있으시면 봐주세요 !
반응형
