전체 글85 [Optimization]Adagrad(Adaptive Gradient), RMSProp(Root Mean Squared Propagation), Adadelta(Adaptive delta) 앞선 글에서는 Gradient Descent의 운동량(Momentum)을 조정하여 수렴속도를 빠르게 하는 방법인 Momentum, Nesterov Accelerated Gradient(NAG) Optimizer를 살펴보았습니다 [Optimization]Momentum, Nesterov Accelerated Gradient(NAG)앞서 Gradient Descent 에서 Mini - Batch GD, SGD를 공부해보았습니다 [Optimization][Gradient Descent] Batch와 Gradient Descent(Full batch, Mini-batch, SGD)[Optimization] Gradient Descent(경사하강법)! Optimization에 대해서 이제 처self-object.. 2024. 6. 12. [Optimization]Momentum, Nesterov Accelerated Gradient(NAG) 앞서 Gradient Descent 에서 Mini - Batch GD, SGD를 공부해보았습니다 [Optimization][Gradient Descent] Batch와 Gradient Descent(Full batch, Mini-batch, SGD)[Optimization] Gradient Descent(경사하강법)! Optimization에 대해서 이제 처음 접해보시는 분은 Optimization 정의 먼저 보고 오시면 좋습니다 ! [Optimization] Optimization 정의Optimization(최적화) 란?Optimization이란self-objectification.tistory.com 언급한 바와 같이 SGD의 단점(Parameter 변경폭이 불안정)을 개선하기 위해 Velocity.. 2024. 6. 10. [ML] 이동평균(Moving Average, SMA, CMA, WMA, EMA) Moving Average(이동평균)이란?전체 데이터 셋의 여러 하위 집합에 대한 일련의 평균을 만드는 것을 의미한다 보통 시계열 데이터에서 일정 기간동안 평균값을 계산하여 데이터의 추세를 분석하는데 사용된다(데이터의 변동성을 줄이고 장기적인 추세를 파악하기 위해서) Moving Average에는 여러 종류가 있는데 이를 살펴보겠습니다 Simple Moving Average(단순 이동 평균, SMA)정해진 폭(기간, Window)의 데이터들의 평균을 계산 $$SMA = \frac{x_M + x_{M-1} \, +\cdots \, + x_{M-(n-1)}}{n} =\frac{1}{n} \sum \limits_{i=1}^{n-1} x_{M-i}$$Cumulative Moving Average(누적 이동 평균.. 2024. 6. 10. [Optimization][Gradient Descent] Batch와 Gradient Descent(Full batch, Mini-batch, SGD, Averaged SGD) [Optimization] Gradient Descent(경사하강법)! Optimization에 대해서 이제 처음 접해보시는 분은 Optimization 정의 먼저 보고 오시면 좋습니다 ! [Optimization] Optimization 정의Optimization(최적화) 란?Optimization이란 최소한의 Cost로 최적의 답을 찾는 과self-objectification.tistory.com앞선 글에서 간략하게 Gradient Descent 기본 개념에 대해 보았습니다 그럼 이번 글에서는 여러 Gradient Descent 대해서 보도록 하겠습니다 ! ※ NotationEpoch인공신경망에서 전체 데이터 셋에 대해 Forward, Backward 과정을 한번 거친 것즉, 전체 데이터 셋에 대.. 2024. 6. 10. [Optimization] Gradient Descent(경사하강법) Optimization에 대해서 이제 처음 접해보시는 분은 Optimization 정의 먼저 보고 오시면 좋습니다 ! [Optimization] Optimization 정의Optimization(최적화) 란?Optimization이란 최소한의 Cost로 최적의 답을 찾는 과정을 의미합니다 ML/DL 에서는 Loss Function을 정의하고 Gradicent Descent, Stochastic Gradient Descent, Mometum, RMSProp, Adam 등 많은 Optimizatself-objectification.tistory.comGradient Descent에 대해 적기 전에 간단하게 Gradient에 대해 정의하고 시작하겠습니다 ! ※ Gradient 깊게 들어가면 벡터 미적분학에서.. 2024. 6. 8. [Optimization] Optimization 정의 Optimization(최적화) 란?Optimization이란 최소한의 Cost로 최적의 답을 찾는 과정을 의미합니다 ML/DL 에서는 Loss Function을 정의하고 Gradicent Descent, Stochastic Gradient Descent, Mometum, RMSProp, Adam 등 많은 Optimization 기법 등을 통해 Model의 최적의 Parameter를 찾아가는 과정을 의미합니다. 위에서 언급한 Loss Function과 Optimization 기법들에 대해서는 추후에 포스팅 할 예정이니 관심 있다면 봐주시길 부탁합니다 ! 우선 이 글에서는 기본적인 Optimization 정의에 대해서만 언급하려고 합니당 Optimization은 주어진 Loss Function $L(\th.. 2024. 6. 8. [ML] 최대 사후 확률(Maximum A Posterior, MAP) 최대 사후 확률(Maximum A Posterior, MAP) [ML] 최대 우도 추정법(Maximum Likelihood Estimation, MLE)최대 우도 추정법(Maximum Likelihood Estimation, MLE)최대 우도 추정법(Maximum Likelihood Estimation, MLE)는 확률변수에서 추출한 표본 값(관측 데이터)들을 토대로 우도(Likelihood)를 최대화하는 방향으로self-objectification.tistory.com MLE는 데이터의 사전 지식 정보를 반영하지 못하고 데이터의 의존적이라는 한계를 가진다.따라서 이러한 단점을 해결하기 위해 MAP는 데이터에 대한 사전확률 정보를 가진 상황에서 사후확률을 최대화 하는 Parameter를 추정한다. $\.. 2024. 6. 7. [ML] 최대 우도 추정법(Maximum Likelihood Estimation, MLE) 최대 우도 추정법(Maximum Likelihood Estimation, MLE)최대 우도 추정법(Maximum Likelihood Estimation, MLE)는 확률변수에서 추출한 표본 값(관측 데이터)들을 토대로 우도(Likelihood)를 최대화하는 방향으로 확률변수의 모수(파라미터)를 추정한다이 때 Likelihood를 최대화하는 parameter는 얻은 샘플로부터 모집단의 분포를 추정하였을 때 가장 적합한 parameter이다 그럼 여기서 우도(Likelihood)란 무엇인가? 우도 확률(Likelihood Probability, $P(X | w)$)모델 파라미터(모수) 값을 잘 모르지만 안다고 가정했을 때, 주어진 데이터의 분포따라서, 모델 파라미터(w)에 대한 함수로 데이터의 분포를 표현.. 2024. 6. 7. [ML][Classification]Logistic Regression(로지스틱 회귀) ※ Remind회귀(Regression)Input : 연속형(실수값), 이산형(범주형) 모두 가능Output : 연속형(실수형)분류(Classification)Input : 연속형(실수값), 이산형(범주형) 모두 가능Output : 이산값(범주형)Binary Classification이라면 시그모이드 함수, Multiclass Classification이라면 소프트맥수 함수 사용※ Notation시그모이드(Sigmoid) 함수S자형 곡선 또는 시그모이드 곡선을 갖는 함수Binary Classification, Deep Learning에서 Activation Function으로 사용$$y = \frac{1}{1 + e^{-x}} = \frac{e^x}{1 + e^x }$$ 소프트맥스(Softmax) 함수.. 2024. 6. 7. 이전 1 ··· 6 7 8 9 10 다음
