반응형 ML21 [ML][Classification]Linear Discriminant Analysis(LDA, 선형판별분석), Quadratic Discriminant Analysis(QDA) Linear Discriminant Analaysis(LDA, 선형판별분석)LDA는 주로 데이터 분포를 학습하여 새로운 데이터의 클래스를 예측하는 것과 데이터의 차원을 축소하는 두 가지 목적을 위해 사용됩니다핵심 아이디어는 각 클래스 간의 분산을 최대화하면서, 클래스 내의 분산을 최소화하는 방향으로 데이터를 변환하는 것입니다 LDA의 기본가정1. Density Function이 Gaussian Distribution을 따른다$${\large f_k(x) = \frac{1}{\sqrt{2\pi} \sigma_k} e^{-\frac{1}{2} (\frac{x - \mu_k}{\sigma_k})^2}}$$2. 각 클래스의 분산은 동일하다$${\large \sigma_k = \sigma} \; for\;all\.. 2024. 6. 19. [ML][Classification] Soft Margin SVM, Nonlinear SVM(비선형 서포트 벡터 머신), Kernel Trick, Multiclass SVM [ML][Classification] Support Vector Machine(SVM, SVD)이번 글에서는Binary Classification에서 주로 활용되는 Support Vector Machine에 대해 공부해보고자합니다 SVM에 들어가기에 앞서 먼저 알아두고 가야할 것들에 대해 설명하고 시작하도록 하겠습니다 ! self-objectification.tistory.com 앞선 글에서 Support Vector Machine에 대해서 공부해보았습니다이번 글에서는 SVM의 심화주제인 Soft Margin SVM, Nonlinear SVM에 대해 공부해보도록 하겠습니다Soft Margin SVM앞선 글에서 SVM은 이상치에 민감하게 반응하기 때문에 이상치 처리가 중요하다고 언급하였습니다.Outlier.. 2024. 6. 18. [ML][Classification] Support Vector Machine(SVM, SVD) 이번 글에서는Binary Classification에서 주로 활용되는 Support Vector Machine에 대해 공부해보고자합니다 SVM에 들어가기에 앞서 먼저 알아두고 가야할 것들에 대해 설명하고 시작하도록 하겠습니다 ! ※ Hyperplane(초평면)Affine Space(어핀 공간) : 벡터 공간에서의 원점이 없는 공Vector Space(벡터 공간) : 임의의 점을 잡아도 원점에서 해당 점을 잇는 벡터로 바라보고 있는 벡터를 정의할 수 있는 공간 즉, 벡터공간에서는 벡터가 어디에 위치해 있든 크기와 방향만 같다면 모두 같은 벡터로 취급하지만 어핀 공간에서는 벡터에 위치표현을 추가하여 해단 벡터의 크기, 방향 뿐만 아니라 위치까지도 표현할 수 있는 공간이 된다 그렇다면 Hyperplane이란?.. 2024. 6. 18. [ML]라그랑주 승수법(Lagrange Multiplier Method) 라그랑주 승수법(Lagrange Multiplier Method)라그랑즈 승수법이란 제약식(Constraint)이 있는 Optimization 문제를 라그랑주 승수 항을 추가해, 제약이 없는 문제로 바꾸는 방법입니다제약식, 라그랑주 승수에 대해서 생소하실텐데, 수식을 통해 라그랑주 승수법에 대한 설명을 시작하도록 하겠습니다Primal Problem(원초문제)우리가 해결해야할 문제입니다\begin{aligned} &\underset{x}{\min} \, c^T x\\ &subject\;to\; Ax = b\; , Gx \le h \end{aligned}원초 문제 $f = c^T x$를 최소화하는 과정에서 $Ax = b$, $Gx \le h$라는 제약식(Constraint)을 가지는 상황입니다.라그랑주 승수.. 2024. 6. 17. [Optimization]Adagrad(Adaptive Gradient), RMSProp(Root Mean Squared Propagation), Adadelta(Adaptive delta) 앞선 글에서는 Gradient Descent의 운동량(Momentum)을 조정하여 수렴속도를 빠르게 하는 방법인 Momentum, Nesterov Accelerated Gradient(NAG) Optimizer를 살펴보았습니다 [Optimization]Momentum, Nesterov Accelerated Gradient(NAG)앞서 Gradient Descent 에서 Mini - Batch GD, SGD를 공부해보았습니다 [Optimization][Gradient Descent] Batch와 Gradient Descent(Full batch, Mini-batch, SGD)[Optimization] Gradient Descent(경사하강법)! Optimization에 대해서 이제 처self-object.. 2024. 6. 12. [Optimization]Momentum, Nesterov Accelerated Gradient(NAG) 앞서 Gradient Descent 에서 Mini - Batch GD, SGD를 공부해보았습니다 [Optimization][Gradient Descent] Batch와 Gradient Descent(Full batch, Mini-batch, SGD)[Optimization] Gradient Descent(경사하강법)! Optimization에 대해서 이제 처음 접해보시는 분은 Optimization 정의 먼저 보고 오시면 좋습니다 ! [Optimization] Optimization 정의Optimization(최적화) 란?Optimization이란self-objectification.tistory.com 언급한 바와 같이 SGD의 단점(Parameter 변경폭이 불안정)을 개선하기 위해 Velocity.. 2024. 6. 10. [ML] 이동평균(Moving Average, SMA, CMA, WMA, EMA) Moving Average(이동평균)이란?전체 데이터 셋의 여러 하위 집합에 대한 일련의 평균을 만드는 것을 의미한다 보통 시계열 데이터에서 일정 기간동안 평균값을 계산하여 데이터의 추세를 분석하는데 사용된다(데이터의 변동성을 줄이고 장기적인 추세를 파악하기 위해서) Moving Average에는 여러 종류가 있는데 이를 살펴보겠습니다 Simple Moving Average(단순 이동 평균, SMA)정해진 폭(기간, Window)의 데이터들의 평균을 계산 $$SMA = \frac{x_M + x_{M-1} \, +\cdots \, + x_{M-(n-1)}}{n} =\frac{1}{n} \sum \limits_{i=1}^{n-1} x_{M-i}$$Cumulative Moving Average(누적 이동 평균.. 2024. 6. 10. [Optimization][Gradient Descent] Batch와 Gradient Descent(Full batch, Mini-batch, SGD) [Optimization] Gradient Descent(경사하강법)! Optimization에 대해서 이제 처음 접해보시는 분은 Optimization 정의 먼저 보고 오시면 좋습니다 ! [Optimization] Optimization 정의Optimization(최적화) 란?Optimization이란 최소한의 Cost로 최적의 답을 찾는 과self-objectification.tistory.com앞선 글에서 간략하게 Gradient Descent 기본 개념에 대해 보았습니다 그럼 이번 글에서는 여러 Gradient Descent 대해서 보도록 하겠습니다 ! ※ NotationEpoch인공신경망에서 전체 데이터 셋에 대해 Forward, Backward 과정을 한번 거친 것즉, 전체 데이터 셋에 대.. 2024. 6. 10. [Optimization] Gradient Descent(경사하강법) ! Optimization에 대해서 이제 처음 접해보시는 분은 Optimization 정의 먼저 보고 오시면 좋습니다 ! [Optimization] Optimization 정의Optimization(최적화) 란?Optimization이란 최소한의 Cost로 최적의 답을 찾는 과정을 의미합니다 ML/DL 에서는 Loss Function을 정의하고 Gradicent Descent, Stochastic Gradient Descent, Mometum, RMSProp, Adam 등 많은 Optimizatself-objectification.tistory.comGradient Descent에 대해 적기 전에 간단하게 Gradient에 대해 정의하고 시작하겠습니다 ! ※ Gradient 깊게 들어가면 벡터 미적분학.. 2024. 6. 8. 이전 1 2 3 다음 반응형
