반응형 ML/Classification4 [ML][Classification]Linear Discriminant Analysis(LDA, 선형판별분석), Quadratic Discriminant Analysis(QDA) Linear Discriminant Analaysis(LDA, 선형판별분석)LDA는 주로 데이터 분포를 학습하여 새로운 데이터의 클래스를 예측하는 것과 데이터의 차원을 축소하는 두 가지 목적을 위해 사용됩니다핵심 아이디어는 각 클래스 간의 분산을 최대화하면서, 클래스 내의 분산을 최소화하는 방향으로 데이터를 변환하는 것입니다 LDA의 기본가정1. Density Function이 Gaussian Distribution을 따른다$${\large f_k(x) = \frac{1}{\sqrt{2\pi} \sigma_k} e^{-\frac{1}{2} (\frac{x - \mu_k}{\sigma_k})^2}}$$2. 각 클래스의 분산은 동일하다$${\large \sigma_k = \sigma} \; for\;all\.. 2024. 6. 19. [ML][Classification] Support Vector Machine(SVM, SVD) 이번 글에서는Binary Classification에서 주로 활용되는 Support Vector Machine에 대해 공부해보고자합니다 SVM에 들어가기에 앞서 먼저 알아두고 가야할 것들에 대해 설명하고 시작하도록 하겠습니다 ! ※ Hyperplane(초평면)Affine Space(어핀 공간) : 벡터 공간에서의 원점이 없는 공Vector Space(벡터 공간) : 임의의 점을 잡아도 원점에서 해당 점을 잇는 벡터로 바라보고 있는 벡터를 정의할 수 있는 공간 즉, 벡터공간에서는 벡터가 어디에 위치해 있든 크기와 방향만 같다면 모두 같은 벡터로 취급하지만 어핀 공간에서는 벡터에 위치표현을 추가하여 해단 벡터의 크기, 방향 뿐만 아니라 위치까지도 표현할 수 있는 공간이 된다 그렇다면 Hyperplane이란?.. 2024. 6. 18. [ML][Classification]Logistic Regression(로지스틱 회귀) ※ Remind회귀(Regression)Input : 연속형(실수값), 이산형(범주형) 모두 가능Output : 연속형(실수형)분류(Classification)Input : 연속형(실수값), 이산형(범주형) 모두 가능Output : 이산값(범주형)Binary Classification이라면 시그모이드 함수, Multiclass Classification이라면 소프트맥수 함수 사용※ Notation시그모이드(Sigmoid) 함수S자형 곡선 또는 시그모이드 곡선을 갖는 함수Binary Classification, Deep Learning에서 Activation Function으로 사용$$y = \frac{1}{1 + e^{-x}} = \frac{e^x}{1 + e^x }$$ 소프트맥스(Softmax) 함수.. 2024. 6. 7. [ML][Classification] 분류 성능 평가 방법(Accuracy, Precision, Recall, F1-score, ROC, AUC) Confusion matrix(오차 행렬)Classification 성능 측정을 위해 예측값과 실제값을 비교한 표 TP : 실제값이 Positive(1)이고 모델의 예측값도 Positive(1)FP : 실제값이 Positive(1)이고 모델의 예측값은 Negative(0)FN : 실제값이 Negative(0)이고 모델의 예측값은 Positive(1)TN : 실제값이 Negative(0)이고 모델의 예측값도 Negative(0) Accuracy(정확도)데이터 샘플 중 예측에 성공한 샘플의 비율($\frac{TP + TN}{TP+FN+FP+TN}$)Precision(정밀도)모델이 Positive로 예측한 것 중 실제값 도한 Positive인 비율($\frac{TP}{TP+FP}$)Recall(재현율) 실제.. 2024. 6. 5. 이전 1 다음 반응형
