반응형 ML22 [ML][Classification]Logistic Regression(로지스틱 회귀) ※ Remind회귀(Regression)Input : 연속형(실수값), 이산형(범주형) 모두 가능Output : 연속형(실수형)분류(Classification)Input : 연속형(실수값), 이산형(범주형) 모두 가능Output : 이산값(범주형)Binary Classification이라면 시그모이드 함수, Multiclass Classification이라면 소프트맥수 함수 사용※ Notation시그모이드(Sigmoid) 함수S자형 곡선 또는 시그모이드 곡선을 갖는 함수Binary Classification, Deep Learning에서 Activation Function으로 사용$$y = \frac{1}{1 + e^{-x}} = \frac{e^x}{1 + e^x }$$ 소프트맥스(Softmax) 함수.. 2024. 6. 7. [ML][Classification] 분류 성능 평가 방법(Accuracy, Precision, Recall, F1-score, ROC, AUC) Confusion matrix(오차 행렬)Classification 성능 측정을 위해 예측값과 실제값을 비교한 표 TP : 실제값이 Positive(1)이고 모델의 예측값도 Positive(1)FP : 실제값이 Positive(1)이고 모델의 예측값은 Negative(0)FN : 실제값이 Negative(0)이고 모델의 예측값은 Positive(1)TN : 실제값이 Negative(0)이고 모델의 예측값도 Negative(0) Accuracy(정확도)데이터 샘플 중 예측에 성공한 샘플의 비율($\frac{TP + TN}{TP+FN+FP+TN}$)Precision(정밀도)모델이 Positive로 예측한 것 중 실제값 도한 Positive인 비율($\frac{TP}{TP+FP}$)Recall(재현율) 실제.. 2024. 6. 5. [ML]Over Fitting 해결방법(Validation, Regularization) 일반적으로 모델 복잡도를 증가시키면 Bias가 줄어든다.하지만 Bias and Variance Trade-Off로 인해 Variance가 증가하고 결론적으로 전체 Error는 증가한다.또한 모델 복잡도를 증가시키면 Over fitting 이슈가 발생할 수 있다. Bias and Variance Trade-Off(분산 편향 트레이드 오프)※ Notation$f(x)$ : Input x에 대한 실제 정답, 하나 존재$\hat{f(x)}$ : Input x에 대한 Model의 예측값, 다양한 값 존재$E[\hat{f(x)}]$ : $ \hat{f}(x) $에 대한 기댓값 모델 복잡도(Model Complexity)모델의 파라미터 수self-objectification.tistory.com 일반적으로 모델의 복.. 2024. 6. 4. [ML]Bias and Variance Trade-Off(분산 편향 트레이드 오프) ※ Notation$f(x)$ : Input x에 대한 실제 정답, 하나 존재$\hat{f(x)}$ : Input x에 대한 Model의 예측값, 다양한 값 존재$E[\hat{f(x)}]$ : $ \hat{f}(x) $에 대한 기댓값 모델 복잡도(Model Complexity)모델의 파라미터 수가 많아질수록(선형 모델 -> 비선형 모델), 모델 복잡도가 증가모델이 복잡해질수록 학습 데이터를 더욱 완벽하게 학습학습 데이터가 많은 경우 : Under-fitting학습 데이터가 적은 경우 : Over-fittingBias vs Variance편향과 분산은 알고리즘이 가지고 있는 에러의 종류이다.Bias(편향)Model을 통해 얻은 예측값과 실제 정답과의 차이즉, 예측값이 실제 정답과 얼마만큼 떨어져있는지를 나.. 2024. 5. 29. 이전 1 2 3 다음 반응형
