반응형 전체 글44 [Optimization] Optimization 정의 Optimization(최적화) 란?Optimization이란 최소한의 Cost로 최적의 답을 찾는 과정을 의미합니다 ML/DL 에서는 Loss Function을 정의하고 Gradicent Descent, Stochastic Gradient Descent, Mometum, RMSProp, Adam 등 많은 Optimization 기법 등을 통해 Model의 최적의 Parameter를 찾아가는 과정을 의미합니다. 위에서 언급한 Loss Function과 Optimization 기법들에 대해서는 추후에 포스팅 할 예정이니 관심 있다면 봐주시길 부탁합니다 ! 우선 이 글에서는 기본적인 Optimization 정의에 대해서만 언급하려고 합니당 Optimization은 주어진 Loss Function $L(\th.. 2024. 6. 8. [ML] 최대 사후 확률(Maximum A Posterior, MAP) 최대 사후 확률(Maximum A Posterior, MAP) [ML] 최대 우도 추정법(Maximum Likelihood Estimation, MLE)최대 우도 추정법(Maximum Likelihood Estimation, MLE)최대 우도 추정법(Maximum Likelihood Estimation, MLE)는 확률변수에서 추출한 표본 값(관측 데이터)들을 토대로 우도(Likelihood)를 최대화하는 방향으로self-objectification.tistory.com MLE는 데이터의 사전 지식 정보를 반영하지 못하고 데이터의 의존적이라는 한계를 가진다.따라서 이러한 단점을 해결하기 위해 MAP는 데이터에 대한 사전확률 정보를 가진 상황에서 사후확률을 최대화 하는 Parameter를 추정한다. $\.. 2024. 6. 7. [ML] 최대 우도 추정법(Maximum Likelihood Estimation, MLE) 최대 우도 추정법(Maximum Likelihood Estimation, MLE)최대 우도 추정법(Maximum Likelihood Estimation, MLE)는 확률변수에서 추출한 표본 값(관측 데이터)들을 토대로 우도(Likelihood)를 최대화하는 방향으로 확률변수의 모수(파라미터)를 추정한다이 때 Likelihood를 최대화하는 parameter는 얻은 샘플로부터 모집단의 분포를 추정하였을 때 가장 적합한 parameter이다 그럼 여기서 우도(Likelihood)란 무엇인가? 우도 확률(Likelihood Probability, $P(X | w)$)모델 파라미터(모수) 값을 잘 모르지만 안다고 가정했을 때, 주어진 데이터의 분포따라서, 모델 파라미터(w)에 대한 함수로 데이터의 분포를 표현.. 2024. 6. 7. [ML][Classification]Logistic Regression(로지스틱 회귀) ※ Remind회귀(Regression)Input : 연속형(실수값), 이산형(범주형) 모두 가능Output : 연속형(실수형)분류(Classification)Input : 연속형(실수값), 이산형(범주형) 모두 가능Output : 이산값(범주형)Binary Classification이라면 시그모이드 함수, Multiclass Classification이라면 소프트맥수 함수 사용※ Notation시그모이드(Sigmoid) 함수S자형 곡선 또는 시그모이드 곡선을 갖는 함수Binary Classification, Deep Learning에서 Activation Function으로 사용$$y = \frac{1}{1 + e^{-x}} = \frac{e^x}{1 + e^x }$$ 소프트맥스(Softmax) 함수.. 2024. 6. 7. [ML][Classification] 분류 성능 평가 방법(Accuracy, Precision, Recall, F1-score, ROC, AUC) Confusion matrix(오차 행렬)Classification 성능 측정을 위해 예측값과 실제값을 비교한 표 TP : 실제값이 Positive(1)이고 모델의 예측값도 Positive(1)FP : 실제값이 Positive(1)이고 모델의 예측값은 Negative(0)FN : 실제값이 Negative(0)이고 모델의 예측값은 Positive(1)TN : 실제값이 Negative(0)이고 모델의 예측값도 Negative(0) Accuracy(정확도)데이터 샘플 중 예측에 성공한 샘플의 비율($\frac{TP + TN}{TP+FN+FP+TN}$)Precision(정밀도)모델이 Positive로 예측한 것 중 실제값 도한 Positive인 비율($\frac{TP}{TP+FP}$)Recall(재현율) 실제.. 2024. 6. 5. [ML]Over Fitting 해결방법(Validation, Regularization) 일반적으로 모델 복잡도를 증가시키면 Bias가 줄어든다.하지만 Bias and Variance Trade-Off로 인해 Variance가 증가하고 결론적으로 전체 Error는 증가한다.또한 모델 복잡도를 증가시키면 Over fitting 이슈가 발생할 수 있다. Bias and Variance Trade-Off(분산 편향 트레이드 오프)※ Notation$f(x)$ : Input x에 대한 실제 정답, 하나 존재$\hat{f(x)}$ : Input x에 대한 Model의 예측값, 다양한 값 존재$E[\hat{f(x)}]$ : $ \hat{f}(x) $에 대한 기댓값 모델 복잡도(Model Complexity)모델의 파라미터 수self-objectification.tistory.com 일반적으로 모델의 복.. 2024. 6. 4. [ML]Bias and Variance Trade-Off(분산 편향 트레이드 오프) ※ Notation$f(x)$ : Input x에 대한 실제 정답, 하나 존재$\hat{f(x)}$ : Input x에 대한 Model의 예측값, 다양한 값 존재$E[\hat{f(x)}]$ : $ \hat{f}(x) $에 대한 기댓값 모델 복잡도(Model Complexity)모델의 파라미터 수가 많아질수록(선형 모델 -> 비선형 모델), 모델 복잡도가 증가모델이 복잡해질수록 학습 데이터를 더욱 완벽하게 학습학습 데이터가 많은 경우 : Under-fitting학습 데이터가 적은 경우 : Over-fittingBias vs Variance편향과 분산은 알고리즘이 가지고 있는 에러의 종류이다.Bias(편향)Model을 통해 얻은 예측값과 실제 정답과의 차이즉, 예측값이 실제 정답과 얼마만큼 떨어져있는지를 나.. 2024. 5. 29. 안녕하세요 어쩌다보니 블로그를 쓰게 됐네요.이게 첫 글인데 앞으로 공부한 거 정리나 아무 얘기나 할 건데 관심 있으면 봐주세요~(저도 이곳 저곳에서 보면서 공부한 거 쓰는거라 혹시나 문제가 있다면 말씀부탁드립니다..!)시작 ! 2024. 5. 29. 이전 1 2 3 4 5 다음 반응형
