반응형 머신러닝18 [Recommendation System] 메타코드M "Kaggle 데이터를 활용한 개인화 추천시스템" (ML/DL) 이번 글은 메타코드 M의 "Kaggle 데이터를 활용한 개인화 추천시스템 100% 실습 강의 | 우아한 형제들, 현대카드 출신 Data Scientist 현직자 강의 " 강의에 대한 후기를 작성해보려고 합니다 ! 이 강의는 Python의 Numpy, Pandas, Matplotlib, Seaborn, Scikit-learn, Keras에 대해 선행지식을 가지고 있어야 하니 관심 있으신 분들은 따로 공부하시거나 메타코드에 다양한 강의가 있으니 먼저 수강하시는 것을 추천드립니다.1. 강의 수강 계기메타코드 M을 알게된 것은 2년전 쯤 우연히 유튜브 강의를 통해서 알게 되었고, 그 강의는 "머신러닝 강의 1,2,3강 - [국내 Top AI대학원 박사] " 였고, 유튜브에 장편으로 Machine Learning.. 2024. 12. 4. [ML][Time - Series Analysis] MA(Moving Aveage) 모델 MA(Moving Aveage) 모델이란?MA 모델은 트렌드(평균 혹은 시계열 그래프에서 y값)가 변화하는 상황에 적합한 회귀모델 MA 모델에서는 "윈도우(Window)"라는 개념을 사용하는데, 시계열을 따라 윈도우 크기만큼 sliding 된다로 하여 이동 평균 모델이라 한다MA 모델 수식$${\large Z_{t}= \mu + \epsilon_{t} + \theta_{1}\epsilon_{t-1} + \theta_{2}\epsilon_{t-2} + \cdots + \theta_{p}\epsilon_{t-p}}$$ $Z_{t}$ : 현재 시점에서의 시계열 값 $\mu$ : 평균$\epsilon_{t} + \theta_{1}\epsilon_{t-1} + \theta_{2}\epsilon_.. 2024. 8. 25. [ML][Ensemble]Gradient Boosting Machine(GBM) Gradient Boosting Machine(GBM)Residual(잔차, $y_i - \hat{f}(x_i)$)($\approx$ Negative Gradient)를 이용하여 이전 모델의 약점을 보완하는 새로운 모형을 순차적으로 Fitting한 뒤 이들을 선형결합하여 얻어진 모델을 생성하는 지도학습 알고리즘 $$ \begin{aligned} y_1 &= F_{prev}(x_1) + h(x_1)\\ y_2 &= F_{prev}(x_2) + h(x_2)\\ &\qquad\qquad \vdots \\ y_n &= F_{prev}(x_n) + h(x_n)\\ \Rightarrow &F_{new}(x) = F_{prev}(x) + l \cdot h(x) \end{aligned} $$위의 식과 그림처럼 이전 모.. 2024. 7. 2. [ML][Ensemble] AdaBoost(아다부스트, Adaptive Boosting) AdaBoost(아다부스트, Adaptive Boosting)Adaboost는 최초의 Boosting 알고리즘입니다이전 Decision Tree가 잘못 예측한 데이터에 큰 가중치를 부여해, 다음 Decision Tree가 더 집중할 수 있도록 순차적으로 학습하는 방법입니다Decision Tree로는 Stump 구조를 사용합니다(여기서 Stump 구조란 하나의 Split 만을 가진 가장 간단한 형태의 Decition Tree입니다) 세부적으로 설명하자면 B개의 Decision Tree 별로 계산된 모델 가중치 ($c_b$)를 합산하여 최종 모델을 생성합니다AdaBoost의 알고리즘 설명 전 AdaBoost의 Loss Function에서 사용되는 지수 손실에 대해서 간략히 설명하겠습니다※ 지수 손실 지수 손.. 2024. 6. 26. [ML][Ensemble] Random Forest(랜덤 포레스트), OOB(Out Of Bag) Random Forest를 공부하기 전 앞서 봤던 Bagging에 대해 더 알아보고 시작해야합니다Bagging은 Bootstrap을 통해 B개의 데이터셋을 만든다고 설명했었습니다여기서 원래 n개의 데이터가 존재하는 데이터 셋 $X$에서 j번째 데이터 $x_j$에 집중해서 보고자합니다1. $X$에서 임의의 데이터 추출 => 첫번째 Bootstrap 데이터 셋의 첫번째 Observation여기서 $x_j$가 뽑히지 않을 확률 : $1 - \frac{1}{n}$ 2. $X$에서 임의의 데이터 복원 추출 => 첫번째 Bootstrap 데이터 셋의 두 번째 Observation여기서 $x_j$가 뽑히지 않을 확률 : $1 - \frac{1}{n}$ 이 과정을 n번 반복하여 첫번째 Bootstrap 데이터 셋의.. 2024. 6. 25. [ML][Ensemble]Decision Tree(결정트리) Machine Learning 주제에서 Ensemble 학습에 들어가기 전에 Ensemble 학습의 대표적인 모델인 Random Forest가 Decision Tree 기반으로 되어있기 때문에 Decision Tree에 대해 공부하고 Ensemble 학습에 대해서 공부해보도록 하겠습니다 Decision Tree(결정트리)Decision Tree란 의사 결정 규칙과 그에 따른 결과들을 Tree 구조로 나타낸 모델입니다예측을 위해 여러 Region으로 Segmenting 하는 과정을 거치게 되고 분류 및 회귀에서 모두 사용 가능합니다 아래의 그림에서 "Years Root Node : Tree 최상단에 위치하며, 데이터 분류의 시작점Internal Node : 하나의 Feature에 대한 조건으로 분할되는 .. 2024. 6. 24. [ML][Classification]Linear Discriminant Analysis(LDA, 선형판별분석), Quadratic Discriminant Analysis(QDA) Linear Discriminant Analaysis(LDA, 선형판별분석)LDA는 주로 데이터 분포를 학습하여 새로운 데이터의 클래스를 예측하는 것과 데이터의 차원을 축소하는 두 가지 목적을 위해 사용됩니다핵심 아이디어는 각 클래스 간의 분산을 최대화하면서, 클래스 내의 분산을 최소화하는 방향으로 데이터를 변환하는 것입니다 LDA의 기본가정1. Density Function이 Gaussian Distribution을 따른다$${\large f_k(x) = \frac{1}{\sqrt{2\pi} \sigma_k} e^{-\frac{1}{2} (\frac{x - \mu_k}{\sigma_k})^2}}$$2. 각 클래스의 분산은 동일하다$${\large \sigma_k = \sigma} \; for\;all\.. 2024. 6. 19. [ML][Classification] Soft Margin SVM, Nonlinear SVM(비선형 서포트 벡터 머신), Kernel Trick, Multiclass SVM [ML][Classification] Support Vector Machine(SVM, SVD)이번 글에서는Binary Classification에서 주로 활용되는 Support Vector Machine에 대해 공부해보고자합니다 SVM에 들어가기에 앞서 먼저 알아두고 가야할 것들에 대해 설명하고 시작하도록 하겠습니다 ! self-objectification.tistory.com 앞선 글에서 Support Vector Machine에 대해서 공부해보았습니다이번 글에서는 SVM의 심화주제인 Soft Margin SVM, Nonlinear SVM에 대해 공부해보도록 하겠습니다Soft Margin SVM앞선 글에서 SVM은 이상치에 민감하게 반응하기 때문에 이상치 처리가 중요하다고 언급하였습니다.Outlier.. 2024. 6. 18. [ML][Classification] Support Vector Machine(SVM, SVD) 이번 글에서는Binary Classification에서 주로 활용되는 Support Vector Machine에 대해 공부해보고자합니다 SVM에 들어가기에 앞서 먼저 알아두고 가야할 것들에 대해 설명하고 시작하도록 하겠습니다 ! ※ Hyperplane(초평면)Affine Space(어핀 공간) : 벡터 공간에서의 원점이 없는 공Vector Space(벡터 공간) : 임의의 점을 잡아도 원점에서 해당 점을 잇는 벡터로 바라보고 있는 벡터를 정의할 수 있는 공간 즉, 벡터공간에서는 벡터가 어디에 위치해 있든 크기와 방향만 같다면 모두 같은 벡터로 취급하지만 어핀 공간에서는 벡터에 위치표현을 추가하여 해단 벡터의 크기, 방향 뿐만 아니라 위치까지도 표현할 수 있는 공간이 된다 그렇다면 Hyperplane이란?.. 2024. 6. 18. 이전 1 2 다음 반응형
