Self-Obj85 [ML][Ensemble]Decision Tree(결정트리) Machine Learning에서 Ensemble 학습에 들어가기 전에 Ensemble 학습의 대표적인 모델인 Random Forest가 Decision Tree 기반으로 되어있기 때문에 Decision Tree에 대해 공부하고 Ensemble 학습에 대해서 공부해보도록 하겠습니다Decision Tree(결정트리)Decision Tree란 의사 결정 규칙과 그에 따른 결과들을 Tree 구조로 나타낸 모델입니다예측을 위해 여러 Region으로 Segmenting 하는 과정을 거치게 되고 분류 및 회귀에서 모두 사용 가능합니다 아래의 그림에서 "Years Root Node : Tree 최상단에 위치하며, 데이터 분류의 시작점Internal Node : 하나의 Feature에 대한 조건으로 분할되는 노드 T.. 2024. 6. 24. [Recommendattion System]Consine Similarity(코사인 유사도), Jaccard Similarity(자카드 유사도), Euclidean Distance(유클리디언 거리), Pearson Correlation Coefficient(피어슨 상관계수) Similarity(유사도)두 Item 간의 비슷한 정도를 측정하는 개념입니다Recommendation System에서 User나 Item 간의 관련성을 평가하는데 사용합니다Consine Similarity(코사인 유사도)벡터 간 코사인 각도를 이용하여 유사도를 측정합니다두 벡터가 이루는 각이 작을수록(Cosine 값이 1에 가까울수록) 두 벡터는 유사하다고 판단합니다주로 텍스트 데이터나 문서의 유사성을 측정할 때 사용합니다$$Cosine\; Similarity\;= \frac{A \cdot B}{||A|| \cdot ||B||} = \frac{\sum \limits_{i=1}^{n} A_i \times B_i}{\sqrt{ \sum \limits_{i=1}^{n} {A_i}^2} \times \sqrt.. 2024. 6. 20. [Recommendation System] Content Based Recommendation System(컨텐츠 기반 추천 시스템) Content Based Recommendation System(컨텐츠 기반 추천 시스템)Content Based Recommendation System, Content Based Filtering 이라고도 부르는 컨텐츠 기반 추천 시스템은 Item에 대한 세부 정보를 토대로 User가 과거에 소비했던 Content와 유사한 Content를 추천하는 시스템입니다이전에 높게 평가했던 Content와 가장 유사한 Content를 추천합니다 분석 과정이미지, 자연어, 태그 등 데이터에서 해당 Item을 설명할 수 있는 특징을 Vectorization(벡터화)이미지 : CNN, ResNet, VGG 등등자연어 : TF - IDF, Word2Vec, BERT 등등Vectorization 후 벡터 간의 Simila.. 2024. 6. 20. [Recommendation System] 추천 시스템의 기본 Recommendation System IntroduceRecommendation System이란 사용자가 관심을 가질만한 Content를 추천하는 것으로 사용자의 선호도 및 과거 행동을 토대로 적합한 Content를 제공하는 System을 의미합니다 추천 시스템에서의 Deep Learning 활용Deep Learning은 Machine Learning과 달리 대용량 콘텐츠를 가공없이 Input으로 사용할 수 있어 Feature Extraction(특징추출)에 유리또한, 선형모델과 달리 비선형성 덕분에 User-Content 간에 복잡한 관계 추출 가능ML에 비해 많은 데이터를 학습시켰을 때 학습 데이터와 거리가 먼 데이터에 대해 유연한 처리가 가능추천 시스템의 목표Prediction version of.. 2024. 6. 20. [ML][Classification]Linear Discriminant Analysis(LDA, 선형판별분석), Quadratic Discriminant Analysis(QDA) Linear Discriminant Analaysis(LDA, 선형판별분석)LDA는 주로 데이터 분포를 학습하여 새로운 데이터의 클래스를 예측하는 것과 데이터의 차원을 축소하는 두 가지 목적을 위해 사용됩니다핵심 아이디어는 각 클래스 간의 분산을 최대화하면서, 클래스 내의 분산을 최소화하는 방향으로 데이터를 변환하는 것입니다 LDA의 기본가정1. Density Function이 Gaussian Distribution을 따른다$${\large f_k(x) = \frac{1}{\sqrt{2\pi} \sigma_k} e^{-\frac{1}{2} (\frac{x - \mu_k}{\sigma_k})^2}}$$2. 각 클래스의 분산은 동일하다$${\large \sigma_k = \sigma} \; for\;all\.. 2024. 6. 19. [ML][Classification] Soft Margin SVM, Nonlinear SVM(비선형 서포트 벡터 머신), Kernel Trick, Multiclass SVM [ML][Classification] Support Vector Machine(SVM, SVD)이번 글에서는Binary Classification에서 주로 활용되는 Support Vector Machine에 대해 공부해보고자합니다 SVM에 들어가기에 앞서 먼저 알아두고 가야할 것들에 대해 설명하고 시작하도록 하겠습니다 ! self-objectification.tistory.com 앞선 글에서 Support Vector Machine에 대해서 공부해보았습니다이번 글에서는 SVM의 심화주제인 Soft Margin SVM, Nonlinear SVM에 대해 공부해보도록 하겠습니다Soft Margin SVM앞선 글에서 SVM은 이상치에 민감하게 반응하기 때문에 이상치 처리가 중요하다고 언급하였습니다.Outlier.. 2024. 6. 18. [ML][Classification] Support Vector Machine(SVM, SVD) 이번 글에서는Binary Classification에서 주로 활용되는 Support Vector Machine에 대해 공부해보고자합니다SVM에 들어가기에 앞서 먼저 알아두고 가야할 것들에 대해 설명하고 시작하도록 하겠습니다 ! ※ Hyperplane(초평면)Affine Space(어핀 공간) : 벡터 공간에서의 원점이 없는 공Vector Space(벡터 공간) : 임의의 점을 잡아도 원점에서 해당 점을 잇는 벡터로 바라보고 있는 벡터를 정의할 수 있는 공간 즉, 벡터공간에서는 벡터가 어디에 위치해 있든 크기와 방향만 같다면 모두 같은 벡터로 취급하지만 어핀 공간에서는 벡터에 위치표현을 추가하여 해단 벡터의 크기, 방향 뿐만 아니라 위치까지도 표현할 수 있는 공간이 된다 그렇다면 Hyperplane이란? .. 2024. 6. 18. [ML]라그랑주 승수법(Lagrange Multiplier Method) 라그랑주 승수법(Lagrange Multiplier Method)라그랑즈 승수법이란 제약식(Constraint)이 있는 Optimization 문제를 라그랑주 승수 항을 추가해, 제약이 없는 문제로 바꾸는 방법입니다제약식, 라그랑주 승수에 대해서 생소하실텐데, 수식을 통해 라그랑주 승수법에 대한 설명을 시작하도록 하겠습니다Primal Problem(원초문제)우리가 해결해야할 문제입니다\begin{aligned} &\underset{x}{\min} \, c^T x\\ &subject\;to\; Ax = b\; , Gx \le h \end{aligned}원초 문제 $f = c^T x$를 최소화하는 과정에서 $Ax = b$, $Gx \le h$라는 제약식(Constraint)을 가지는 상황입니다.라그랑주 승수.. 2024. 6. 17. [Optimization]Adam(Adaptive Momentum Estimation), Adamax 앞선 글에서 Gradient Descent에서 Momentum(운동량), Velocity(속도)를 조정하는 방법들에 대해서 알아보았습니다 [Optimization]Momentum, Nesterov Accelerated Gradient(NAG)앞서 Gradient Descent 에서 Mini - Batch GD, SGD를 공부해보았습니다 [Optimization][Gradient Descent] Batch와 Gradient Descent(Full batch, Mini-batch, SGD)[Optimization] Gradient Descent(경사하강법)! Optimization에 대해서 이제 처self-objectification.tistory.com 이번 글에서는 Momentum, Velocity를 .. 2024. 6. 13. 이전 1 ··· 5 6 7 8 9 10 다음
