반응형 XGBoost1 [ML][Ensemble]XGBoost(Extreme Gradient Boost) XGBoost(Extreme Gradient Boost)XGBoost는 기존 GBM 알고리즘의 성능과 속도를 향상시킨 알고리즘이다기존 GBM은 학습 데이터에 대한 Residual을 계속 줄이는 방향으로 학습하기 때문에 Overfitting이 되기 쉽다따라서 정규화 항을 Loss Function에 추가함으로써 Overfitting을 방지한다또한 Split Finding 알고리즘을 통해 연산의 효율성을 높혔다정규화$\Omega(f) = \gamma T + \frac{1}{2}\lambda ||c||^2$ (T : Terminal Node의 수, c : 각 노드의 가중치)여기서 $\gamma,\; \lambda$는 Hyper Parameter이다Split Finding기존에는 모든 Feature를 Split .. 2024. 7. 4. 이전 1 다음 반응형
