반응형 Gradient Boosting1 [ML][Ensemble]Gradient Boosting Machine(GBM) Gradient Boosting Machine(GBM)Residual(잔차, $y_i - \hat{f}(x_i)$)($\approx$ Negative Gradient)를 이용하여 이전 모델의 약점을 보완하는 새로운 모형을 순차적으로 Fitting한 뒤 이들을 선형결합하여 얻어진 모델을 생성하는 지도학습 알고리즘 $$ \begin{aligned} y_1 &= F_{prev}(x_1) + h(x_1)\\ y_2 &= F_{prev}(x_2) + h(x_2)\\ &\qquad\qquad \vdots \\ y_n &= F_{prev}(x_n) + h(x_n)\\ \Rightarrow &F_{new}(x) = F_{prev}(x) + l \cdot h(x) \end{aligned} $$위의 식과 그림처럼 이전 모.. 2024. 7. 2. 이전 1 다음 반응형
