티스토리 뷰
xgboost 란?
XGBoost는 히스토그램 기반 Gradient Boosting 알고리즘을 분산환경에서도 실행할 수 있도록 구현해놓은 라이브러리이다. 여러 개의 약한 Decision Tree를 조합해서 사용하는 Ensemble 기법 중 하나이다.
즉, 약한 예측 모형들의 학습 에러에 가중치를 두고, 순차적으로 다음 학습 모델에 반영하여 강한 예측 모델을 만드는 것이다.
회귀(Regression), 분류(Classification) 문제를 모두 지원하며, 성능과 자원 효율이 좋아서, 가장 인기있는 모델 중 하나이다.
xgboost의 장점
1. GBM(gradient boostin algorithm) 대비 빠른 수행시간 : 병렬 처리로 학습, 분류 속도가 빠르다.
2. 과적합 규제(Regularization) : 표준 GBM 경우 과적합 규제기능이 없으나, XGBoost는 자체에 과적합 규제 기능으로 강한 내구성 지닌다.
3. 분류와 회귀영역에서 뛰어난 예측 성능 발휘 : 즉, CART(Classification and regression tree) 앙상블 모델을 사용
4.Early Stopping(조기 종료) 기능 : 다양한 옵션을 제공하며 Customizing이 용이하다.
Jupyter notebook에 xgboost 설치하기
우분투 환경에서 jupyter notebook 처음 설치하려고 할 때 cmake 가 없다고 오류가 발생하였다. 그래서 아래 사진처럼 cmake를 먼저 설치를 해준다.
그 다음에 xgboost를 설치하는 코드를 입력해준다.
그러면 성공적으로 설치가 되었다고 메시지가 나온다.
출처 : [최운호님 tistory]