XGBoost

維基百科,自由的百科全書
XGBoost
開發者The XGBoost Contributors
首次發佈2014年3月27日,​10年前​(2014-03-27
當前版本
  • 2.0.3 (2023年12月19日;穩定版本)[1]
編輯維基數據鏈接
原始碼庫 編輯維基數據鏈接
程式語言C++
作業系統Linux, macOS, Windows
類型機器學習
許可協議Apache License 2.0
網站xgboost.ai

XGBoost[2]是一個開源軟件庫,為C++JavaPython[3]R[4]Julia[5]提供了一個梯度提升框架,適用於LinuxWindows[6]、以及macOS[7]。根據項目的描述,它的目的在於提供一個"可擴展、可移植和分佈式梯度提升(GBM、GBRT、GBDT)庫"。XGBoost除了可以在單機上運行,也支持運行在分佈式框架如Apache HadoopApache SparkApache Flink上。近幾年,由於該算法受到許多在機器學習競賽中獲獎團隊的青睞,因而受到了廣泛的歡迎和關注[8]

歷史[編輯]

XGBoost最初是一個研究項目,由當時在Distributed (Deep) Machine Learning Community (DMLC) 組裏的陳天奇負責[9]。它最初作為一個可以由libsvm配置文件進行配置的終端應用程式。在Higgs機器學習挑戰中取得勝利後,它開始在機器學習競賽圈子中被廣為人知。不久之後,相應的Python和R的軟件包被開發了出來。XGBoost現在也已經為Julia、Scala、Java和其他語言提供了軟件包實現。這使得更多的開發者了解了XGBoost,並且讓其在Kaggle社區備受歡迎,被廣泛用於大量的競賽[8]

很快地,XGBoost就與其他多個軟件包一起使用,使其更易於在各自的社區中使用。它現在已經與Python用戶的scikit-learn以及與R的Caret軟件包集成在一起。它還可以使用抽象的Rabit[10]及XGBoost4J集成到諸如Apache Spark、Apache Hadoop和Apache Flink等數據流框架中[11]。XGBoost也可用於FPGAsOpenCL[12]。陳天奇和Carlos Guestrin發表了一種高效、可擴展的XGBoost實現[13]

獲獎[編輯]

  • 約翰錢伯斯獎(2016) [14]
  • 高能物理學會議機器學習獎(HEP meets ML) (2016) [15]

參考文獻[編輯]

  1. ^ Release 2.0.3. 2023年12月19日 [2023年12月19日]. 
  2. ^ GitHub project webpage. [2019-01-09]. (原始內容存檔於2021-04-01). 
  3. ^ Python Package Index PYPI: xgboost. [2016-08-01]. (原始內容存檔於2017-08-23). 
  4. ^ CRAN package xgboost. [2016-08-01]. (原始內容存檔於2018-10-26). 
  5. ^ Julia package listing xgboost. [2016-08-01]. (原始內容存檔於2016-08-18). 
  6. ^ Installing XGBoost for Anaconda in Windows. [2016-08-01]. (原始內容存檔於2018-05-08). 
  7. ^ Installing XGBoost on Mac OSX. [2016-08-01]. (原始內容存檔於2018-05-08). 
  8. ^ 8.0 8.1 XGBoost - ML winning solutions (incomplete list). [2016-08-01]. 
  9. ^ Story and Lessons behind the evolution of XGBoost. [2016-08-01]. (原始內容存檔於2016-08-07). 
  10. ^ Rabit - Reliable Allreduce and Broadcast Interface. [2016-08-01]. (原始內容存檔於2018-06-11). 
  11. ^ XGBoost4J. [2016-08-01]. (原始內容存檔於2018-05-08). 
  12. ^ XGBoost on FPGAs. [2019-08-01]. (原始內容存檔於2020-09-13). 
  13. ^ Chen, Tianqi; Guestrin, Carlos. Krishnapuram, Balaji; Shah, Mohak; Smola, Alexander J.; Aggarwal, Charu C.; Shen, Dou; Rastogi, Rajeev , 編. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, August 13-17, 2016. ACM: 785–794. 2016. arXiv:1603.02754可免費查閱. doi:10.1145/2939672.2939785.  |contribution=被忽略 (幫助)
  14. ^ John Chambers Award Previous Winners. [2016-08-01]. (原始內容存檔於2017-07-31). 
  15. ^ HEP meets ML Award. [2016-08-01]. (原始內容存檔於2018-05-08).