本頁使用了標題或全文手工轉換

Apache Hadoop

維基百科,自由的百科全書
跳至導覽 跳至搜尋
Apache Hadoop
Hadoop Logo
開發者Apache軟體基金會
初始版本2006年4月1日,​15年前​(2006-04-01[1]
穩定版本
3.3.0
(2020年7月14日 (2020-07-14)
預覽版本
3.0.0-alpha4
(2017年7月7日 (2017-07-07)
原始碼庫 編輯維基數據鏈結
程式語言Java
作業系統跨平台
類型巨量資料分佈式系統
授權條款Apache授權條款 2.0
網站hadoop.apache.org

Apache Hadoop是一款支援數據密集型分佈式應用程式並以Apache 2.0許可協定發佈的開源軟體框架。它支援在商用硬體構建的大型叢集上運行的應用程式。Hadoop是根據Google公司發表的MapReduceGoogle檔案系統的論文自行實作而成。所有的Hadoop模組都有一個基本假設,即硬體故障是常見情況,應該由框架自動處理。

Hadoop框架透明地為應用提供可靠性和數據移動。它實現了名為MapReduce的編程範式:應用程式被分割成許多小部分,而每個部分都能在叢集中的任意節點上執行或重新執行。此外,Hadoop還提供了分佈式檔案系統,用以儲存所有計算節點的數據,這為整個叢集帶來了非常高的帶寬。MapReduce和分佈式檔案系統的設計,使得整個框架能夠自動處理節點故障。它使應用程式與成千上萬的獨立計算的電腦和PB級的數據連接起來。現在普遍認為整個Apache Hadoop「平台」包括Hadoop核心、MapReduce、Hadoop分佈式檔案系統(HDFS)以及一些相關項目,有Apache Hive和Apache HBase等等。

主要子專案[編輯]

Hadoop小電腦叢集用Cubieboard電腦。
  • Hadoop Common:在0.20及以前的版本中,包含HDFS、MapReduce和其他專案公共內容,從0.21開始HDFS和MapReduce被分離為獨立的子專案,其餘內容為Hadoop Common
  • HDFS:Hadoop分佈式檔案系統(Distributed File System)-HDFS(Hadoop Distributed File System)
  • MapReduce:平行計算框架,0.20前使用org.apache.hadoop.mapred舊介面,0.20版本開始引入org.apache.hadoop.mapreduce的新API

相關專案[編輯]

知名使用者[編輯]

Hadoop在Yahoo!的應用[編輯]

2008年2月19日,雅虎使用10,000個微處理器核心的Linux電腦叢集運行一個Hadoop應用程式。[2]

其他使用者[編輯]

其他知名使用者包括[3]

Hadoop與Sun Grid Engine[編輯]

昇陽電腦的Sun Grid Engine可以用來排程Hadoop Job。[4][5]

Hadoop與Condor[編輯]

威斯康辛大學麥迪遜分校的Condor計算機叢集軟體也可以用作Hadoop Job的排程。[6]

參見[編輯]

參考文獻[編輯]

  1. ^ Hadoop Releases. apache.org. Apache Software Foundation. [2019-04-28]. (原始內容存檔於2019-04-28). 
  2. ^ Yahoo! Launches World's Largest Hadoop Production Application (Hadoop and Distributed Computing at Yahoo!). [2008-09-04]. (原始內容存檔於2008-05-14). 
  3. ^ PoweredBy. [2008-09-07]. (原始內容存檔於2012-11-29). 
  4. ^ Creating Hadoop pe under SGE. Sun Microsystems. 2008-01-16 [2008-09-04]. (原始內容存檔於2008-09-12). 
  5. ^ HDFS-Aware Scheduling With Grid Engine (PDF). Sun Microsystems. 2009-09-10. [永久失效連結]
  6. ^ Condor integrated with Hadoop's Map Reduce (PDF). 威斯康辛大學麥迪遜分校. 2010-04-15 [2011-03-15]. (原始內容存檔 (PDF)於2011-04-01). 

外部連結[編輯]