Apache Hadoop

**Apache Hadoop**
開發者	Apache软件基金会
首次发布	2006年4月1日，18年前
当前版本	3.4.0 (2024年3月17日);
源代码库	git-wip-us.apache.org/repos/asf/hadoop.git;
编程语言	Java
操作系统	跨平台
类型	大數據、分佈式系統
许可协议	Apache許可證 2.0
网站	hadoop.apache.org

Apache Hadoop是一款支持數據密集型分佈式應用程序并以Apache 2.0許可協議發佈的開源軟體框架。它支持在商用硬件構建的大型集群上運行的應用程序。Hadoop是根據谷歌公司發表的MapReduce和Google檔案系統的論文自行實作而成。所有的Hadoop模块都有一个基本假设，即硬件故障是常见情况，应该由框架自动处理。

Hadoop框架透明地為應用提供可靠性和數據移動。它實現了名為MapReduce的編程範式：應用程序被分割成許多小部分，而每個部分都能在集群中的任意節點上執行或重新執行。此外，Hadoop還提供了分佈式文件系統，用以存儲所有計算節點的數據，這為整個集群帶來了非常高的帶寬。MapReduce和分佈式文件系統的設計，使得整個框架能夠自動處理節點故障。它使應用程序與成千上萬的獨立計算的電腦和PB級的數據连接起来。現在普遍認為整個Apache Hadoop“平台”包括Hadoop內核、MapReduce、Hadoop分佈式文件系統（HDFS）以及一些相關項目，有Apache Hive和Apache HBase等等。

主要子项目

Hadoop Common：在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop Common
HDFS：Hadoop分佈式文件系統（Distributed File System）－HDFS（Hadoop Distributed File System）
MapReduce：并行计算框架，0.20前使用org.apache.hadoop.mapred旧接口，0.20版本开始引入org.apache.hadoop.mapreduce的新API

知名用戶

Hadoop在Yahoo!的應用

2008年2月19日，雅虎使用10,000個微處理器核心的Linux 计算机集群運行一個Hadoop應用程式。^[3]

其他用戶

其他知名用戶包括^[4]：

A9.com
Facebook
Fox Interactive Media
华为
IBM
ImageShack
資訊科學研究院
Joost
Last.fm
Powerset
紐約時報
Rackspace
Veoh
中華電信
中国移动

Hadoop與Sun Grid Engine

昇陽電腦的Sun Grid Engine可以用来调度Hadoop Job。^[5]^[6]

Hadoop與Condor

威斯康辛大學麥迪遜分校的Condor計算機集群軟件也可以用作Hadoop Job的排程。^[7]

參見

参考文献

^ Hadoop Releases. apache.org. Apache Software Foundation. [2019-04-28]. （原始内容存档于2019-04-28）.
^ Release 3.4.0 available. [2024年4月10日].
^ Yahoo! Launches World's Largest Hadoop Production Application (Hadoop and Distributed Computing at Yahoo!). [2008-09-04]. （原始内容存档于2008-05-14）.
^ PoweredBy. [2008-09-07]. （原始内容存档于2012-11-29）.
^ Creating Hadoop pe under SGE. Sun Microsystems. 2008-01-16 [2008-09-04]. （原始内容存档于2008-09-12）.
^ HDFS-Aware Scheduling With Grid Engine (PDF). Sun Microsystems. 2009-09-10. ^{[永久失效連結]}
^ Condor integrated with Hadoop's Map Reduce (PDF). 威斯康辛大學麥迪遜分校. 2010-04-15 [2011-03-15]. （原始内容存档 (PDF)于2011-04-01）.

外部連結

Hadoop官方網站（页面存档备份，存于互联网档案馆）

[1] Hadoop Releases. apache.org. Apache Software Foundation. [2019-04-28]. （原始内容存档于2019-04-28）.

[wikidata-c8920ace5906148ec820fd4af51dc64af7c873c0-v3-2] Release 3.4.0 available. [2024年4月10日].

[3] Yahoo! Launches World's Largest Hadoop Production Application (Hadoop and Distributed Computing at Yahoo!). [2008-09-04]. （原始内容存档于2008-05-14）.

[4] PoweredBy. [2008-09-07]. （原始内容存档于2012-11-29）.

[5] Creating Hadoop pe under SGE. Sun Microsystems. 2008-01-16 [2008-09-04]. （原始内容存档于2008-09-12）.

[6] HDFS-Aware Scheduling With Grid Engine (PDF). Sun Microsystems. 2009-09-10. ^{[永久失效連結]}

[7] Condor integrated with Hadoop's Map Reduce (PDF). 威斯康辛大學麥迪遜分校. 2010-04-15 [2011-03-15]. （原始内容存档 (PDF)于2011-04-01）.

[1]

[2]

[3]

[4]

[5]

[6]

[7]