Apache Hadoop
维基百科，自由的百科全书
 |
|
|---|---|
| 開發者 | Apache軟件基金會 |
| 穩定版本 | 1.1.2/ 2013年2月15日 |
| 程式語言 | Java |
| 作業系統 | 跨平台 |
| 許可協議 | Apache許可證 2.0 |
| 網站 | http://hadoop.apache.org/ |
Hadoop是Apache軟件基金會所研發的開放源碼並行運算編程工具和分散式檔案系統，根據Google公司發表的MapReduce和Google檔案系統的論文，自行實作而成。
目录 |
主要子项目 [编辑]
- Hadoop Common: 在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop Common
- HDFS: Hadoop 分佈式文件系統 (Distributed File System) － HDFS (Hadoop Distributed File System)
- MapReduce：并行计算框架，0.20前使用 org.apache.hadoop.mapred 旧接口，0.20版本开始引入org.apache.hadoop.mapreduce的新API
相關项目 [编辑]
- HBase: 类似Google BigTable的分布式NoSQL列数据库。
- Hive：数据仓库工具，由Facebook贡献。
- Zookeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。
- Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。
知名用戶 [编辑]
Hadoop在Yahoo!的應用 [编辑]
2008年2月19日，Yahoo!使用10,000個微處理器核心的Linux计算机集群運行一個Hadoop應用程式。[1]
其他用戶 [编辑]
其他知名用戶包括：[2]
Hadoop與Sun Grid Engine [编辑]
昇陽電腦的Sun Grid Engine可以用来调度Hadoop Job。[3][4]
Hadoop與Condor [编辑]
威斯康辛大學麥迪遜分校的Condor計算機集群軟件也可以用作Hadoop Job的排程。[5]
參見 [编辑]
註釋 [编辑]
- ^ Yahoo! Launches World's Largest Hadoop Production Application (Hadoop and Distributed Computing at Yahoo!)
- ^ PoweredBy
- ^ Creating Hadoop pe under SGE. Sun Microsystems. 2008-01-16.
- ^ HDFS-Aware Scheduling With Grid Engine. Sun Microsystems. 2009-09-10.
- ^ Condor integrated with Hadoop's Map Reduce. 威斯康辛大學麥迪遜分校. 2010-04-15.
外部連結 [编辑]
- Hadoop官方網站
- Hadoop In China 网站
- Hadoop中文网站
- Hadoop社区
- Hadoop论坛
- Hadoop Taiwan User Group
- HDFS內部結構 (The Architecture of Open Source Applications, Volume II - ISBN 9781105571817)
|
||||||||||||||
