26.7K
9289
Hadoop系统架构
美国阿帕奇（Apache）软件基金会开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。
Hadoop由Apache软件基金会于2005年秋正式引入。2006年3月，映射-化简（MapReduce）编程模型和Nutch分布式文件系统（Nutch distributed file system，NDFS）分别被纳入Hadoop项目中。基于Hadoop的应用与开发非常广泛，有很多公司开始提供基于Hadoop的商业软件、支持、服务以及培训，如企业软件公司、云计算基础设施公司、数据安全公司等。
Hadoop由3部分组成：MapReduce负责计算，Hadoop分布式文件系统（Hadoop distributed file system，HDFS）负责存储数据，另一种资源协调者（yet another resource negotiator，YARN）为统一资源调度器，负责管理计算资源，如中央处理器和内存等。
Hadoop的优点主要有：①高可靠性。Hadoop按位存储和处理数据的能力。②高扩展性。Hadoop是在可用的计算机集群间分配数据并完成计算任务的，这些集群可以方便地扩展到数以千计的节点中。③高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡。④高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。⑤低成本。与一体机、商用数据仓库相比，Hadoop是开源的，项目的软件成本因此会大大降低。
