Hadoop : Hadoop是Apache基金会旗下的一个分布式系统基础架构.主要包括 : 分布式文件系统HDFS,分布式资源管理系统Yarn.可以使得用户在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的分布式能力进行运算和存储
Hadoop核心构成
分布式文件系统HDFS
Hadoop分布式文件系统(HDFS)能提供对数据访问的高吞吐量,适用于大数据场景的数据存储,因为HDFS提供了高可靠性(多副本),高扩展性和高吞吐量的数据存储服务
资源管理系统Yarn
Hadoop Yarn的基本思想是将资源管理和作业调度监控功能进行分离,是一个统一资源管理系统,可为运行在Yarn之上的分布式应用程序提供统一的资源管理和调度
HDFS和YARN的详细介绍有单章编写介绍
我每天会写文章记录大数据技术从入门到精通,可以关注我的公众号"SmallBird技术分享",我们一起学习分享,并且回复'分享'会有大数据资源惊喜等着你~
经验首页