大数据学习（一）-------- HDFS

来源：cnblogs　　作者：独孤风　　时间：2019/4/12 10:15:56　　对本文有异议

需要精通java开发，有一定linux基础。

1、简介

大数据就是对海量数据进行数据挖掘。

已经有了很多框架方便使用，常用的有hadoop，storm，spark，flink等，辅助框架hive，kafka，es，sqoop，flume等。

常见应用推荐系统，用户画像等。

2、hadoop

hadoop有三个核心组件：

hdfs：分布式文件系统

mapreduce：分布式运算编程框架

yarn：分布式资源调度平台

3、hdfs原理

hdfs存放的就是文件，顶层目录是/，可以对文件进行增删改查移的操作。

只是单机文件是存在一台主机中，而hdfs是存在多个机器中。

hdfs的运行机制：一个hdfs系统，由一台运行了namenode的服务器，和N台运行了datanode的服务器组成。

一个存储的hdfs上的文件会由客户端指定备份几个副本，然后这个文件会被切块，分布的存在多个机器上，datanode负责在多个机器上进行存储，而这些存储信息（也叫做元数据）就存在namenode里。

4、安装部署hdfs

准备多台机器

配置host和ip

防火墙 jdk

上传hadoop包

修改hadoop-env.sh 指定JAVA_HOME

修改core-site.xml 指定为hdfs namenode位置

修改hdfs-site.xml 指定namenode存储元数据目录 datanode存放文件目录

hdfs-site.xml还可以配切片大小和副本数量

拷贝到各个机器

在namenode机器上：

初始化namenode元数据目录hadoop namenode -format

启动namenode hadoop-daemon.sh start namenode

启动所有datanode hadoop-daemon.sh start datanode

namenode datanode都是一个占用端口的软件进程，怎么启动都可以，一般会在第一台机器启动namenode，其他的启动节点datanode。

有一个web页：50070

5、hdfs客户端

三种客户端模式：网页命令行还有api网络连接

命令行：

上传文件

hadoop fs -put /本地文件 ?/hdfs路径

hadoop fs -copyFromLocal /本地文件 ?/hdfs路径这个相当于put

hadoop fs -moveFromLocal /本地文件 ?/hdfs路径

下载文件

hadoop fs -get /hdfs中的路径 ??/本地磁盘目录

hadoop fs -copyToLocal /hdfs中的路径 /本地磁盘路径 ??这个相当于get

hadoop fs -moveToLocal /hdfs路径 ?/本地路径

创建文件夹 hadoop fs -mkdir ?-p /目录名

移动 hadoop fs -mv /hdfs的路径 ?/hdfs的另一个路径

删除 hadoop fs -rm -r /文件或文件夹

修改权限 hadoop fs -chown user:group /hdfs路径

? hadoop fs -chmod 744 /hdfs路径

追加 hadoop fs -appendToFile /本地文件 ??/hdfs中的文件

显示 hadoop fs -cat /hdfs中的文件

? hadoop fs -tail /hdfs中的文件

hdfs的java客户端：

windows下开发hadoop，需要下载window版本的hadoop安装包，配置环境变量HADOOP_HOME，这样才可以在windows本地进行对hadoop的开发。

Configuration conf = new Configuration();
FileSystem fs?= FileSystem.get(new URI("hdfs://hdp-01:9000"),conf,"root");
fs.copyFromLocalFile(new Path("本地路径"),new Path("hdfs的路径"));
fs.copyToLocalFile(new Path("hdfs的路径"),new Path("本地路径"))