经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Hadoop » 查看文章
大数据入门:Hadoop安装、环境配置及检测
来源:cnblogs  作者:落落free  时间:2018/11/25 19:51:47  对本文有异议

目录


@


Hadoop所用安装包和配置文件等我找到最方便使用的方式再上传到博客,如果有需要也欢迎找我分享。


在windows下,

1.导包Hadoop包

我用的是破解版的文件,不需要安装,直接解压到D盘下
在这里插入图片描述


2.配置环境变量

  • 接下来配置环境变量,相信配置过jdk的同学们对这一步应该不算陌生。

我的电脑——>属性——>高级系统设置——>环境变量——>系统变量——>编辑Path,增加 %HADOOP_HOME%\bin ——>新建一个变量名为 HADOOP_HOME,变量值为 hadoop安装路径的系统变量——>确定操作——>完成
在这里插入图片描述

在这里插入图片描述

找到系统变量,编辑Path
在这里插入图片描述

加上 %HADOOP_HOME%\bin即可
在这里插入图片描述

确定之后,新建一个系统变量
在这里插入图片描述

在这里插入图片描述
然后依次确定刚才的操作,配置环境变量工作完成。


3.把winutil包拷贝到Hadoop bin目录下

在这里插入图片描述


4.把Hadoop.dll放到system32下

路径:C:\Windows\System32
在这里插入图片描述


5.检测Hadoop是否正常安装

5.1在maven项目中检测,将配置文件放入resource包下

在这里插入图片描述

5.2然后通过一个简单的wordcount程序检测Hadoop是否安装成功

先在本地电脑写一个txt文件,内容随便输入,
如:
在这里插入图片描述

5.3保存好之后,写程序:

(检测这里将程序复制过去就可以,先不用理解,后续学习)

  1. package com.oracle.demo.mr;
  2. import org.apache.hadoop.fs.Path;
  3. import org.apache.hadoop.io.IntWritable;
  4. import org.apache.hadoop.io.LongWritable;
  5. import org.apache.hadoop.io.Text;
  6. import org.apache.hadoop.mapreduce.Job;
  7. import org.apache.hadoop.mapreduce.Mapper;
  8. import org.apache.hadoop.mapreduce.Reducer;
  9. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  10. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  11. import java.io.IOException;
  12. public class WordCount {
  13. public class WcMapper extends Mapper<LongWritable,Text,Text,IntWritable> {
  14. @Override
  15. protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
  16. String line = value.toString();
  17. String[] strs = line.split(" ");
  18. for (String s:strs){
  19. Text outkey = new Text(s);
  20. IntWritable outvalue = new IntWritable(1);
  21. context.write(outkey,outvalue);
  22. }
  23. }
  24. }
  25. public class WcReduce extends Reducer<Text,IntWritable,Text,IntWritable> {
  26. @Override
  27. protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
  28. int count = 0;
  29. for (IntWritable n:values){
  30. count += n.get();
  31. }
  32. context.write(key,new IntWritable(count));
  33. }
  34. }
  35. public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
  36. Job job = Job.getInstance();
  37. job.setMapOutputKeyClass(Text.class);
  38. job.setMapOutputValueClass(IntWritable.class);
  39. job.setMapOutputKeyClass(Text.class);
  40. job.setMapOutputValueClass(IntWritable.class);
  41. job.setMapperClass(com.oracle.demo.mr.WcMapper.class);
  42. job.setReducerClass(com.oracle.demo.mr.WcReduce.class);
  43. FileInputFormat.setInputPaths(job,new Path("E:\\BigData\\input.txt"));
  44. FileOutputFormat.setOutputPath(job,new Path("E:\\BigData\\output"));
  45. job.waitForCompletion(true);
  46. }
  47. }

注意:
在这里插入图片描述
运行之后控制台显示:
在这里插入图片描述
。。。
在这里插入图片描述
。。。
在这里插入图片描述

表示运行成功,没有错误

5.4最后我们打开输出文件查看:

在这里插入图片描述

结果是:
在这里插入图片描述
此刻,表示Hadoop安装成功,大功告成了。


6.容易出现的错误:

6.1.导包错误

6.2.输出文件存在

Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/E:/BigData/output already exists
在这里插入图片描述
如何解决:之前运行的输出文件删除即可。

6.3.环境搭建或配置等错误

在这里插入图片描述


这篇博客是我自己安装完之后写出来的,如果过程中有什么疏漏或者疑问,欢迎和我交流。安装过程中也许会遇到一些自己解决不了的错误,不要急躁,慢慢找方法解决就好了,希望你能成为一个优秀的程序员。

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号