经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » 人工智能基础 » 查看文章
大数据开发-解决Windows下,开发环境常遇的几个问题
来源:cnblogs  作者:Hoult丶吴邪  时间:2021/1/12 0:52:05  对本文有异议

1.背景

大数据开发的测试环境,很多人不以为然,其实重复的打包,上传,测试虽然每次时间大概也就几分钟,但是积累起了往往会花费很多的时间,但是一个完整的测试环境在生产环境下往往难形成闭环,抛开堡垒机权限不说,hadoop,hive,spark等服务端的权限也会难倒一群英雄好汉,主要是太繁琐了,测试环境的搭建,我这里采用Docker容器,适合多端迁移,而且容器的镜像大小也比虚拟机小很多,难度上说,也只需要掌握几个基础的命令即可,除非想引入K8s等技术,但测试环境完全没必要,Docker环境搭建大数据平台的系列从这里大数据开发-Docker-使用Docker10分钟快速搭建大数据环境,Hadoop、Hive、Spark、Hue、Kafka、ElasticSearch.....[https://blog.csdn.net/hu_lichao/article/details/112125800](https://blog.csdn.net/hu_lichao/article/details/112125800),环境搭建好了,可能还是会有一些特殊的问题

2.如何解决缺失winutils.exe

在Win操作系统,idea下开发hadoop程序或者Spark程序,那么你肯定会遇到下面的问题

file

之所以出现上面的问题,Spark程序和Hadoop在idea写编写的程序是依赖hadoop的环境的,所以要提前配置好,并且设定HADOOP_HOME ,不一定需要$HADOOP_HOME/binPATH ,后者是给快捷方式用的

file

注意:配置完环境变量后要将idea,退出后重进,不能Restart

3.如何解决java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosKeyTab(Ljavax/security/auth/Subject;)Z

错误如下图

file

出现这个问题的原因是版本冲突,即使看起来不那么明显,可能是spark依赖的包中的hadoop和hadoop依赖的版本不一致https://stackoverflow.com/questions/45470320/what-is-the-kerberos-method,具体不一致的问题,可能各有不同,解决难易程度因人而异??????,我的解决方式就是excludespark的低版本hadoop

4.如何解决Exception in thread "main" org.apache.spark.SparkException: Task not serializable

file

这个问题,我是这么遇到的,如下程序:

//        results.foreach(System.out::println); //输出没有序列化
        results.foreach(x -> System.out.println(x));

首先foreach是action算子,需要将task上的数据拉到driver上来遍历显示,就需要序列化,如果习惯了Java的lambda写法,可能会写第一种,第一种写法的问题是没有序列化,序列化是在闭包里完成的,而使用静态方法调用的方式,没有闭包化,所以会报序列化的问题,写成第二种就可以了,System.out是一个final static对象。

    public final static PrintStream out = null;

吴邪,小三爷,混迹于后台,大数据,人工智能领域的小菜鸟。
更多请关注
file

原文链接:http://www.cnblogs.com/hulichao/p/14264995.html

 友情链接: NPS  问卷模板