经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 数据库/运维 » Spark » 查看文章
spark上的一些常用命令(一)
来源:cnblogs  作者:toto_cynthia  时间:2019/3/19 8:46:11  对本文有异议

1. 加速跑

  1. spark-sql --name uername --num-executors 21 --driver-memory 8G --executor-memory 8G

2. 上传数据

  • 建表
  1. create table xxx_yyy ( userid varchar(200))
  • 上传数据
  1. load data local inpath '/home/spark/xxx.txt' into xxx_yyy
  2. ##inpath后面跟路径名,into后面跟表名

3. 导出数据

  1. hive -e "select * from temp.user_temp;" > /home/spark/temp/daochu.txt
  2. ##通过hive的导出,代码尽量从中间表出,短代码没问题,但是越长越会出现问题。

4. 建表语句

  1. create table table_name
  2. (
  3. column1 double comment '字段注释1',
  4. column2 double comment '字段注释2'
  5. )partitioned by (data_date string)
  6. row format delimited
  7. fields terminated by '\t'
  8. stored as textfile
  9. ;
  10. ---创建新表
  1. drop table if exists table_name;
  2. create table if not exists table_name as .....
  3. ---更好的建表方式

 5. MAC上的数据加密打包工作

  1. ##STEP 1
  2. 首先开启终端机(Terminal),使用 cd 指令切换到要压缩的档案所在目录,如果放在桌面上就是:
  3. cd Desktop
  4. ##STEP 2
  5. ##使用 zip 指令配合 -e 参数制作加密的压缩档:
  6. zip -e daobao.zip daobaowenjian.txt
  7. ##其中 daobaowenjian.txt 就是要加密压缩的档案,而 daobao.zip 就是输出的压缩档档名。
  8.  
  9.  
  10.  
  11. ##在压缩前,要先输入密码:
  12. ##如果要压缩整个资料夹,就把上面的 filetoprotect.txt 替换成资料夹,再加上 -r即可,例如:
  13. zip -er ~20180115.zip ~/20180115/
  14. zip -er 20180115.zip 20180115

 6. VIM的常用快捷键

1-3-1

7. UDF的使用

  1. add jar /home/script_job/jar/hive-udf-1.0.jar;
  2. create temporary function month_end as 'com.xxx.hive_udf.EndDayOfMonth';

8. MAC上用终端快速链接跳板机访问spark

  1. vi ~/.bash_profile
  1. alias work="ssh user_name@172.0.0.0"
    ##保存后可在终端直接输入work进行访问

 

原文链接:http://www.cnblogs.com/cynthia-tianyi/p/10553565.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号