经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Hadoop » 查看文章
hive的概述和数据类型
来源:cnblogs  作者:给你一个公主抱  时间:2019/4/10 8:42:22  对本文有异议

一、Hive概述

  1.Hive简介

  Hive数据仓库软件有助于使用SQL读取、编写和管理驻留在分布式存储中的大型数据集。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。

  Hive可以将SQL语句自动转化为Mapreduce程序,节省了手写框架的困难。

 

  2.Hive优缺点

  优点:1)操作接口采用了SQL,避免了首先MR程序,简化开发,降低学习成本;

     2)Hive依赖于HDFS做存储,是HDFS上的工具;

     3)Hive虽然使用SQL,但是他能处理大规模的数据;

     4)Hive支持自定义函数。

  缺点:1)Hive执行延迟较高,大多适用于实时性不高的场景或用于处理历史数据;

     2)Hive的SQL表达能力有限,有些复杂场景还需要MR程序;

     3)hive效率低,优化较难。

 

二、Hive架构

  Hive提供了一下了接口:hive shell、JDBC/ODBC

  Hive的工作流程:

    1.客户端可以通过多种接口来使用hvie,比如cli(命令行)、jdbc(java);

    2.比如使用命令行select count(*) from user调用SQL

    客户端回去Meta元数据中调用MySQL的数据(hive默认数据库是derby,我们可以修改指定为MySQL);

    3.从Meta获取数据库数据后,命令行和数据一次传入SQL Parser解析器、Physical编译器、Query优化器、Execution执行器;

    4.最后对生成的MR程序进行运算,返回结果。

 

三、Hive中的数据类型

Java数据类型 Hive数据类型 类型长度
byte tinyint 1byte
short smallint 2byte
int int 4byte
long bigint 8byte
float float 单精度浮点数
double double 双精度浮点数
string string 字符串
  timestamp 时间类型
  binary 字节数组

 

原文链接:http://www.cnblogs.com/HelloBigTable/p/10675258.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号