经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Hadoop » 查看文章
HBase的概述和安装部署
来源:cnblogs  作者:给你一个公主抱  时间:2019/3/7 8:44:13  对本文有异议

一、HBase概述

  1.HBase是Hadoop数据库,是一个分布式、可扩展的大数据存储。

  HBase是用于对大数据进行随机、实时读写访问的非关系型数据库,它的目标托管非常大的表——数十亿行N百万列。

  正如Bigtable利用Google文件系统提供的分布式数据存储一样,HBase在Hadoop的HDFS之上提供类似Bigtable的功能。

  2.HBase架构

  Zookeeper    =>  ZK中存储了HMaster的元数据信息

  HMaster       =>  主节点

  HRegionServer    =>  区域服务器

  HLog       =>  预写入日志

  HRegion       =>  区域,可以理解成表

  Store       =>  存储单元

  Memstore     =>  内存的一块区域,负责写入数据的缓存

  blockcache      =>  内存的一块区域,负责读取数据的缓存(图中未显示)

  storeFile       =>  写入磁盘的一个文件,HFile是物理上的存储单元

  3.HBase的作用

  HBase通过HRegionServer连接了HDFS的客户端,然后在存数据时将生成的HFile文件存储到hdfs中,之后把本地的HFile文件删除只保留元数据信息。

  HBase就是建立在HDFS之上的数据库。

 

二、HBase集群的安装部署

  1.准备工作

   HBase基于HDFS集群和Zookeeper集群,所以要先安装hdfs和zk;

   安装完成后去HBase官网下载对应安装包,本人使用的是1.3.0版本,上传到集群,解压,重命名文件为HBase;

   HBase官网:hbase.apache.org

  2.修改配置文件

   进入conf目录下修改hbase-env.sh和hbase-site.xml文件

   (1)vi hbase-env.sh

   JAVA_HOME=/root/hd/jdk1.8.0_141
     HBASE_MANAGES_ZK=false

   (2)vi hbase-site.xml 

    将下面的配置信息加入到<configuration></configuration>之中

  1. <!-- 设置namenode所在位置 通过rootdir设置 也就是设置hdfs中存放的路径 -->
  2. <property>
  3. <name>hbase.rootdir</name>
  4. <value>hdfs://hd1-1:9000/hbase</value>
  5. </property>
  6.  
  7. <!-- 是否开启集群 -->
  8. <property>
  9. <name>hbase.cluster.distributed</name>
  10. <value>true</value>
  11. </property>
  12.  
  13. <!-- 0.98 后的新变动,之前版本没有.port,默认端口为 60000 -->
  14. <property>
  15. <name>hbase.master.port</name>
  16. <value>16000</value>
  17. </property>
  18.  
  19. <!-- zookeeper集群的位置 -->
  20. <property>
  21. <name>hbase.zookeeper.quorum</name>
  22. <value>hd1-1:2181,hd1-2:2181,hd1-3:2181</value>
  23. </property>
  24.  
  25. <!-- hbase的元数据信息存储在zookeeper的位置 -->
  26. <property>
  27. <name>hbase.zookeeper.property.dataDir</name>
  28. <value>/root/hd/zookeeper-3.4.10/zkData</value>
  29. </property>

  3.进入regionservers文件(vi regionservers)添加所有节点

 

    hd1-1
    hd1-2
    hd1-3

  4.解决版本依赖不一致问题

   进入hbase/lib目录中,查看hadoop和zookeeper的jar包的版本是否和自己安装的版本一致,不同则删除jar包

    rm -rf hadoop-*

    rm -rf zookeeper-*

   然后将与自己版本一致的hadoop和zk依赖包导入到该目录,jar包如下:

  

  通过sftp导入到linux集群。

  5.建立配置信息软连接

   进入hbase/conf目录下,添加配置(根据自己的路径修改就好)

    ln -s /root/hd/hadoop/etc/hadoop/core-site.xml  /root/hd/hbase/conf/

    ln -s /root/hd/hadoop/etc/hadoop/hdfs-site.xml  /root/hd/hbase/conf/

   也可以将这两个配置复制到hbase/conf目录下;

  6.将配置好的hbase文件夹发送到其他集群机器

    scp -r /root/hd/hbase/ hd1-2:/root/hd/

  7.启动hbase集群

   (1)先启动hdfs和zookeeper

    start-dfs.sh、zkServer.sh start

   (2)启动hbase(没有配置环境变量,要在hbase目录下启动)

    bin/hbase-daemon.sh start master  启动主节点

    bin/hbase-daemon.sh start regionserver   启动从节点

  8.访问与测试

    (1)可以通过你的主机点的IP地址加端口号访问UI界面

    192.168.50.183:16010

    (2)启动shell命令行进行测试

    bin/hbase shell

    list

  这样,HBase就配置完成了~~

    

原文链接:http://www.cnblogs.com/HelloBigTable/p/10487179.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号