经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置：技术经验 » 大数据/云/AI » Hadoop » 查看文章
CDH6.1.1阿里云安装实践
来源：cnblogs　　作者：JupiterMouse　　时间：2019/8/22 9:25:20　　对本文有异议

概念介绍

CDH概览

CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。

CDH 提供以下特性：

  • 灵活性：存储任何类型的数据并使用各种不同的计算框架进行操作，包括批处理、交互式SQL、免费文本搜索、机器学习和统计计算。
  • 集成：在一个完整的Hadoop平台上快速启动和运行，该平台与广泛的硬件和软件解决方案一起工作。
  • 安全：处理和控制敏感数据。
  • 可伸缩性：启用广泛的应用程序和规模，并扩展它们以满足您的需求。
  • 高可用性：满怀信心地执行任务关键的业务任务。
  • 兼容性：利用您现有的IT基础设施和投资。

CDH Cloudera Manager 概览

Cloudera Manager 是用于管理cdh集群的端到端应用程序。Cloudera Manager通过向CDH集群的每个部分提供细粒度的可见性并对其进行控制来设置企业部署标准-授权运营商提高性能、提高服务质量、提高遵从性和降低管理成本。使用Cloudera Manager，您可以轻松地部署和集中操作完整的CDH堆栈和其他托管服务。应用程序自动化安装过程，将部署时间从数周减少到分钟；为您提供在集群范围内运行主机和服务的实时视图；提供一个单一的中央控制台来执行整个集群的配置更改；并集成各种报告和诊断工具，以帮助您进行操作

环境准备

前要

搭建方式的比较

方式 费用成本 时间成本 难易度 适宜场景
自己购买机器搭建 短期投入高 高 需要自己掌握虚机和大数据组件的搭建细节，比较复杂 1.个人技术学习2.大公司构建自己的大数据集群
基于云服务器搭建 较高 较高 同上 中小型的大数据服务
使用阿里云E-MapReduce 可按小时付费，成本可控 低 环境由EMR搭建，使用即可 短期、灵活的大数据服务

软件版本选择

类目 版本 下载地址
操作系统 CentOS Linux release 7.5.1804 (Core) 阿里云服务器
数据库 mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz 官网下载
JDK jjdk-8u181-linux-x64.tar.gz Oracle 官网下载
Cloudera Manager Cloudera Manager 6.1.1 官方仓库
CDH CDH 6.1.1 使用parcels安装

节点准备

三台8G+的主机

名称 CM管理软件
cdh-master Cloudera Manager Server&Agent 、Mysql
cdh-slave001 Cloudera Manager Agent
cdh-slave002 Cloudera Manager Agent

安装前配置

配置主机名和hosts解析

所有节点都需要配置 vim /etc/hosts

  1. 172.26.86.11 cdh-master
  2. 172.26.86.12 cdh-slave001
  3. 172.26.86.10 cdh-slave002

配置免密登录

  1. 在master主机上生成密钥对：
  1. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

  1. 将master主机的公钥文件id_rsa.pub远程复制到cdh002、cdh003主机上。并放置/home/root/.ssh/authorized_keys

    1. /root/.ssh>scp ~/.ssh/id_rsa.pub root@cdh-slave001:/root/.ssh/authorized_keys
    3. /root/.ssh>scp ~/.ssh/id_rsa.pub root@cdh-slave002:/root/.ssh/authorized_keys

  2. 所有主机都赋权600

chmod 600 ~/.ssh/authorized_keys

安装NTP

所有节点

  1. yum install ntp -y
  2. # 开机启动
  3. chkconfig ntpd on
  4. # 启动ntp
  5. service ntpd start

修改文件打开限制

  1. echo "* soft nofile 65536" >> /etc/security/limits.conf 
  2. echo "* hard nofile 65536" >> /etc/security/limits.conf 
  3. echo "* soft memlock unlimited" >> /etc/security/limits.conf 
  4. echo "* hard memlock unlimited" >> /etc/security/limits.conf

设置swap空间

所有节点

  1. echo "vm.swappiness = 0" >> /etc/sysctl.conf

关闭大页面缓存

所有节点

  1. echo never > /sys/kernel/mm/transparent_hugepage/enabled
  2. echo never > /sys/kernel/mm/transparent_hugepage/defrag

关闭防火墙

所有节点

  1.  systemctl stop firewalld.service
  2.  systemctl disable firewalld.service

JDK安装

可以选择CM管理页面进行jdk安装，但在之前需要安装一个

  1. wget http://blog-jupiter.oss-cn-shenzhen.aliyuncs.com/jdk-8u181-linux-x64.tar.gz
  2. mkdir -p /usr/java
  3. tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/java/jdk1.8

vim /etc/profile

  1. JAVA_HOME=/usr/java/jdk1.8
  2. CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  3. PATH=$JAVA_HOME/bin:$PATH
  4. export JAVA_HOME CLASS_PATH PATH

source /etc/profile

Mysql安装

这里也可以选择mariadb，但是我安装mariadb后，启动服务建表步骤时,始终报用户名或密码错误

  1. # 检查系统是否存在mariadb
  2. rpm -qa | grep mariadb
  3. # 强制删除
  4. rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64
  5. wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz
  6. # 解压
  7. tar -zxvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz -C /usr/local/
  8. mv /usr/local/mysql-5.7.24-linux-glibc2.12-x86_64 /usr/local/mysql
  9. mkdir /usr/local/mysql/data
  10. chmod 777 /usr/local/mysql/data
  11. # 增加mysql用户和组
  12. groupadd mysql
  13. useradd -r -g mysql mysql 
  14. chown -R mysql:mysql /usr/local/mysql

vim /etc/my.cnf

  1. [mysqld]
  2. basedir=/usr/local/mysql
  4. datadir=/usr/local/mysql/data
  6. port=3306
  8. socket=/tmp/mysql.sock
  10. pid-file=/tmp/mysqld/mysqld.pid
  12. character-set-server=utf8
  14. log-error=/var/log/mysqld.log

安装命令

  1. touch /tmp/mysql.sock
  2. chown mysql:mysql /tmp/mysql.sock
  3. chmod 755 /tmp/mysql.sock
  5. mkdir -p /tmp/mysqld
  6. touch /tmp/mysqld/mysqld.pid
  7. chown -R mysql:mysql /tmp/mysqld
  8. chmod 755 /tmp/mysqld/mysqld.pid
  10. mkdir -p /var/log/
  11. touch /var/log/mysqld.log
  12. chown -R mysql:mysql /var/log/
  13. chmod 755 /var/log/mysqld.log 
  15. yum install -y libaio
  16.  
  17. # 初始化
  18. cd /usr/local/mysql/bin/
  19. ./mysqld --initialize --user=mysql --basedir=/usr/local/mysql--datadir=/usr/local/mysql/data
  21. # 安全启动
  22. ./mysqld_safe --user=mysql &
  24. # 查看密码
  25. cat /var/log/mysqld.log | grep password
  26. My!U5LUWhjk3
  28. # 登录mysql
  29. cd /usr/local/mysql/bin/
  30. ./mysql -u root -p
  31. mysql> set password=password("root");
  32. mysql> grant all privileges on *.* to 'root'@'%' identified by 'root';
  33. mysql> flush privileges;
  35. # 开机服务启动设置
  36. cp -a /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql
  37. chkconfig --add mysql
  39. # 创建快捷方式
  40. ln -s /usr/local/mysql/bin/mysql /usr/bin

JDBC驱动安装

下载mysql-connector-java.jar,并保存到所有主机的/usr/share/java目录下

  1. wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.47/mysql-connector-java-5.1.47.jar
  2. mv mysql-connector-java-5.1.47.jar mysql-connector-java.jar
  3. mkdir  /usr/share/java
  4. cp mysql-connector-java.jar /usr/share/java/
  6. scp mysql-connector-java.jar  root@cdh-slave001:/usr/share/java/
  7. scp mysql-connector-java.jar  root@cdh-slave002:/usr/share/java/

依赖包下载

  1. yum -y install chkconfig  bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

安装

RHEL compatible

  1. ## wget <repo_file_url> -P /etc/yum.repos.d/
  2. wget https://archive.cloudera.com/cm6/6.1.1/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/ 
  3. rpm --import https://archive.cloudera.com/cm6/6.1.1/redhat7/yum/RPM-GPG-KEY-cloudera

master节点安装

安装 CM Server 和 Agent

  1. yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
  3. sudo systemctl enable cloudera-scm-agent
  4. sudo systemctl enable cloudera-scm-server
  6. systemctl start cloudera-scm-server
  7. systemctl start cloudera-scm-agent

数据节点安装

安装 CM Agent

  1. yum install cloudera-manager-daemons cloudera-manager-agent
  3. sudo systemctl enable cloudera-scm-agent
  5. systemctl start cloudera-scm-agent

建表

需要创建scm、hue、hive,官网推荐建表如下

  1. create database scm default character set utf8 default collate utf8_general_ci;
  2. grant all privileges on *.* to 'scm'@'%' identified by 'scm' with grant option ;
  3. create database amon default character set utf8 default collate utf8_general_ci;
  4. grant all privileges on amon.* to 'amon'@'%' identified by 'amon' with grant option;
  5. create database rman default character set utf8 default collate utf8_general_ci;
  6. grant all privileges on rman.* to 'rman'@'%' identified by 'rman' with grant option;
  7. create database hue default character set utf8 default collate utf8_general_ci;
  8. grant all privileges on *.* to 'hue'@'%' identified by 'hue' with grant option;
  9. create database metastore default character set utf8 default collate utf8_general_ci;
  10. grant all privileges on *.* to 'hive'@'%' identified by 'hive' with grant option;
  11. create database sentry default character set utf8 default collate utf8_general_ci;
  12. grant all privileges on sentry.* to 'sentry'@'%' identified by 'sentry' with grant option;
  13. create database nav default character set utf8 default collate utf8_general_ci;
  14. grant all privileges on nav.* to 'nav'@'%' identified by 'nav' with grant option;
  15. create database oozie default character set utf8 default collate utf8_general_ci;
  16. grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie' with grant option;

检测服务连接

  1. /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm scm

常用命令

  1. tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
  2. vim /etc/cloudera-scm-agent/config.ini

Question

磁盘块不足

  1. 将负责因子从3修改为2

2.运行如下命令

sudo -u hdfs hadoop fs -setrep -R 2 /

Hue不能连接数据库

hue连接数据库时使用python连接

  1. yum install -y python-lxml

HDFS启动报错： Canary 测试无法在目录

sudo -u

  1. sudo -u hdfs hdfs dfsadmin -safemode leave

CDH中yarn的JobHistory Server角色运行状况异常

YarnRuntimeException: Error creating done directory: [hdfs://cdh001:8020/user/history/done

su hdfs后

  1. hdfs dfs -chmod  777 /user
  2. hadoop fs -chmod -R 777 /tmp/

启动server端口起不来

chmod 777 -R /var/log

运行spark shell无法启动，无权限问题

  1. su hdfs后
  3. sudo -u hdfs hdfs dfs -chmod  777 /user
  5. sudo -u hdfs hadoop fs -chmod -R 777 /tmp

原文链接：http://www.cnblogs.com/renqiqiang/p/11387308.html

 友情链接：直通硅谷 　点职佳 　北美留学生论坛

Hadoop热门文章

  • Hive中的去重 ：distinct,group by与ROW_Number()窗口函数
  • HBASE的安装过程及运行HBASE程序的需要配置的内容
  • hadoop--Unable to load native-hadoop library for your platform解决方法
  • Hive sampling 语法之TABLESAMPLE用法理解
  • idea项目运行时报错提示Could not locate executable null\bin\winutils.exe in the Hadoop binaries
  • hadoop 无法访问50070端口问题解决
  • Hadoop运行时遇到java.io.FileNotFoundException错误的解决方法
  • KUDU数据导入尝试一：TextFile数据导入Hive,Hive数据导入KUDU
  • Hive安装
  • Hadoop 学习笔记 生态

    • Hadoop推荐文章

  • 基于Hive的大数据分析系统
  • HBase 在统一内容平台业务的优化实践
  • hive窗口分析函数使用详解系列一
  • 两台实体机器4个虚拟机节点的Hadoop集群搭建（Ubuntu版）
  • 在阿里云和腾讯云的轻量应用服务器上搭建Hadoop集群
  • Haproxy搭建 Web 群集实现负载均衡
  • HBase Compaction 原理与线上调优实践
  • Hive执行计划之hive依赖及权限查询和常见使用场景
  • 工良出品：包教会，Hadoop、Hive 搭建部署简易教程
  • Centos7系统编译Hadoop3.3.4

    • 本站QQ群：前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

    W3xue 的所有内容仅供测试，对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
    关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接（目前9元/月）请联系QQ：27243702 沸活量
    皖ICP备17017327号-2　皖公网安备34020702000426号