这篇文章是精通CDP系列的第一文章。
Cloudera与Hortonworks合并后,推出了全球领先的下一代数据平台Cloudera Data Platform。CDP为用户提供一个多云且多功能的平台,用于管理企业数据云。通过统一的平台界面,对数据进行整个生命周期管理,并提供一致的安全和治理服务。
Cloudera DataHub即CDH作为CDP的核心组件,集成了众多前沿数据技术,Ranger、Nifi、Flink、Ozone、Hive3,存储与计算分析,Cloudera Streams Management等等。这些我们会在系列文章中一一讲述。首先我们详细介绍下如何安装最新版CDH7.1.1。
前置准备
网络设置
修改网络IP,并设置为静态
vim /etc/sysconfig/network-scripts/ifcfg-ens192
主机名设置
使用hostnamectl set-hostname 修改主机名,配置/etc/hosts,并分发到所有节点

禁止Selinux
执行命令
./batch_cmd.sh node.list "setenforce 0"
关闭防火墙
./batch_cmd.sh node.list "systemctl disable firewalld"
./batch_cmd.sh node.list "systemctl status firewalld"

关闭透明大页面
使用脚本命令批量执行如下操作:
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
设置开机自动关闭透明大页面:
echo "if test -f /sys/kernel/mm/transparent_hugepage/enabled; then">> /etc/rc.d/rc.localecho "
echo never > /sys/kernel/mm/transparent_hugepage/enabled">> /etc/rc.d/rc.local
echo "fi">> /etc/rc.d/rc.localecho "if test -f /sys/kernel/mm/transparent_hugepage/defrag; then">> /etc/rc.d/rc.localecho "
echo never > /sys/kernel/mm/transparent_hugepage/defrag">> /etc/rc.d/rc.localecho "fi">> /etc/rc.d/rc.local
授权:
使用脚本命令批量执行
./batch_cmd.sh node.list "cat /etc/rc.d/rc.local"
./batch_cmd.sh node.list "chmod +x /etc/rc.d/rc.local"
./batch_cmd.sh node.list "ls -l /etc/rc.d/|grep rc.local"

设置swappiness
sysctl vm.swappiness=30echo 10> /proc/sys/vm/swappiness
查看swappiness的值:
./batch_cmd.sh node.list "cat /proc/sys/vm/swappiness"

安装ntp时间同步
所有节点下载安装ntp服务
使用脚本批量执行
./batch_cmd.sh node.list "yum -y install ntp"
Master节点修改 /etc/ntp.conf文件:
注释部分内容,添加以下内容:
server 127.127.1.0 fudge 127.127.1.0 stratum 10

集群其他节点修改/etc/ntp.conf文件如下:

启动ntpd服务,并设置ntpd服务开机自动启动,查看ntp服务状态:

查看同步状态:

安装httpd
启动httpd,并设置开机自动启动,查看httpd状态

配置Cloudera Manager的repo源
在/etc/yum.repos.d/目录下新建cm.repo文件,并添加如下内容:

执行
yum clean allyum repolist

安装数据库
yum -y install mariadb mariadb-server

启动mariadb数据库:systemctl start mariadb
设置mariadb数据库开机自启:systemctl enable mariadb
查看mariadb数据库服务状态:systemctl status mariadb

配置mariadb,设置密码为password
/usr/bin/mysql_secure_installation

创建集群所需的数据库
create database metastore default character set utf8;CREATE USER 'hive'@'%' IDENTIFIED BY 'password';GRANT ALL PRIVILEGES ON metastore.* TO 'hive'@'%';FLUSH PRIVILEGES;
create database cm default character set utf8;CREATE USER 'cm'@'%' IDENTIFIED BY 'password';GRANT ALL PRIVILEGES ON cm.* TO 'cm'@'%';FLUSH PRIVILEGES;
create database rm default character set utf8;CREATE USER 'rm'@'%' IDENTIFIED BY 'password';GRANT ALL PRIVILEGES ON rm.* TO 'rm'@'%';FLUSH PRIVILEGES;
create database am default character set utf8;CREATE USER 'am'@'%' IDENTIFIED BY 'password';GRANT ALL PRIVILEGES ON am.* TO 'am'@'%';FLUSH PRIVILEGES;
create database hue default character set utf8;CREATE USER 'hue'@'%' IDENTIFIED BY 'password';GRANT ALL PRIVILEGES ON hue.* TO 'hue'@'%';FLUSH PRIVILEGES;
create database oozie default character set utf8;CREATE USER 'oozie'@'%' IDENTIFIED BY 'password';GRANT ALL PRIVILEGES ON oozie.* TO 'oozie'@'%';FLUSH PRIVILEGES;
create database nav_ms default character set utf8; CREATE USER 'nav_ms'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON nav_ms. * TO 'nav_ms'@'%'; FLUSH PRIVILEGES;
create database nav_as default character set utf8; CREATE USER 'nav_as'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON nav_as. * TO 'nav_as'@'%'; FLUSH PRIVILEGES;
create database ranger default character set utf8;CREATE USER 'rangeradmin'@'%' IDENTIFIED BY 'password';GRANT ALL PRIVILEGES ON ranger. * TO 'rangeradmin'@'%';FLUSH PRIVILEGES;
查看创建的数据库:

安装JDBC驱动
创建/usr/share/java/文件夹,并将驱动jar包改名为:mysql-connector-java.jar放进该目录:

在master节点上安装JDK

集群的部署安装
安装并启动cloudera-manager-server
在master节点上安装Cloudera-Manager-Server:
yum -y install cloudera-manager-server

初始化数据库
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm cm password

执行启动命令
systemctl start cloudera-scm-server
查看7180端口是否被监听
netstat -lnpt|grep 7180
登录
通过网页访问 http://192.168.0.234:7180/cmf/login
输入账号admin 密码 admin登录CM

集群安装
选择60天试用版

点击继续

输入集群名称,使用默认的Cluster1

指定安装主机

设置存储库

安装JDK以及加密政策

SSH登录,选择用户,并输入密码

安装Agents

安装选定parcel

主机正确性检查,确保全部通过后点完成

组件安装,选择自己要安装的组件

主机角色分配



数据库连接测试

测试成功,点击继续。设置Range相关参数

审核更改

集群设置

集群安装完成



