当前位置：网站首页 > 博客教程 > 正文

0317-如何在Redhat7.4安装CDH5.15

connygpt 2024-10-04 15:45 10 浏览

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github：
https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

1.文档编写目的

Cloudera在2018年6月12日发布了CDH5.15，新功能介绍可以参考Fayson之前的文章《

CDH5.15和CM5.15的新功能

》。本文档主要描述如何在Redhat7.4安装CDH5.15。Cloudera企业级数据中心的安装主要分为5个步骤：

1.集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等；

2.外部数据库安装

3.安装Cloudera管理器；

4.安装CDH集群；

5.集群完整性检查，包括HDFS文件系统、MapReduce、Hive等是否可以正常运行。

本文操作说明基于以下假设：

1.操作系统版本：Redhat7.4

2.CDH和CM版本均为5.15

3.采用root对集群进行部署

4.您已经下载CDH和CM的安装包

2.前置准备

2.1.hostname及hosts配置

集群中各个节点之间能互相通信使用静态IP地址。IP地址和主机名通过/etc/hosts配置，主机名通过/etc/hostname进行配置。

以cm节点（172.31.6.83）为例：

hostname配置

/etc/hostname文件如下：

ip-172-31-6-83.ap-southeast-1.compute.internal

（可左右滑动）

或者你可以通过命令修改立即生效

[root@ip-172-31-6-83 ~]$ sudo hostnamectl set-hostname ip-172-31-6-83.ap-southeast-1.compute.internal

（可左右滑动）

注意：这里修改hostname跟REDHAT6的区别

hosts配置

/etc/hosts文件如下:

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.31.6.83 ip-172-31-6-83.ap-southeast-1.compute.internal
172.31.12.142 ip-172-31-12-142.ap-southeast-1.compute.internal
172.31.9.113 ip-172-31-9-113.ap-southeast-1.compute.internal
172.31.4.105 ip-172-31-4-105.ap-southeast-1.compute.internal

（可左右滑动）

以上两步操作，在集群中其它节点做相应配置。确认需要安装的4台主机的hosts文件：

2.2.禁用SELinux

在所有节点执行setenforce 0 命令，此处使用批处理shell执行：

[root@ip-172-31-6-83 ~]$ sh ssh_do_all.sh node.list "setenforce 0"

（可左右滑动）

集群所有节点修改/etc/selinux/config文件如下：

SELINUX=disabled
SELINUXTYPE=targeted

（可左右滑动）

2.3.关闭防火墙

集群所有节点执行systemctl stop firewalld命令，此处通过shell批量执行命令如下：

[root@ip-172-31-6-83 ~]$ sh ssh_do_all.sh node.list "systemctl stop firewalld"
[root@ip-172-31-6-83 ~]$ sh ssh_do_all.sh node.list "systemctl disable firewalld"
[root@ip-172-31-6-83 ~]$ sh ssh_do_all.sh node.list "systemctl status firewalld"

（可左右滑动）

2.4.集群时钟同步

在Redhat7.x的操作系统上，已经默认的安装了chrony，我们这里先卸载chrony，然后安装ntp。使用ntp来配置各台机器的时钟同步，将cm（172.31.6.83）服务作为本地ntp服务器，其它3台服务器与其保持同步。

1.所有机器卸载chrony

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "yum -y remove chrony"

（可左右滑动）

2.所有机器安装ntp

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "yum -y install ntp"

（可左右滑动）

3.cm机器配置时钟与自己同步

[root@ip-172-31-16-68 shell]# vim /etc/ntp.conf
#server 0.rhel.pool.ntp.org iburst
#server 1.rhel.pool.ntp.org iburst
#server 2.rhel.pool.ntp.org iburst
#server 3.rhel.pool.ntp.org iburst
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10

（可左右滑动）

4.集群其它节点，配置找cm机器去同步

#server 0.rhel.pool.ntp.org iburst
#server 1.rhel.pool.ntp.org iburst
#server 2.rhel.pool.ntp.org iburst
#server 3.rhel.pool.ntp.org iburst
server 172.31.6.83

（可左右滑动）

5.重启所有机器的ntp服务

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "systemctl restart ntpd"
[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "systemctl status ntpd"
[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "systemctl enable ntpd"

（可左右滑动）

6.验证始终同步，在所有节点执行ntpq -p命令，如下使用脚本批量执行

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "ntpq -p"

（可左右滑动）

左边出现*号表示同步成功。

2.5.设置swap

所有节点执行

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "echo vm.swappiness = 10 >> /etc/sysctl.conf"
[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "sysctl vm.swappiness=10"

（可左右滑动）

2.6.设置透明大页面

所有节点执行：

[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "echo never > /sys/kernel/mm/transparent_hugepage/defrag "
[root@ip-172-31-6-83 shell]# sh ssh_do_all.sh node.list "echo never > /sys/kernel/mm/transparent_hugepage/enabled"

（可左右滑动）

设置开机自关闭

将如下脚本添加到/etc/rc.d/rc.local文件中

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi

（可左右滑动）

同步到所有节点

2.7.配置操作系统repo

Fayson用的是AWS的环境，这步是可以省略的，放在这里供物理机部署的兄弟们参考。

挂载操作系统iso文件

[ec2-user@ip-172-31-2-159 ~]$ sudo mkdir /media/DVD1
[ec2-user@ip-172-31-2-159 ~]$ sudo mount -o loop 
CentOS-7-x86_64-DVD-1611.iso /media/DVD1/

（可左右滑动）

配置操作系统repo

[ec2-user@ip-172-31-2-159 ~]$ sudo vim /etc/yum.repos.d/local_os.repo
[local_iso] 
name=CentOS-$releasever - Media
baseurl=file:///media/DVD1
gpgcheck=0
enabled=1
[ec2-user@ip-172-31-2-159 ~]$ sudo yum repolist

（可左右滑动）

2.8.安装http服务

安装httpd服务

[ec2-user@ip-172-31-2-159 ~]$ sudo yum -y install httpd

（可左右滑动）

启动或停止httpd服务

[ec2-user@ip-172-31-2-159 ~]$ sudo systemctl start httpd
[ec2-user@ip-172-31-2-159 ~]$ sudo systemctl stop httpd

（可左右滑动）

安装完httpd后，重新制作操作系统repo，换成http的方式方便其它服务器也可以访问

[ec2-user@ip-172-31-2-159 ~]$ sudo mkdir /var/www/html/iso
[ec2-user@ip-172-31-2-159 ~]$ sudo scp -r /media/DVD1/* /var/www/html/iso/
[ec2-user@ip-172-31-2-159 ~]$ sudo vim /etc/yum.repos.d/os.repo 
[osrepo]
name=os_repo
baseurl=http://172.31.2.159/iso/
enabled=true
gpgcheck=false
[ec2-user@ip-172-31-2-159 ~]$ sudo yum repolist

（可左右滑动）

2.9.安装MariaDB

1.安装MariaDB

[root@ip-172-31-6-83 ~]# yum -y install mariadb
[root@ip-172-31-6-83 ~]# yum -y install mariadb-server

（可左右滑动）

2.启动并配置MariaDB

[root@ip-172-31-6-83 ~]# systemctl start mariadb
[root@ip-172-31-6-83 ~]# systemctl enable mariadb
[root@ip-172-31-6-83 ~]# /usr/bin/mysql_secure_installation
NOTE: RUNNING ALL PARTS OF THIS SCRIPT IS RECOMMENDED FOR ALL MariaDB
 SERVERS IN PRODUCTION USE! PLEASE READ EACH STEP CAREFULLY!
In order to log into MariaDB to secure it, we'll need the current
password for the root user. If you've just installed MariaDB, and
you haven't set the root password yet, the password will be blank,
so you should just press enter here.
Enter current password for root (enter for none): 
OK, successfully used password, moving on...
Setting the root password ensures that nobody can log into the MariaDB
root user without the proper authorisation.
Set root password? [Y/n] Y
New password: 
Re-enter new password: 
Password updated successfully!
Reloading privilege tables..
 ... Success!
By default, a MariaDB installation has an anonymous user, allowing anyone
to log into MariaDB without having to have a user account created for
them. This is intended only for testing, and to make the installation
go a bit smoother. You should remove them before moving into a
production environment.
Remove anonymous users? [Y/n] Y
 ... Success!
Normally, root should only be allowed to connect from 'localhost'. This
ensures that someone cannot guess at the root password from the network.
Disallow root login remotely? [Y/n] n
 ... skipping.
By default, MariaDB comes with a database named 'test' that anyone can
access. This is also intended only for testing, and should be removed
before moving into a production environment.
Remove test database and access to it? [Y/n] Y
 - Dropping test database...
 ... Success!
 - Removing privileges on test database...
 ... Success!
Reloading the privilege tables will ensure that all changes made so far
will take effect immediately.
Reload privilege tables now? [Y/n] Y
 ... Success!
Cleaning up...
All done! If you've completed all of the above steps, your MariaDB
installation should now be secure.
Thanks for using MariaDB!

（可左右滑动）

3.建立CM，Hive等需要的表

[root@ip-172-31-6-83 ~]# mysql -u root -p
Enter password: 
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MariaDB connection id is 9
Server version: 5.5.56-MariaDB MariaDB Server
Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MariaDB [(none)]> 
create database metastore default character set utf8; CREATE USER 'hive'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON metastore. * TO 'hive'@'%'; FLUSH PRIVILEGES; create database cm default character set utf8; CREATE USER 'cm'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON cm. * TO 'cm'@'%'; FLUSH PRIVILEGES; create database am default character set utf8; CREATE USER 'am'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON am. * TO 'am'@'%'; FLUSH PRIVILEGES; create database rm default character set utf8; CREATE USER 'rm'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON rm. * TO 'rm'@'%'; FLUSH PRIVILEGES;
create database hue default character set utf8; CREATE USER 'hue'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON hue. * TO 'hue'@'%'; FLUSH PRIVILEGES;
create database oozie default character set utf8; CREATE USER 'oozie'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON oozie. * TO 'oozie'@'%'; FLUSH PRIVILEGES;
create database sentry default character set utf8; CREATE USER 'sentry'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON sentry. * TO 'sentry'@'%'; FLUSH PRIVILEGES;
create database nav_ms default character set utf8; CREATE USER 'nav_ms'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON nav_ms. * TO 'nav_ms'@'%'; FLUSH PRIVILEGES;
create database nav_as default character set utf8; 
CREATE USER 'nav_as'@'%' IDENTIFIED BY 'password'; 
GRANT ALL PRIVILEGES ON nav_as. * TO 'nav_as'@'%'; 
FLUSH PRIVILEGES;

（可左右滑动）

安装jdbc驱动

[root@ip-172-31-6-83 ~]# mkdir -p /usr/share/java/
[root@ip-172-31-6-83 ~]# mv mysql-connector-java-5.1.34.jar /usr/share/java/
[root@ip-172-31-6-83 ~]# cd /usr/share/java
[root@ip-172-31-6-83 java]# ln -s mysql-connector-java-5.1.34.jar mysql-connector-java.jar
[root@ip-172-31-6-83 java]# ll
total 940
-rwxrwxr-x. 1 ec2-user ec2-user 960372 Feb 1 08:31 mysql-connector-java-5.1.34.jar
lrwxrwxrwx 1 root root 31 Feb 2 00:52 mysql-connector-java.jar -> mysql-connector-java-5.1.34.jar

（可左右滑动）

3.Cloudera Manager安装

3.1.配置本地repo源

1.下载CM5.15的安装包，地址为：

http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15/RPMS/x86_64/cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15/RPMS/x86_64/cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15/RPMS/x86_64/cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15/RPMS/x86_64/cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15/RPMS/x86_64/enterprise-debuginfo-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15/RPMS/x86_64/jdk-6u31-linux-amd64.rpm
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15/RPMS/x86_64/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

（可左右滑动）

2.下载CDH5.15的安装包，地址为：

http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel
http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1
http://archive.cloudera.com/cdh5/parcels/latest/manifest.json

（可左右滑动）

3.将Cloudera Manager安装需要的7个rpm包下载到本地，放在同一目录，执行createrepo命令生成rpm元数据。

[root@ip-172-31-6-83 cm5.15]# ll
total 1014692
-rw-r--r-- 1 root root 9855992 Jun 14 09:23 cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
-rw-r--r-- 1 root root 785308616 Jun 14 09:23 cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
-rw-r--r-- 1 root root 8716 Jun 14 09:23 cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
-rw-r--r-- 1 root root 10616 Jun 14 09:23 cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
-rw-r--r-- 1 root root 30604244 Jun 14 09:23 enterprise-debuginfo-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
-rw-r--r-- 1 root root 71204325 Jun 14 09:23 jdk-6u31-linux-amd64.rpm
-rw-r--r-- 1 root root 142039186 Jun 14 09:23 oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
[root@ip-172-31-6-83 cm5.15]# createrepo .
Spawning worker 0 with 2 pkgs
Spawning worker 1 with 2 pkgs
Spawning worker 2 with 2 pkgs
Spawning worker 3 with 1 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete

（可左右滑动）

4.配置Web服务器

将上述cdh5.15/cm5.15目录移动到/var/www/html目录下, 使得用户可以通过HTTP访问这些rpm包。

[root@ip-172-31-6-83 ~]# mv cm5.15/ cdh5.15/ /var/www/html/

（可左右滑动）

验证浏览器能否正常访问

5.制作Cloudera Manager的repo源

[root@ip-172-31-6-83 ~]# vim /etc/yum.repos.d/cm.repo
[cmrepo]
name = cm_repo
baseurl = http:// 172.31.6.83/cm5.15
enable = true
gpgcheck = false
[root@ip-172-31-6-83 yum.repos.d]# yum repolist
Loaded plugins: amazon-id, rhui-lb, search-disabled-repos
repo id repo name status
cmrepo cm_repo 7
rhui-REGION-client-config-server-7/x86_64 Red Hat Update Infrastructure 2.0 Client C 1
rhui-REGION-rhel-server-releases/7Server/x86_64 Red Hat Enterprise Linux Server 7 (RPMs) 20,668
rhui-REGION-rhel-server-rh-common/7Server/x86_64 Red Hat Enterprise Linux Server 7 RH Commo 233
repolist: 20,909

（可左右滑动）

6.验证安装JDK

yum -y install oracle-j2sdk1.7-1.7.0+update67-1

（可左右滑动）

3.2.安装Cloudera Manager Server

1.通过yum安装Cloudera Manager Server

yum -y install cloudera-manager-server

（可左右滑动）

2.初始化数据库

[root@ip-172-31-6-83 yum.repos.d]# /usr/share/cmf/schema/scm_prepare_database.sh mysql cm cm password
JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
Verifying that we can write to /etc/cloudera-scm-server
Creating SCM configuration file in /etc/cloudera-scm-server
Executing: /usr/java/jdk1.7.0_67-cloudera/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:/usr/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
[ main] DbCommandExecutor INFO Successfully connected to database.
All done, your SCM database is configured correctly!

（可左右滑动）

3.启动Cloudera Manager Server

[root@ip-172-31-6-83 ~]# systemctl start cloudera-scm-server

（可左右滑动）

4.检查端口是否监听

[root@ip-172-31-6-83 ~]# netstat -lnpt | grep 7180
tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 3331/java

（可左右滑动）

5.通过http://54.254.169.48:7180/cmf/login访问CM

4.CDH安装

4.1.CDH集群安装向导

1.admin/admin登录到CM

2.同意license协议，点击继续

3.选择60试用，点击继续

4.点击“继续”

5.输入主机ip或者名称，点击搜索找到主机后点击继续

6.点击“继续”

7.使用parcel选择，点击“更多选项”,点击“-”删除其它所有地址，输入

http://172.31.6.83/cdh5.15，点击“保存更改”

8.选择自定义存储库，输入cm的http地址

9.点击“继续”，进入下一步安装jdk

10.点击“继续”，进入下一步，默认多用户模式

11.点击“继续”，进入下一步配置ssh账号密码

12.点击“继续”，进入下一步，安装Cloudera Manager相关到各个节点

13.点击“继续”，进入下一步安装cdh到各个节点

14.点击“继续”，进入下一步主机检查，确保所有检查项均通过

点击完成进入服务安装向导。

4.2.集群设置安装向导

1.选择需要安装的服务

2.点击“继续”，进入集群角色分配

3.点击“继续”，进入下一步，测试数据库连接

4.测试成功，点击“继续”，进入目录设置，此处使用默认默认目录，根据实际情况进行目录修改

5.点击“继续”，进入各个服务启动

6.安装成功

7.安装成功后进入CM管理界面主页

5.Kudu安装

CDH从5.13开始，直接打包Kudu，不再需要下载额外的Parcel和csd文件。CDH5.13集成的是Kudu1.5，CDH5.15集成的是Kudu1.7。

1.通过CM安装Kudu1.7

添加Kudu服务

2.选择Master和Tablet Server

3.配置相应的目录，注：无论是Master还是Tablet根据实际情况数据目录(fs_data_dir)应该都可能有多个，以提高并发读写，从而提高Kudu性能

4.启动Kudu服务

5.安装完毕

6.配置Impala

回到主页重启Impala和Hue

至此，CDH5.15+Kudu1.7安装完毕。

因为微信单篇文章字数限制，Fayson这里省略了快速组件验证章节。你可以参考Fayson以前的文章。

《

CENTOS7.2安装CDH5.10和Kudu1.2(一)

》

《

CENTOS7.2安装CDH5.10和Kudu1.2(二)

》

《

CENTOS6.5安装CDH5.12.1(一)

》

《

CENTOS6.5安装CDH5.12.1(二)

》

《

CDH安装前置准备

》

《

CentOS6.5安装CDH5.13

》

提示：代码块部分可以左右滑动查看噢

为天地立心，为生民立命，为往圣继绝学，为万世开太平。
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操

jdk20安装教程

上一篇：Java|jdk(命令行环境下编译和运行) + netbeans(图形界面集成工具)
下一篇：JDK 17 之 JVM调优史诗级教程 jdk怎么调试

0317-如何在Redhat7.4安装CDH5.15

相关推荐

在.net core中使用nginx做负载均衡

React 18 超全升级指南

LTUI v1.7 发布，一个基于 Lua 的跨平台字符终端 UI 界面库

生成对抗网络(GAN)的半监督学习

《若依ruoyi》第二十五章:Spring boot 上传下载封装详解二

QT进阶之路 : 布局详解

如何在 Element UI 中使用栅格布局实现响应式设计?

IDEA 中 Jetty 的配置操作手册 idea jfinal

如何在Dify平台上创建智能Agent:一步步教你实现超级智能体搭建

k8s自动化运维三