【摘要】Helm3部署Rancher2.6.3高可用集群，通过创建 Kubernetes Secret 使用自签证书。

一、前言

在企业生产环境，k8s高可用是一个必不可少的特性，其中最通用的场景就是如何在 k8s 集群宕机一个节点的情况下保障服务依旧可用。部署高可用k8s集群对于企业级云平台来说是一个根本性的原则，容错、服务可用和数据安全是高可用基础设施的关键。本文是在青云上利用青云LB搭建k8s高可用集群的过程中遇到的各种问题的梳理和总结。

Rancher是一个开源的企业级多集群Kubernetes管理平台，实现了Kubernetes集群在混合云+本地数据中心的集中部署与管理，以确保集群的安全性，加速企业数字化转型。通过Rancher企业再也不必自己使用一系列的开源软件去从头搭建容器服务平台。Rancher提供了在生产环境中使用的管理Docker和Kubernetes的全栈化容器部署与管理平台，Rancher现在已被SUSE收购了。

Helm是Kubernetes的一个包管理工具，用来简化Kubernetes应用的部署和管理。

其实我们公司使用Rancher已经有一两年的时间了，之前的版本是2.3，现在应该是升级到了2.5.8，当然了最新的版本应该已经到了2.6.8了，至于为什么没有升级到2.6版本里？主要是基于以下几点考虑的。

• 生产环境中那肯定是“稳”当头，新版本有很多不确定的因素。
• 据说Rancher2.6版本比较难用，界面有很大的改变。

正所谓“我不入地狱,谁入地狱？”，所以，我们先来排一排Rancher2.6版本。

二、部署说明

首先你得有个高可用的k8s集群，若是还不会搭建k8s集群的可以看我历史文章“基于青云LB搭建高可用的k8s集群”。

通过kubectl get nodes检查k8s集群健康状态：

$ kubectl get nodes
NAME          STATUS   ROLES                  AGE   VERSION
k8s-master1   Ready    control-plane,master   9d    v1.20.7
k8s-master2   Ready    control-plane,master   9d    v1.20.7
k8s-node1     Ready    worker                 9d    v1.20.7
k8s-node2     Ready    worker                 8d    v1.20.7

注：我这是2个master节点，生产中至少需要3个节点的master节点。

三、安装Helm3

官方下载地址

helm下载地址:https://github.com/helm/helm/releases
helm中文文档:https://helm.sh/zh/docs/topics/version_skew/

3.1 通过wget方式直接拉取

$ wget -c https://get.helm.sh/helm-v3.7.2-linux-amd64.tar.gz
$ tar zxvf helm-v3.7.2-linux-amd64.tar.gz
$ mv ./linux-amd64/helm /usr/bin/
$ helm version
version.BuildInfo{Version:"v3.7.2", GitCommit:"663a896f4a815053445eec4153677ddc24a0a361", GitTreeState:"clean", GoVersion:"go1.16.10"}

注：安装helm要查看支持的k8s版本，提前查看Helm版本支持策略：https://helm.sh/zh/docs/topics/version_skew/

如下图所示：

3.2 通过GitHub直接下载

helm下载地址:https://github.com/helm/helm/releases

$ tar zxvf helm-v3.7.2-linux-amd64.tar.gz
$ mv ./linux-amd64/helm /usr/bin/
$ helm version
version.BuildInfo{Version:"v3.7.2", GitCommit:"663a896f4a815053445eec4153677ddc24a0a361", GitTreeState:"clean", GoVersion:"go1.16.10"}

四、Helm3部署Rancher2.6.3集群

以下操作全部都是在k8s-master1服务器上执行。

4.1 配置国内存放chart仓库的地址

推荐使用阿里云仓库（https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts）。

##添加阿里云的 chart 仓库
$ helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
##添加 bitnami 的 chart 仓库
$ helm repo add bitnami https://charts.bitnami.com/bitnami
##添加Rancher chart仓库地址
$ helm repo add rancher-stable https://releases.rancher.com/server-charts/stable
##更新 chart 仓库 
$ helm repo update

注：Rancher chart仓库推荐stable。latest 最新：推荐用于试用最新功能stable 稳定：推荐用于生产环境 Alpha：即将发布的实验性预览

官网地址：https://rancher.com/docs/rancher/v2.6/en/installation/other-installation-methods/air-gap/install-rancher/

4.2 选择 SSL 配置

Rancher Server 默认设计为安全的，需要 SSL/TLS 配置。当 Rancher 安装在 Kubernetes 集群上时，有两个推荐的证书来源选项。如下所示：

我们使用自己的证书文件，安装时通过ingress.tls.source=secret来标识。

4.3生成自签证书

$ bash  key.sh --ssl-domain=test.rancker.com --ssl-trusted-ip=192.168.0.152,192.168.0.154,192.168.0.156,192.168.0.201 --ssl-size=2048 --ssl-date=3650

test.rancker.com是自定义的测试域名。

key.sh内容如下：

#!/bin/bash -e

help ()
{
    echo  ' ================================================================ '
    echo  ' --ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；'
    echo  ' --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；'
    echo  ' --ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（SSL_TRUSTED_DOMAIN）,多个扩展域名用逗号隔开；'
    echo  ' --ssl-size: ssl加密位数，默认2048；'
    echo  ' --ssl-date: ssl有效期，默认10年；'
    echo  ' --ca-date: ca有效期，默认10年；'
    echo  ' --ssl-cn: 国家代码(2个字母的代号),默认CN;'
    echo  ' 使用示例:'
    echo  ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ '
    echo  ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
    echo  ' ================================================================'
}

case "$1" in
    -h|--help) help; exit;;
esac

if [[ $1 == '' ]];then
    help;
    exit;
fi

CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
    key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
    value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
    case "$key" in
        --ssl-domain) SSL_DOMAIN=$value ;;
        --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
        --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
        --ssl-size) SSL_SIZE=$value ;;
        --ssl-date) SSL_DATE=$value ;;
        --ca-date) CA_DATE=$value ;;
        --ssl-cn) CN=$value ;;
    esac
done

# CA相关配置
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=cattle-ca

# ssl相关配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}

## 国家代码(2个字母的代号),默认CN;
CN=${CN:-CN}

SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt

echo -e "\033[32m ---------------------------- \033[0m"
echo -e "\033[32m       | 生成 SSL Cert |       \033[0m"
echo -e "\033[32m ---------------------------- \033[0m"

if [[ -e ./${CA_KEY} ]]; then
    echo -e "\033[32m ====> 1. 发现已存在CA私钥，备份"${CA_KEY}"为"${CA_KEY}"-bak，然后重新创建 \033[0m"
    mv ${CA_KEY} "${CA_KEY}"-bak
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
else
    echo -e "\033[32m ====> 1. 生成新的CA私钥 ${CA_KEY} \033[0m"
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
fi

if [[ -e ./${CA_CERT} ]]; then
    echo -e "\033[32m ====> 2. 发现已存在CA证书，先备份"${CA_CERT}"为"${CA_CERT}"-bak，然后重新创建 \033[0m"
    mv ${CA_CERT} "${CA_CERT}"-bak
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
    echo -e "\033[32m ====> 2. 生成新的CA证书 ${CA_CERT} \033[0m"
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi

echo -e "\033[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} \033[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOM

if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} ]]; then
    cat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOM
    IFS=","
    dns=(${SSL_TRUSTED_DOMAIN})
    dns+=(${SSL_DOMAIN})
    for i in "${!dns[@]}"; do
      echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
    done

    if [[ -n ${SSL_TRUSTED_IP} ]]; then
        ip=(${SSL_TRUSTED_IP})
        for i in "${!ip[@]}"; do
          echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
        done
    fi
fi

echo -e "\033[32m ====> 4. 生成服务SSL KEY ${SSL_KEY} \033[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}

echo -e "\033[32m ====> 5. 生成服务SSL CSR ${SSL_CSR} \033[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}

echo -e "\033[32m ====> 6. 生成服务SSL CERT ${SSL_CERT} \033[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} \
    -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} \
    -days ${SSL_DATE} -extensions v3_req \
    -extfile ${SSL_CONFIG}

echo -e "\033[32m ====> 7. 证书制作完成 \033[0m"
echo
echo -e "\033[32m ====> 8. 以YAML格式输出结果 \033[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/  /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/  /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/  /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/  /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "\033[32m ====> 9. 附加CA证书到Cert文件 \033[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "\033[32m ====> 10. 重命名服务证书 \033[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt

域名就是默认的：www.rancher.local,我们采用test.rancker.com。

官方地址：https://docs.rancher.cn/docs/rancher2.5/installation/resources/advanced/self-signed-ssl/_index/#41-一键生成-ssl-自签名证书脚本

脚本说明：

• 复制以上代码另存为key.sh或者其他您喜欢的文件名
• 脚本参数

--ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；
--ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；
--ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（TRUSTED_DOMAIN）,多个TRUSTED_DOMAIN用逗号隔开；
--ssl-size: ssl加密位数，默认2048；
--ssl-cn: 国家代码(2个字母的代号),默认CN；
使用示例:
./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \
--ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650

4.4 部署rancher

创建 rancher 的 namespace：

$ kubectl --kubeconfig=$KUBECONFIG     create namespace cattle-system

helm 渲染中 --set privateCA=true 用到的证书：

$ kubectl -n cattle-system create secret generic tls-ca --from-file=cacerts.pem

helm 渲染中 --set additionalTrustedCAs=true 用到的证书：

$ cp cacerts.pem ca-additional.pem
$ kubectl -n cattle-system create secret generic tls-ca-additional --from-file=ca-additional.pem

helm 渲染中 --set ingress.tls.source=secret 用到的证书和密钥：

$ kubectl -n cattle-system create secret tls tls-rancher-ingress --cert=tls.crt --key=tls.key

通过Helm将部署模板下载到本地：

$ helm fetch rancher-stable/rancher

当前目录会多一个rancher-2.6.3.tgz

使用以下命令渲染模板：

$ helm template rancher ./rancher-2.6.3.tgz \
     --namespace cattle-system --output-dir . \
     --set privateCA=true \
     --set additionalTrustedCAs=true \
     --set ingress.tls.source=secret \
     --set hostname=test.rancker.com \
     --set useBundledSystemChart=true

在rancher目录中可以看到渲染好的模板文件：

使用kubectl安装rancher：

$ kubectl -n cattle-system apply -R -f ./rancher/templates/

注：可以事在所有的工作节点上将镜像拉取下来，避免拉取镜像时间较长。

如下所示：

$ docker pull rancher/rancher:v2.6.3
$ docker pull rancher/fleet:v0.3.8
$ docker pull rancher/fleet-agent:v0.3.8
$ docker pull rancher/rancher-webhook:v0.2.2
$ docker pull rancher/shell:v0.1.14

若是启动过程中有问题，可以删除pod,再创建一次

$ kubectl -n cattle-system delete -R -f ./rancher/templates/

有些pod需要手动删除

$ kubectl delete <pod名称> -n cattle-system

再次创建：

$ kubectl -n cattle-system apply -R -f ./rancher/templates/

查看安装进度：

$ kubectl -n cattle-system get all -o wide

注：通过上面可以看到rancher已经安装成功了。

4.5 配置hosts

由于域名是自定义的，我们需要在自己的windows上配置hosts：

192.168.0.154 test.rancker.com
192.168.0.152 test.rancker.com
192.168.0.156 test.rancker.com
192.168.0.201 test.rancker.com

windows的hosts路径：C:\Windows\System32\drivers\etc\hosts

浏览器访问：test.rancker.com

五、密码设置

Rancher2.6密码设置

1) 查看随机生成的密码

$ kubectl get secret --namespace cattle-system bootstrap-secret -o go-template='{{.data.bootstrapPassword|base64decode}}{{"\n"}}'  

查看密码如下：

2) 设置特定密码

六、访问验证

6.1 Rancher2.6新特性面面观

首次进入如下

6.2 设置中文

· END ·

如果这篇文章对您有帮助或者有所启发的话，请帮忙点赞、转发，您的支持是我坚持更新的最大动力。

最后，欢迎关注架构至美微信公众号，查看历史文章，希望我的文章可以给您带来收获，哪怕只是一点点。