一、前言

根据10来天研讨网上关于K8s集群的教程，结合手上的硬件配置及实操经验，做个汇总，力求每个指令都说明其作用，知其然知其所以然。仅供参考，主要还是给自己做个笔记。本身就是喜新厌旧的主，后续会持续更新。

最近更新日期：2021-09-16。

二、硬件环境

没有用物理机或虚拟机，生产环境是全套阿里云服务、测试环境主要是华为云服务。当前主要以华为云为例。

服务器都是ECS，阿里云默认勾选购买弹性公网IP，华为云不绑定购买，根据需要另外购买。个人现在认为是否只需要购买两个弹性公网IP即可，一个绑定Master节点，所有暴露端口通过Ingress Nginx反向代理实现，此弹性公网IP固定不解绑；另一个根据实际需要绑定需要运程登录的Worker节点。

阿里云和华为云的ECS都有创建镜像功能，可选择创建整机镜像、系统盘镜像、数据盘镜像 等。一是为了备份，随时可根据情况还原；二是可以在购买ECS扩容时，直接用镜像预装，快速部署。目前发数据盘暂时不知道可以用于做什么，那就先创建系统盘镜像，毕竟这些私有镜像都是收费的。

生产环境下MySQL是用阿里云RDS，测试环境下尝试K8s部署MySQL。文件存储目前是用阿里云OSS和七牛云，所以感觉数据盘看情况挂载，具体就不细说了。

三、软件环境

ECS均选用CentOS 8系统，以下命令均以此系统为准，因为CentOS版本不同，相关指令都有变更，跟参考的教程用的CentOS 7的某些指令就完全不同。

基础示例是用3台ECS服务器，一台是配置成Master节点，另外两台是配置成Worker节点，通过云服务商的虚拟专有网络组成Kubernetes集群。

主机名	IP	操作系统	角色
seak8s-master	192.168.0.10	CentOS 8	Master节点
seak8s-node01	192.168.0.21	CentOS 8	Worker节点
seak8s-node02	192.168.0.22	CentOS 8	Worker节点

以下各类节点安装的相关软件。

1、Master节点ECS服务器安装软件

软件名称	软件版本	暴露端口	配置文件	功能备注
docker	20.10.8		/etc/docker/daemon.json
kubelet				组件工具
kube-apiserver				组件工具
kube-controller-manager				组件工具
kube-proxy				组件工具
kube-schduler				组件工具
etcd
flannel

2、 Worker节点ECS服务器安装软件

软件名称	软件版本	暴露端口	配置文件	功能备注
docker	20.10.8		/etc/docker/daemon.json
kubelet				组件工具
kube-proxy				组件工具
flannel

四、初始化服务器

无论是阿里云还是华为云ECS服务器都选的是用公共CentOS 8镜像，版本各有不同就不详细比较了。

以下均默认使用root远程登录ECS服务器，命令就省略“sudo”了，根据自身情况添加即可。ECS服务器在加入虚拟专有网络就会自动设置固定内网IP，在这就不再述手动设置方法，总之要设置各个节点的IP为固定IP。

1、升级系统已安装软件到最新版本

升级所有包同时也升级软件和系统内核指令：yum update -y

就是喜欢更新到最新版本的感觉，第一次更新时间略长，安心等待就行。更新完成后可以执行以下两个指令。

查看CentOS系统的当前版本指令：cat /etc/redhat-release

<输出>

CentOS Linux release 8.4.2105

查看CentOS系统的当前内核指令：uname -r

<输出>

4.18.0-240.10.1.el8_3.x86_64

在现在配置Master节点经验发现执行此命令会报错，提示安装了两个版本的kubelet，也是无语了，现计划安装一个软件就执行一下这个指令看看会不会报错，定位问题。

2、清理环境

其实使用公共镜像安装ECS服务器，此部分代码无需执行。

清除Kubernetes指令：

df -h|grep kubelet |awk -F % ‘{print $2}’|xargs umount

rm /var/lib/kubelet/* -rf

rm /etc/kubernetes/* -rf

rm /var/lib/rancher/* -rf

rm /var/lib/etcd/* -rf

rm /var/lib/cni/* -rf

iptables重置nat上网指令：iptables -F && iptables -t nat -F

删除flannel所生成的vxlan设备指令：ip link del flannel.1

docker查看所有容器并删除指令：docker ps -a|awk ‘{print $1}’|xargs docker rm -f

docker查看所有（持久化）数据并删除指令：docker volume ls|awk ‘{print $2}’|xargs docker volume rm

执行以上指令会有报错，看清楚都明白可以忽略。

3、系统配置

3.1、安装依赖包

安装依赖包指令：yum install -y yum-utils device-mapper-persistent-data lvm2 lrzsz conntrack ipvsadm ipset iptables iptables-services curl sysstat libseccomp wget vim net-tools git jq tc

3.2、配置yum源

删除之前可能安装过yum源的残留指令：rm -rfv /etc/yum.repos.d/*

在此选用阿里云的yum源，可打开链接http://mirrors.aliyun.com/repo/挑选适合自己的版本。

添加yum源指令：curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo

添加后，可用以下两个指令查看yum源。同时也可以执行一下升级所有包同时也升级软件和系统内核指令，一般会有更新。

查看当前可用yum源指令：yum repolist

查看所有yum源指令：yum repolist all

3.3、安装EPEL

EPEL，即Extra Packages for Enterprise Linux的简称，是为企业级Linux提供的一组高质量的额外软件包，包括但不限于Red Hat Enterprise Linux (RHEL), CentOS and Scientific Linux (SL), Oracle Enterprise Linux (OEL)。EPEL是社区强烈打造的免费开源发行软件包版本库。

针对系统架构选择相应的类型：http://dl.fedoraproject.org/pub/epel/，在此选择x86_64的相应包。

下载EPEL包指令：wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm

安装EPEL包指令：rpm -ivh epel-release-latest-8.noarch.rpm

为了保险起见可执行以下指令，3.2安装完yum源后也是一样。

清理yum缓存和重建yum缓存指令：yum clean all && yum makecache

不过很多人的经验都是可以不执行上一条指令的，感觉yum缓存会自动更新。

3.4、关闭防火墙

关闭防火墙和设置开机禁用防火墙指令：systemctl stop firewalld && systemctl disable firewalld

检查防火墙状态指令：systemctl status firewalld

3.5、关闭SELinux

安全增强型Linux（Security-Enhanced Linux）简称SELinux，它是一个Linux内核模块，也是Linux的一个安全子系统。SELinux主要由美国国家安全局开发。2.6及以上版本的Linux内核都已经集成了SELinux模块。

临时关闭SELinux指令：setenforce 0

永久关闭SELinux指令：sed -i ‘s/enforcing/disable/’ /etc/selinux/config

3.6、关闭swap交换分区

临时关闭swap交换分区指令：swapoff -a

永久关闭swap交换分区指令：sed -ri ‘s/.swap./#&/’ /etc/fstab

关闭后检查是否关闭swap交换分区，若swap行出现的全部是0，则代表已经关闭。

查看Linux内存使用情况指令：free -m 或 free -h

3.7、检查系统时区

ECS服务器一般已经设置好系统时区，我们还是循例检查一下。

查看当前系统时区指令：timedatectl

3.8、设置日志系统

在CentOS 7以后，因为引导方式改为了system.d，使用systemd-journald来做日志中心库，使用rsyslog来做日志持久化，使用logrotate来做日志文件轮转。

systemd-journald守护进程提供一种改进的日志管理服务，可以收集来自内核，启动过程的早期阶段，标准输出，系统日志，以及守护进程启动和运行期间的错误的消息。它将这些消息写到一个结构化的事件日志中，默认情况下不在重新启动之间保留。现更改默认为systemd journald，只保留一个日志的保存方式。

创建保存日志的目录指令：mkdir /var/log/journal

创建保存日志配置文件的目录指令：mkdir /etc/systemd/journald.conf.d

创建日志配置文件指令：cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
Storage=persistent # 持久化保存到磁盘
Compress=yes # 压缩历史日志
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
SystemMaxUse=10G # 最大占用空间10G
SystemMaxFileSize=200M # 单日志文件最大200M
MaxRetentionSec=2week # 日志保存时间2周
ForwardToSyslog=no # 不将日志转发到syslog
EOF

重启systemd journald的指令：systemctl restart systemd-journald

3.9、配置主机名称以及配置名称解析

根据自身Kubernetes集群的计划配置主机名称以及配置名称解析。

配置主机名为seak8s-master指令：hostnamectl set-hostname seak8s-master

主机名seak8s-master根据自身需要调整。

查看本机的主机名指令：hostname

打开名称解析配置文件指令：vim /etc/hosts

然后将所有的节点服务的IP和名称加入进去，如：192.168.0.10 seak8s-master 。

3.10、配置iptables

iptables也叫netfilter，是Linux下自带的一款免费且优秀的基于包过滤的防火墙工具，他的功能十分强大，使用也非常灵活，可以对流入、流出、流经服务器的数据包进行精细的控制。但在CentOS 7以后已经被阉割掉了，需要自行安装，在此3.1、安装依赖包时已安装。

启动iptables和设置开机启动iptables指令：systemctl start iptables && systemctl enable iptables

清除（filter表）中所有规则指令：iptables -F

保存iptables配置指令：service iptables save

保存iptables配置后必须重启iptables。

重启iptables指令：systemctl restart iptables

查看iptables运行状态指令：systemctl status iptables

4、安装Docker

4.1、添加稳定版仓库

在此选择的是阿里云的Docker仓库。

添加指定yum仓库指令：yum-config-manager –add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

如果完全按本文所描述操作，执行上一条指令会提示“Repository extras is listed more than once in the configuration”即相关仓库已存在，无需操作此步骤。

更新yum缓存指令：yum makecache

4.2、安装docker-ce

查看选择docker-ce各版本指令：yum list docker-ce –showduplicates|sort -r

安装指定版本的docker-ce指令：yum install docker-ce-20.10.8-3.el8 -y

安装最新版本的docker-ce指令：yum install docker-ce -y

以上两条指令按自身实际情况选择执行，在此选择安装最新版本的docker-ce。

检查是否安装成功，查看Docker版本指令：docker version

4.3、配置daemon.json

Docker安装后默认没有daemon.json这个配置文件，需要进行手动创建。配置文件的默认路径：/etc/docker/daemon.json。

创建Docker配置存放目录指令：mkdir /etc/docker

创建Docker配置文件指令：cat > /etc/docker/daemon.json <<EOF
{
“exec-opts”: [“native.cgroupdriver=systemd”], # 让docker与k8s中cgroupdriver保持一致
“log-driver”: “json-file”,
“log-opts”: {
“max-size”: “100m”
},
“registry-mirrors”: [“https://hlusxtb4.mirror.aliyuncs.com”],
“insecure-registries”: [“192.168.0.10”]
}
EOF

重新加载Docker配置参数指令：systemctl daemon-reload

启动Docker服务和设置开机启动Docker服务指令：systemctl start docker && systemctl enable docker

daemon.json配置参数简介：

一级参数	二级参数	说明	示例值
exec-opts		运行时执行选项。	[“native.cgroupdriver=systemd”]
log-driver		容器日志驱动程序，默认为：json-file。	“json-file”
log-opts		容器日志配置参数
	max-size	滚动前日志的最大大小。一个正整数加上一个代表测量单位（k，m或g）的修饰符。默认为-1（无限制）。	“100m”
	max-file	可以存在的最大日志文件数量。如果滚动日志会创建多余文件，则会删除最旧的文件。只有在设置了max-size时才有效。一个正整数。默认为1。	“3”
	labels	在启动Docker守护进程时适用。守护进程接受的日志相关标签的逗号分隔列表。用于高级日志标记选项。	“production_status,geo”
	env	在启动Docker守护进程时适用。此守护程序接受的与日志相关的环境变量的逗号分隔列表。用于高级日志标记选项。	“os,customer”
	env-regex	与env类似且兼容。一个正则表达式来匹配与日志相关的环境变量。用于高级日志标记选项。	“^(os”
registry-mirrors		私库加速地址	[“https://hlusxtb4.mirror.aliyuncs.com”]
insecure-registries		镜像仓库地址	[“192.168.0.10”]

引用：

《全网最全的搭建Kubernetes准备工作配置》：https://blog.csdn.net/qq_37840993/article/details/114396787

《局域网使用kubeadm安装k8s》：https://blog.csdn.net/zhaikaiyun/article/details/104273974

《基于Centos8.1 部署 kubernetes 1.20.2》：https://blog.csdn.net/tongzidane/article/details/113942942

《CentOS8安装Kubernetes1.20.2集群》：https://blog.csdn.net/weixin_38920945/article/details/113728463

《Centos 7/8 日志管理》：https://www.cnblogs.com/vincenshen/p/12441492.html

基于原文略有调整，如有不对之处还请指正。