容器编排的发展历程

1.什么是Kubernetes
Kubernetes简称K8S,其底层基于容器进行编排,早期支持docker作为底层的容器运行时,从K8S 1.24+版本之后,默认采用看containerd作为容器运行时。

官方文档:

https://kubernetes.io/zh-cn/
https://kubernetes.io/zh-cn/releases/download/

2.为什么要使用K8S

  • 1.它将组成应用程序的容器组合成逻辑单元,以便于管理和服务发现。
    Kubernetes 源自Google 15 年生产环境的运维经验,同时凝聚了社区的最佳创意和实践。
  • 2.Google 每周运行数十亿个容器,Kubernetes 基于与之相同的原则来设计,能够在不扩张运维团队的情况下进行规模扩展。
  • 3.无论是本地测试,还是跨国公司,Kubernetes 的灵活性都能让你在应对复杂系统时得心应手。
  • 4.Kubernetes是开源系统,可以自由地部署在企业内部,私有云、混合云或公有云,让您轻松地做出合适的选择。
  • 5.走云原生的小伙伴,月薪想要突破15k+,K8S是你必备的技能,25k+必精通技能。

3.Kubernetes和docker的简史精简版

  • 2013年docker开源,IT界的福音,备受关注
  • 2014.06 Google有15年的容器编排Borg(博格,商业产品)使用经验,并将K8S(基于borg系统使用go语言研发)底层基于docker作为容器运行时开源
  • 2014.12 docker inc公司推出了K8S竞品,docker swarm
  • Google kubernets vs docker inc swarm 【3年对抗赛】 2017年年底结束,k8s完胜。(k8s 72% vs swarm %13)
    • 2014 coreOS 公司推出了rkt容器管理工具并站队K8S
    • 2015 Google公司将K8S开源并贡献给了CNCF组织,成为该组织的第一个毕业项目。
    • 2015 docker inc公司推出了OCI提议,主要针对容器运行时和镜像规范,并开源了runc。
    • 2016 Google推出了CRI规范,目前市面上没有任何产品可以满足,于是就开源了docker-shim组件(会调用docker接口并满足cri规范)支持CRI接口;
    • 2016,RedHat公司基于cri-o(既符合CRI也符合OCI规范)开发框架让rkt容器管理工具支持CRI接口;
    • 2017,docker inc公司将containerd从docker engine剥离,并将containerd开源给了CNCF组织,
      • containerd底层调用runc,因此该产品是支持OCI提议的;
      • containerd组件本身不支持CRI,因此社区大佬们(包含国内外)集体开发cri-containerd组件,最后合并到containerd项目
  • 2018 年国内开始流行K8S,各大云厂商已经开始大规模使用K8S集群,
    • 阿里云的ACK的SAAS产品
    • 腾讯云的TKE的SAAS产品
    • 华为云的CCE的SAAS产品
    • ucloud的UK8S的SAAS产品
    • 亚马逊的Amazon EKS的SAAS产品
    • 京东云,百度云等
  • 2018年,coreOS公司被Redhat以2.5亿美元收购。
  • 2018年10月29日,IBM宣布以340亿美元的价格收购Red Hat。
    • 曾经一度,Docker方面的炒作非常猛。
    • Docker从Greylock Partners、Insight Partners和红杉资本等大牌投资者处筹资超过2.7亿美元,
    • 2018年估值达到最高峰:13.2亿美元。
  • 2019年2月,Docker一分为二,将企业业务出售给了云咨询公司Mirantis(对于OpenStack代码贡献量非常大,能排到前3)。
  • 2020年,Google宣布K8S将在1.22+版本后弃用docker容器运行时,当时年底发布的最新版是1.20.X;
  • 2020年3月11日公布的,当时Docker宣布被云计算软件巨头微软(Microsoft)以 6.7亿美元收购。
  • 2021年底 K8S 1.23的RC版本发布;
  • 2022年初,K8S 1.24横空出世,直接将docker-shim组件移除,而是使用containerd作为容器运行时;
  • 2023年初,K8S 1.27.X发布;
  • 2023年3月,K8S 1.23.17 发布了最后一个支持docker-shim的版本。
    • docker和Mirantis公司作为合作伙伴,将维护该项目,运维小伙伴如果需要在K8S 1.24及以后的版本使用docker的话,需要单独cri-docker组件。
  • 2024年初,K8S 1.30.x版本发布
  • 2024年12月,K8S 1.32.x版本发布
  • 2025年年初,K8S 1.33.X版本发布

4.Kubernetes集群架构图解

Scheduler:
kube-scheduler根据调度算法为新创建的Pod选择一个Node节点,可以任意部署,可以部署在同一个节点上,也可以部署在不同的节点上。

Controller Manager:
Kube-controller-manager,处理集群中常规后台任务,一个资源对应一个控制器,而ControllerManager就是负责管理这些控制器的。

Cloud Controller Manager:
用在云平台上的Kube-controller-manager组件。如果我们直接在物理机上部署的话,可以不使用该组件。

API Server:
kube-apiserver,集群的统一入口,各组件协调者,以RESTFUL API提供接口服务,所有对象资源的增删改查和监听操作都交给APIServer处理后再提交给etcd存储。

Etcd:
分布式键值存储系统,用于保存集群状态元数据信息,比如Pod,Service等对象信息。这个数据库是可以单独拿出来部署,只需要API server可以连接到该分布式数据库集群即可。

kubelet:
可以理解为Master在工作节点上的Agent,管理本机运行容器的生命周期,比如创建容器,Pod挂载数据卷,下载secret,获取容器的节点状态等工作。kubelet将每一个Pod转换成一组容器。

kube-proxy:
在工作节点上实现Pod网络代理,维护网络规则和四层负载均衡工作。换句话说,就是用于负责Pod网络路由,用于对外提供访问的实现。可以找到你关心的项目所在的pod节点。

POD:
用户划分容器的最小单位,一个POD可以存在多个容器。

docker/rocket(rkt,已停止支持):
容器引擎,用于运行容器。

CNI:
Pod跨节点进行网络通信的网络插件。

参考链接:

https://kubernetes.io/zh/docs/concepts/overview/components

5.Kubernetes的三种网段说明

  • K8S各组件通信的网络
    使用时物理网卡,默认网段: 10.0.0.0/24。
  • 跨节点容器实现通信的网段:
    用户可以自定义,学习环境推荐: 10.100.0.0/16。 但是在自定义网段时,要考虑将来能够分片的IP地址数量,”10.100.0.0/16″最多有65536个IP地址。 如果将来容器运行的数量超过该规模时,应该考虑将网段地址调大,比如”10.0.0.0/8″。
  • Service网段:
    为容器提供负载均衡和服务发现功能。也是需要一个独立的网段,比如”10.200.0.0/16″最多有65536个IP地址。 同理,如果规模较大时,应该考虑网段分配的问题。

kubernetes的部署方式k8s-1.23-

k8s集群环境准备

  • 1.环境准备
  • 确定docker环境已部署

推荐阅读:

https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

  • 2.关闭swap分区
swapoff -a && sysctl -w vm.swappiness=0 # 临时关闭
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab # 基于配置文件关闭
  • 3.确保各个节点MAC地址或product_uuid唯一
ifconfig ens33 | grep ether | awk '{print $2}'
cat /sys/class/dmi/id/product_uuid
温馨提示:
        一般来讲,硬件设备会拥有唯一的地址,但是有些虚拟机的地址可能会重复。 
        Kubernetes使用这些值来唯一确定集群中的节点。 如果这些值在每个节点上不唯一,可能会导致安装失败。
  • 4.检查网络节点是否互通

简而言之,就是检查你的k8s集群各节点是否互通,可以使用ping命令来测试。

ping baidu.com -c 10
  • 5.允许iptable检查桥接流量
cat <<EOF | tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF
cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
sysctl --system
  • 6 检查端口是否被占用

参考链接:

https://kubernetes.io/zh-cn/docs/reference/networking/ports-and-protocols/

  • 7.所有节点修改cgroup的管理进程为systemd
[root@master231 ~]# docker info | grep "Cgroup Driver:"
Cgroup Driver: systemd
[root@master231 ~]#

[root@worker232 ~]# docker info | grep "Cgroup Driver:"
Cgroup Driver: systemd
[root@worker232 ~]#
[root@worker233 ~]# docker info | grep "Cgroup Driver:"
Cgroup Driver: systemd
[root@worker233 ~]#
  • 8.所有节点安装kubeadm,kubelet,kubectl

8.1 软件包说明
你需要在每台机器上安装以下的软件包:
kubeadm:
用来初始化K8S集群的工具。
kubelet:
在集群中的每个节点上用来启动Pod和容器等。
kubectl:
用来与K8S集群通信的命令行工具。

kubeadm不能帮你安装或者管理kubelet或kubectl,所以你需要确保它们与通过kubeadm安装的控制平面(master)的版本相匹配。 如果不这样做,则存在发生版本偏差的风险,可能会导致一些预料之外的错误和问题。

然而,控制平面与kubelet间的相差一个次要版本不一致是支持的,但kubelet的版本不可以超过”API SERVER”的版本。 例如,1.7.0版本的kubelet可以完全兼容1.8.0版本的”API SERVER”,反之则不可以。

  • 8.2 K8S所有节点配置软件源(建议拷贝2次)
apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
cat </etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
apt-get update
  • 8.3 查看一下当前环境支持的k8s版本
[root@master231 ~]# apt-cache madison kubeadm
kubeadm | 1.28.2-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
kubeadm | 1.28.1-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
kubeadm | 1.28.0-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
…
kubeadm | 1.23.17-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
kubeadm | 1.23.16-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
kubeadm | 1.23.15-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
kubeadm | 1.23.14-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
....................
  • 8.4 所有节点安装 kubelet kubeadm kubectl
apt-get -y install kubelet=1.23.17-00 kubeadm=1.23.17-00 kubectl=1.23.17-00
  • 8.5 检查各组件版本
[root@worker232 ~]# kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:33:14Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}
[root@worker232 ~]#

[root@worker232 ~]# kubectl version
Client Version: version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:34:27Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}
The connection to the server localhost:8080 was refused - did you specify the right host or port?
[root@worker232 ~]#
[root@worker232 ~]# kubelet --version
Kubernetes v1.23.17
[root@worker232 ~]#
  • 9.检查时区
[root@master231 ~]# ln -svf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
'/etc/localtime' -> '/usr/share/zoneinfo/Asia/Shanghai'
[root@master231 ~]#
[root@master231 ~]# ll /etc/localtime
lrwxrwxrwx 1 root root 33 Feb 10 11:26 /etc/localtime -> /usr/share/zoneinfo/Asia/Shanghai
[root@master231 ~]#
[root@master231 ~]# date -R
Mon, 10 Feb 2025 11:26:38 +0800
[root@master231 ~]#

基于kubeadm组件初始化K8S的master组件

  • 1.提前导入镜像
[root@master231 ~]# docker load -i k8s-master-1.23.17.tar.gz
[root@master231 ~]# docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
registry.aliyuncs.com/google_containers/kube-apiserver v1.23.17 62bc5d8258d6 23 months ago 130MB
registry.aliyuncs.com/google_containers/kube-controller-manager v1.23.17 1dab4fc7b6e0 23 months ago 120MB
registry.aliyuncs.com/google_containers/kube-scheduler v1.23.17 bc6794cb54ac 23 months ago 51.9MB
registry.aliyuncs.com/google_containers/kube-proxy v1.23.17 f21c8d21558c 23 months ago 111MB
registry.aliyuncs.com/google_containers/etcd 3.5.6-0 fce326961ae2 2 years ago 299MB
registry.aliyuncs.com/google_containers/coredns v1.8.6 a4ca41631cc7 3 years ago 46.8MB
registry.aliyuncs.com/google_containers/pause 3.6 6270bb605e12 3 years ago 683kB
[root@master231 ~]#
  • 2.使用kubeadm初始化master节点
[root@master231 ~]# kubeadm init --kubernetes-version=v1.23.17 --image-repository registry.aliyuncs.com/google_containers --pod-network-cidr=10.100.0.0/16 --service-cidr=10.200.0.0/16 --service-dns-domain=oldboyedu.com
…Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:
注意:下面这行每个人都不一样,需要记下来,下面会用到
kubeadm join 10.0.0.231:6443 --token iyxe7l.1e4w3v20m4j8kftm \
	--discovery-token-ca-cert-hash sha256:73424adfec64e4453b8ce5c32f1e80658096a0236f92745c5e17723bdbd87581 

相关参数说明:
–kubernetes-version:
指定K8S master组件的版本号。

--image-repository:
    指定下载k8s master组件的镜像仓库地址。

--pod-network-cidr:
    指定Pod的网段地址。

--service-cidr:
    指定SVC的网段

--service-dns-domain:
    指定service的域名。若不指定,默认为"cluster.local"。

使用kubeadm初始化集群时,可能会出现如下的输出信息:
[init]
使用初始化的K8S版本。

[preflight] 
    主要是做安装K8S集群的前置工作,比如下载镜像,这个时间取决于你的网速。

[certs]
生成证书文件,默认存储在”/etc/kubernetes/pki”目录哟。

[kubeconfig]
生成K8S集群的默认配置文件,默认存储在”/etc/kubernetes”目录哟。

[kubelet-start]
启动kubelet, 环境变量默认写入:”/var/lib/kubelet/kubeadm-flags.env” 配置文件默认写入:”/var/lib/kubelet/config.yaml”

[control-plane]
使用静态的目录,默认的资源清单存放在:”/etc/kubernetes/manifests”。 此过程会创建静态Pod,包括”kube-apiserver”,”kube-controller-manager”和”kube-scheduler”

[etcd]
创建etcd的静态Pod,默认的资源清单存放在:””/etc/kubernetes/manifests”

[wait-control-plane]
等待kubelet从资源清单目录”/etc/kubernetes/manifests”启动静态Pod。

[apiclient]
等待所有的master组件正常运行。

[upload-config]
创建名为”kubeadm-config”的ConfigMap在”kube-system”名称空间中。

[kubelet]
创建名为”kubelet-config-1.22″的ConfigMap在”kube-system”名称空间中,其中包含集群中kubelet的配置

[upload-certs]
跳过此节点,详情请参考”–upload-certs”

[mark-control-plane]
标记控制面板,包括打标签和污点,目的是为了标记master节点。

[bootstrap-token]
创建token口令,例如:”kbkgsa.fc97518diw8bdqid”。 如下图所示,这个口令将来在加入集群节点时很有用,而且对于RBAC控制也很有用处哟。

[kubelet-finalize]
更新kubelet的证书文件信息

[addons]
添加附加组件,例如:”CoreDNS”和”kube-proxy”

  • 3.拷贝授权文件,用于管理K8S集群
[root@master231 ~]# mkdir -p $HOME/.kube
[root@master231 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master231 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
  • 4.查看master组件是否正常工作
[root@master231 ~]# kubectl get componentstatuses
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME STATUS MESSAGE ERROR
controller-manager Healthy ok
etcd-0 Healthy {"health":"true","reason":""}
scheduler Healthy ok
[root@master231 ~]#
[root@master231 ~]#
[root@master231 ~]# kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME STATUS MESSAGE ERROR
scheduler Healthy ok
controller-manager Healthy ok
etcd-0 Healthy {"health":"true","reason":""}
[root@master231 ~]#
  • 5.查看工作节点
root@master231 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master231 NotReady control-plane,master 3m13s v1.23.17
[root@master231 ~]#
[root@master231 ~]# kubectl get no
NAME STATUS ROLES AGE VERSION
master231 NotReady control-plane,master 3m15s v1.23.17
[root@master231 ~]#
[root@master231 ~]# kubectl get no -o wide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
master231 NotReady control-plane,master 3m23s v1.23.17 10.0.0.231 Ubuntu 22.04.4 LTS 5.15.0-119-generic docker://20.10.24
[root@master231 ~]#
  • 6.master初始化不成功解决问题的方法
可能存在的原因:
- 由于没有禁用swap分区导致无法完成初始化;
- 每个2core以上的CPU导致无法完成初始化;
- 没有手动导入镜像;

解决方案:
free -h
lscpu
- 1.检查上面的是否有上面的情况
- 2.重置当前节点环境
- 3.再次尝试初始化master节点 
[root@master231 ~]# kubeadm reset -f

基于kubeadm部署worker组件

  • 1.提前导入镜像
[root@worker232 ~]# docker load -i k8s-slave-1.23.17.tar.gz
[root@worker232 ~]# docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
registry.aliyuncs.com/google_containers/kube-proxy v1.23.17 f21c8d21558c 2 years ago 111MB
registry.aliyuncs.com/google_containers/coredns v1.8.6 a4ca41631cc7 3 years ago 46.8MB
registry.aliyuncs.com/google_containers/pause 3.6 6270bb605e12 3 years ago 683kB
[root@worker232 ~]#

[root@worker233 ~]# docker load -i k8s-slave-1.23.17.tar.gz 
[root@worker233 ~]# docker image ls
REPOSITORY                                           TAG        IMAGE ID       CREATED       SIZE
registry.aliyuncs.com/google_containers/kube-proxy   v1.23.17   f21c8d21558c   2 years ago   111MB
registry.aliyuncs.com/google_containers/coredns      v1.8.6     a4ca41631cc7   3 years ago   46.8MB
registry.aliyuncs.com/google_containers/pause        3.6        6270bb605e12   3 years ago   683kB
[root@worker233 ~]# 
  • 2.将worker节点加入到master集群(注意,不要复制我的,而是根据你上一步master生成的token加入集群)
[root@worker232 ~]# kubeadm join 10.0.0.231:6443 --token iyxe7l.1e4w3v20m4j8kftm \
	--discovery-token-ca-cert-hash sha256:73424adfec64e4453b8ce5c32f1e80658096a0236f92745c5e17723bdbd87581 

[root@worker233 ~]# kubeadm join 10.0.0.231:6443 --token iyxe7l.1e4w3v20m4j8kftm \
	--discovery-token-ca-cert-hash sha256:73424adfec64e4453b8ce5c32f1e80658096a0236f92745c5e17723bdbd87581 
  • 3.验证worker节点是否加入成功
[root@master231 ~]# kubectl get no
NAME STATUS ROLES AGE VERSION
master231 NotReady control-plane,master 9m57s v1.23.17
worker232 NotReady 93s v1.23.17
worker233 NotReady 55s v1.23.17
[root@master231 ~]#
[root@master231 ~]# kubectl get no -o wide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
master231 NotReady control-plane,master 9m59s v1.23.17 10.0.0.231 Ubuntu 22.04.4 LTS 5.15.0-119-generic docker://20.10.24
worker232 NotReady 95s v1.23.17 10.0.0.232 Ubuntu 22.04.4 LTS 5.15.0-119-generic docker://20.10.24
worker233 NotReady 57s v1.23.17 10.0.0.233 Ubuntu 22.04.4 LTS 5.15.0-119-generic docker://20.10.24
[root@master231 ~]#

部署CNI插件之Calico实战

  • 1.导入镜像三台都要做,下载calico镜像包并导入
  • 2.下载资源清单
kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.25.2/manifests/tigera-operator.yaml
  • 3.修改pod网段的配置
wget https://raw.githubusercontent.com/projectcalico/calico/v3.25.2/manifests/custom-resources.yaml
[root@master231 ~]# grep cidr custom-resources.yaml 
      cidr: 192.168.0.0/16
[root@master231 ~]# 
[root@master231 ~]# sed -i '/cidr/s#192.168#10.100#' custom-resources.yaml 
[root@master231 ~]# 
[root@master231 ~]# grep cidr custom-resources.yaml 
      cidr: 10.100.0.0/16
[root@master231 ~]# 
  • 4.应用配置
[root@master231 ~]# kubectl apply -f custom-resources.yaml
installation.operator.tigera.io/default created
apiserver.operator.tigera.io/default created
[root@master231 ~]#
  • 5.验证集群网络是否正常
[root@master231 ~]# kubectl get pods -A
NAMESPACE NAME READY STATUS RESTARTS AGE
calico-apiserver calico-apiserver-64b779ff45-4nzng 1/1 Running 0 7m3s
calico-apiserver calico-apiserver-64b779ff45-957vg 1/1 Running 0 7m3s
calico-system calico-kube-controllers-76d5c7cfc-89z7j 1/1 Running 0 10m
calico-system calico-node-4cvnj 1/1 Running 0 10m
calico-system calico-node-d4554 1/1 Running 0 10m
calico-system calico-node-qbxmn 1/1 Running 0 10m
calico-system calico-typha-595f8c6fcb-9pm4b 1/1 Running 0 10m
calico-system calico-typha-595f8c6fcb-bhdw6 1/1 Running 0 10m
calico-system csi-node-driver-7z4hj 2/2 Running 0 10m
calico-system csi-node-driver-8vj74 2/2 Running 0 10m
calico-system csi-node-driver-m66z9 2/2 Running 0 10m
kube-system coredns-6d8c4cb4d-bknzr 1/1 Running 0 52m
kube-system coredns-6d8c4cb4d-cvp9w 1/1 Running 0 52m
kube-system etcd-master231 1/1 Running 0 52m
kube-system kube-apiserver-master231 1/1 Running 0 52m
kube-system kube-controller-manager-master231 1/1 Running 0 52m
kube-system kube-proxy-6jt4j 1/1 Running 0 43m
kube-system kube-proxy-q5prf 1/1 Running 0 52m
kube-system kube-proxy-vwdqx 1/1 Running 0 43m
kube-system kube-scheduler-master231 1/1 Running 0 52m
tigera-operator tigera-operator-8d497bb9f-bq8gw 1/1 Running 0 16m
[root@master231 ~]#
[root@master231 ~]#
[root@master231 ~]# kubectl get node -o wide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
master231 Ready control-plane,master 53m v1.23.17 10.0.0.231 Ubuntu 22.04.4 LTS 5.15.0-119-generic docker://20.10.24
worker232 Ready 44m v1.23.17 10.0.0.232 Ubuntu 22.04.4 LTS 5.15.0-119-generic docker://20.10.24
worker233 Ready 43m v1.23.17 10.0.0.233 Ubuntu 22.04.4 LTS 5.15.0-119-generic docker://20.10.24
[root@master231 ~]#

扩展:

kubectl工具实现自动补全功能

  • 1.添加环境变量
[root@master231 ~]# kubectl completion bash > ~/.kube/completion.bash.inc
[root@master231 ~]#
[root@master231 ~]# echo source '$HOME/.kube/completion.bash.inc' >> ~/.bashrc
[root@master231 ~]#
[root@master231 ~]# source ~/.bashrc
[root@master231 ~]#
  • 2.验证自动补全功能
[root@master231 ~]# kubectl # 连续按2次tab键测试能否出现命令
alpha auth cordon diff get patch run version
annotate autoscale cp drain help plugin scale wait
api-resources certificate create edit kustomize port-forward set
api-versions cluster-info debug exec label proxy taint
apply completion delete explain logs replace top
attach config describe expose options rollout uncordon
[root@master231 ~]#

至此k8s-1.23-部署完毕!