容器编排的发展历程
1.什么是Kubernetes
Kubernetes简称K8S,其底层基于容器进行编排,早期支持docker作为底层的容器运行时,从K8S 1.24+版本之后,默认采用看containerd作为容器运行时。
官方文档:
https://kubernetes.io/zh-cn/
https://kubernetes.io/zh-cn/releases/download/
2.为什么要使用K8S
- 1.它将组成应用程序的容器组合成逻辑单元,以便于管理和服务发现。
Kubernetes 源自Google 15 年生产环境的运维经验,同时凝聚了社区的最佳创意和实践。 - 2.Google 每周运行数十亿个容器,Kubernetes 基于与之相同的原则来设计,能够在不扩张运维团队的情况下进行规模扩展。
- 3.无论是本地测试,还是跨国公司,Kubernetes 的灵活性都能让你在应对复杂系统时得心应手。
- 4.Kubernetes是开源系统,可以自由地部署在企业内部,私有云、混合云或公有云,让您轻松地做出合适的选择。
- 5.走云原生的小伙伴,月薪想要突破15k+,K8S是你必备的技能,25k+必精通技能。
3.Kubernetes和docker的简史精简版
- 2013年docker开源,IT界的福音,备受关注
- 2014.06 Google有15年的容器编排Borg(博格,商业产品)使用经验,并将K8S(基于borg系统使用go语言研发)底层基于docker作为容器运行时开源
- 2014.12 docker inc公司推出了K8S竞品,docker swarm
- Google kubernets vs docker inc swarm 【3年对抗赛】 2017年年底结束,k8s完胜。(k8s 72% vs swarm %13)
- 2014 coreOS 公司推出了rkt容器管理工具并站队K8S
- 2015 Google公司将K8S开源并贡献给了CNCF组织,成为该组织的第一个毕业项目。
- 2015 docker inc公司推出了OCI提议,主要针对容器运行时和镜像规范,并开源了runc。
- 2016 Google推出了CRI规范,目前市面上没有任何产品可以满足,于是就开源了docker-shim组件(会调用docker接口并满足cri规范)支持CRI接口;
- 2016,RedHat公司基于cri-o(既符合CRI也符合OCI规范)开发框架让rkt容器管理工具支持CRI接口;
- 2017,docker inc公司将containerd从docker engine剥离,并将containerd开源给了CNCF组织,
- containerd底层调用runc,因此该产品是支持OCI提议的;
- containerd组件本身不支持CRI,因此社区大佬们(包含国内外)集体开发cri-containerd组件,最后合并到containerd项目
- 2018 年国内开始流行K8S,各大云厂商已经开始大规模使用K8S集群,
- 阿里云的ACK的SAAS产品
- 腾讯云的TKE的SAAS产品
- 华为云的CCE的SAAS产品
- ucloud的UK8S的SAAS产品
- 亚马逊的Amazon EKS的SAAS产品
- 京东云,百度云等
- 2018年,coreOS公司被Redhat以2.5亿美元收购。
- 2018年10月29日,IBM宣布以340亿美元的价格收购Red Hat。
- 曾经一度,Docker方面的炒作非常猛。
- Docker从Greylock Partners、Insight Partners和红杉资本等大牌投资者处筹资超过2.7亿美元,
- 2018年估值达到最高峰:13.2亿美元。
- 2019年2月,Docker一分为二,将企业业务出售给了云咨询公司Mirantis(对于OpenStack代码贡献量非常大,能排到前3)。
- 2020年,Google宣布K8S将在1.22+版本后弃用docker容器运行时,当时年底发布的最新版是1.20.X;
- 2020年3月11日公布的,当时Docker宣布被云计算软件巨头微软(Microsoft)以 6.7亿美元收购。
- 2021年底 K8S 1.23的RC版本发布;
- 2022年初,K8S 1.24横空出世,直接将docker-shim组件移除,而是使用containerd作为容器运行时;
- 2023年初,K8S 1.27.X发布;
- 2023年3月,K8S 1.23.17 发布了最后一个支持docker-shim的版本。
- docker和Mirantis公司作为合作伙伴,将维护该项目,运维小伙伴如果需要在K8S 1.24及以后的版本使用docker的话,需要单独cri-docker组件。
- 2024年初,K8S 1.30.x版本发布
- 2024年12月,K8S 1.32.x版本发布
- 2025年年初,K8S 1.33.X版本发布
4.Kubernetes集群架构图解
Scheduler:
kube-scheduler根据调度算法为新创建的Pod选择一个Node节点,可以任意部署,可以部署在同一个节点上,也可以部署在不同的节点上。
Controller Manager:
Kube-controller-manager,处理集群中常规后台任务,一个资源对应一个控制器,而ControllerManager就是负责管理这些控制器的。
Cloud Controller Manager:
用在云平台上的Kube-controller-manager组件。如果我们直接在物理机上部署的话,可以不使用该组件。
API Server:
kube-apiserver,集群的统一入口,各组件协调者,以RESTFUL API提供接口服务,所有对象资源的增删改查和监听操作都交给APIServer处理后再提交给etcd存储。
Etcd:
分布式键值存储系统,用于保存集群状态元数据信息,比如Pod,Service等对象信息。这个数据库是可以单独拿出来部署,只需要API server可以连接到该分布式数据库集群即可。
kubelet:
可以理解为Master在工作节点上的Agent,管理本机运行容器的生命周期,比如创建容器,Pod挂载数据卷,下载secret,获取容器的节点状态等工作。kubelet将每一个Pod转换成一组容器。
kube-proxy:
在工作节点上实现Pod网络代理,维护网络规则和四层负载均衡工作。换句话说,就是用于负责Pod网络路由,用于对外提供访问的实现。可以找到你关心的项目所在的pod节点。
POD:
用户划分容器的最小单位,一个POD可以存在多个容器。
docker/rocket(rkt,已停止支持):
容器引擎,用于运行容器。
CNI:
Pod跨节点进行网络通信的网络插件。
参考链接:
https://kubernetes.io/zh/docs/concepts/overview/components
5.Kubernetes的三种网段说明
- K8S各组件通信的网络
使用时物理网卡,默认网段: 10.0.0.0/24。 - 跨节点容器实现通信的网段:
用户可以自定义,学习环境推荐: 10.100.0.0/16。 但是在自定义网段时,要考虑将来能够分片的IP地址数量,”10.100.0.0/16″最多有65536个IP地址。 如果将来容器运行的数量超过该规模时,应该考虑将网段地址调大,比如”10.0.0.0/8″。 - Service网段:
为容器提供负载均衡和服务发现功能。也是需要一个独立的网段,比如”10.200.0.0/16″最多有65536个IP地址。 同理,如果规模较大时,应该考虑网段分配的问题。
kubernetes的部署方式k8s-1.23-
k8s集群环境准备
- 1.环境准备
- 确定docker环境已部署
推荐阅读:
https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/
- 2.关闭swap分区
swapoff -a && sysctl -w vm.swappiness=0 # 临时关闭
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab # 基于配置文件关闭
- 3.确保各个节点MAC地址或product_uuid唯一
ifconfig ens33 | grep ether | awk '{print $2}'
cat /sys/class/dmi/id/product_uuid
温馨提示:
一般来讲,硬件设备会拥有唯一的地址,但是有些虚拟机的地址可能会重复。
Kubernetes使用这些值来唯一确定集群中的节点。 如果这些值在每个节点上不唯一,可能会导致安装失败。
- 4.检查网络节点是否互通
简而言之,就是检查你的k8s集群各节点是否互通,可以使用ping命令来测试。
ping baidu.com -c 10
- 5.允许iptable检查桥接流量
cat <<EOF | tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF
cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
sysctl --system
- 6 检查端口是否被占用
参考链接:
https://kubernetes.io/zh-cn/docs/reference/networking/ports-and-protocols/
- 7.所有节点修改cgroup的管理进程为systemd
[root@master231 ~]# docker info | grep "Cgroup Driver:"
Cgroup Driver: systemd
[root@master231 ~]#
[root@worker232 ~]# docker info | grep "Cgroup Driver:"
Cgroup Driver: systemd
[root@worker232 ~]#
[root@worker233 ~]# docker info | grep "Cgroup Driver:"
Cgroup Driver: systemd
[root@worker233 ~]#
- 8.所有节点安装kubeadm,kubelet,kubectl
8.1 软件包说明
你需要在每台机器上安装以下的软件包:
kubeadm:
用来初始化K8S集群的工具。
kubelet:
在集群中的每个节点上用来启动Pod和容器等。
kubectl:
用来与K8S集群通信的命令行工具。
kubeadm不能帮你安装或者管理kubelet或kubectl,所以你需要确保它们与通过kubeadm安装的控制平面(master)的版本相匹配。 如果不这样做,则存在发生版本偏差的风险,可能会导致一些预料之外的错误和问题。
然而,控制平面与kubelet间的相差一个次要版本不一致是支持的,但kubelet的版本不可以超过”API SERVER”的版本。 例如,1.7.0版本的kubelet可以完全兼容1.8.0版本的”API SERVER”,反之则不可以。
- 8.2 K8S所有节点配置软件源(建议拷贝2次)
apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
cat </etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
apt-get update
- 8.3 查看一下当前环境支持的k8s版本
[root@master231 ~]# apt-cache madison kubeadm
kubeadm | 1.28.2-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
kubeadm | 1.28.1-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
kubeadm | 1.28.0-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
…
kubeadm | 1.23.17-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
kubeadm | 1.23.16-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
kubeadm | 1.23.15-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
kubeadm | 1.23.14-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
....................
- 8.4 所有节点安装 kubelet kubeadm kubectl
apt-get -y install kubelet=1.23.17-00 kubeadm=1.23.17-00 kubectl=1.23.17-00
- 8.5 检查各组件版本
[root@worker232 ~]# kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:33:14Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}
[root@worker232 ~]#
[root@worker232 ~]# kubectl version
Client Version: version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:34:27Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}
The connection to the server localhost:8080 was refused - did you specify the right host or port?
[root@worker232 ~]#
[root@worker232 ~]# kubelet --version
Kubernetes v1.23.17
[root@worker232 ~]#
- 9.检查时区
[root@master231 ~]# ln -svf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
'/etc/localtime' -> '/usr/share/zoneinfo/Asia/Shanghai'
[root@master231 ~]#
[root@master231 ~]# ll /etc/localtime
lrwxrwxrwx 1 root root 33 Feb 10 11:26 /etc/localtime -> /usr/share/zoneinfo/Asia/Shanghai
[root@master231 ~]#
[root@master231 ~]# date -R
Mon, 10 Feb 2025 11:26:38 +0800
[root@master231 ~]#
基于kubeadm组件初始化K8S的master组件
- 1.提前导入镜像
[root@master231 ~]# docker load -i k8s-master-1.23.17.tar.gz
[root@master231 ~]# docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
registry.aliyuncs.com/google_containers/kube-apiserver v1.23.17 62bc5d8258d6 23 months ago 130MB
registry.aliyuncs.com/google_containers/kube-controller-manager v1.23.17 1dab4fc7b6e0 23 months ago 120MB
registry.aliyuncs.com/google_containers/kube-scheduler v1.23.17 bc6794cb54ac 23 months ago 51.9MB
registry.aliyuncs.com/google_containers/kube-proxy v1.23.17 f21c8d21558c 23 months ago 111MB
registry.aliyuncs.com/google_containers/etcd 3.5.6-0 fce326961ae2 2 years ago 299MB
registry.aliyuncs.com/google_containers/coredns v1.8.6 a4ca41631cc7 3 years ago 46.8MB
registry.aliyuncs.com/google_containers/pause 3.6 6270bb605e12 3 years ago 683kB
[root@master231 ~]#
- 2.使用kubeadm初始化master节点
[root@master231 ~]# kubeadm init --kubernetes-version=v1.23.17 --image-repository registry.aliyuncs.com/google_containers --pod-network-cidr=10.100.0.0/16 --service-cidr=10.200.0.0/16 --service-dns-domain=oldboyedu.com
…Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
Alternatively, if you are the root user, you can run:
export KUBECONFIG=/etc/kubernetes/admin.conf
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
注意:下面这行每个人都不一样,需要记下来,下面会用到
kubeadm join 10.0.0.231:6443 --token iyxe7l.1e4w3v20m4j8kftm \
--discovery-token-ca-cert-hash sha256:73424adfec64e4453b8ce5c32f1e80658096a0236f92745c5e17723bdbd87581
相关参数说明:
–kubernetes-version:
指定K8S master组件的版本号。
--image-repository:
指定下载k8s master组件的镜像仓库地址。
--pod-network-cidr:
指定Pod的网段地址。
--service-cidr:
指定SVC的网段
--service-dns-domain:
指定service的域名。若不指定,默认为"cluster.local"。
使用kubeadm初始化集群时,可能会出现如下的输出信息:
[init]
使用初始化的K8S版本。
[preflight]
主要是做安装K8S集群的前置工作,比如下载镜像,这个时间取决于你的网速。
[certs]
生成证书文件,默认存储在”/etc/kubernetes/pki”目录哟。
[kubeconfig]
生成K8S集群的默认配置文件,默认存储在”/etc/kubernetes”目录哟。
[kubelet-start]
启动kubelet, 环境变量默认写入:”/var/lib/kubelet/kubeadm-flags.env” 配置文件默认写入:”/var/lib/kubelet/config.yaml”
[control-plane]
使用静态的目录,默认的资源清单存放在:”/etc/kubernetes/manifests”。 此过程会创建静态Pod,包括”kube-apiserver”,”kube-controller-manager”和”kube-scheduler”
[etcd]
创建etcd的静态Pod,默认的资源清单存放在:””/etc/kubernetes/manifests”
[wait-control-plane]
等待kubelet从资源清单目录”/etc/kubernetes/manifests”启动静态Pod。
[apiclient]
等待所有的master组件正常运行。
[upload-config]
创建名为”kubeadm-config”的ConfigMap在”kube-system”名称空间中。
[kubelet]
创建名为”kubelet-config-1.22″的ConfigMap在”kube-system”名称空间中,其中包含集群中kubelet的配置
[upload-certs]
跳过此节点,详情请参考”–upload-certs”
[mark-control-plane]
标记控制面板,包括打标签和污点,目的是为了标记master节点。
[bootstrap-token]
创建token口令,例如:”kbkgsa.fc97518diw8bdqid”。 如下图所示,这个口令将来在加入集群节点时很有用,而且对于RBAC控制也很有用处哟。
[kubelet-finalize]
更新kubelet的证书文件信息
[addons]
添加附加组件,例如:”CoreDNS”和”kube-proxy”
- 3.拷贝授权文件,用于管理K8S集群
[root@master231 ~]# mkdir -p $HOME/.kube
[root@master231 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master231 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
- 4.查看master组件是否正常工作
[root@master231 ~]# kubectl get componentstatuses
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME STATUS MESSAGE ERROR
controller-manager Healthy ok
etcd-0 Healthy {"health":"true","reason":""}
scheduler Healthy ok
[root@master231 ~]#
[root@master231 ~]#
[root@master231 ~]# kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME STATUS MESSAGE ERROR
scheduler Healthy ok
controller-manager Healthy ok
etcd-0 Healthy {"health":"true","reason":""}
[root@master231 ~]#
- 5.查看工作节点
root@master231 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master231 NotReady control-plane,master 3m13s v1.23.17
[root@master231 ~]#
[root@master231 ~]# kubectl get no
NAME STATUS ROLES AGE VERSION
master231 NotReady control-plane,master 3m15s v1.23.17
[root@master231 ~]#
[root@master231 ~]# kubectl get no -o wide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
master231 NotReady control-plane,master 3m23s v1.23.17 10.0.0.231 Ubuntu 22.04.4 LTS 5.15.0-119-generic docker://20.10.24
[root@master231 ~]#
- 6.master初始化不成功解决问题的方法
可能存在的原因:
- 由于没有禁用swap分区导致无法完成初始化;
- 每个2core以上的CPU导致无法完成初始化;
- 没有手动导入镜像;
解决方案:
free -h
lscpu
- 1.检查上面的是否有上面的情况
- 2.重置当前节点环境
- 3.再次尝试初始化master节点
[root@master231 ~]# kubeadm reset -f
基于kubeadm部署worker组件
- 1.提前导入镜像
[root@worker232 ~]# docker load -i k8s-slave-1.23.17.tar.gz
[root@worker232 ~]# docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
registry.aliyuncs.com/google_containers/kube-proxy v1.23.17 f21c8d21558c 2 years ago 111MB
registry.aliyuncs.com/google_containers/coredns v1.8.6 a4ca41631cc7 3 years ago 46.8MB
registry.aliyuncs.com/google_containers/pause 3.6 6270bb605e12 3 years ago 683kB
[root@worker232 ~]#
[root@worker233 ~]# docker load -i k8s-slave-1.23.17.tar.gz
[root@worker233 ~]# docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
registry.aliyuncs.com/google_containers/kube-proxy v1.23.17 f21c8d21558c 2 years ago 111MB
registry.aliyuncs.com/google_containers/coredns v1.8.6 a4ca41631cc7 3 years ago 46.8MB
registry.aliyuncs.com/google_containers/pause 3.6 6270bb605e12 3 years ago 683kB
[root@worker233 ~]#
- 2.将worker节点加入到master集群(注意,不要复制我的,而是根据你上一步master生成的token加入集群)
[root@worker232 ~]# kubeadm join 10.0.0.231:6443 --token iyxe7l.1e4w3v20m4j8kftm \
--discovery-token-ca-cert-hash sha256:73424adfec64e4453b8ce5c32f1e80658096a0236f92745c5e17723bdbd87581
[root@worker233 ~]# kubeadm join 10.0.0.231:6443 --token iyxe7l.1e4w3v20m4j8kftm \
--discovery-token-ca-cert-hash sha256:73424adfec64e4453b8ce5c32f1e80658096a0236f92745c5e17723bdbd87581
- 3.验证worker节点是否加入成功
[root@master231 ~]# kubectl get no
NAME STATUS ROLES AGE VERSION
master231 NotReady control-plane,master 9m57s v1.23.17
worker232 NotReady 93s v1.23.17
worker233 NotReady 55s v1.23.17
[root@master231 ~]#
[root@master231 ~]# kubectl get no -o wide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
master231 NotReady control-plane,master 9m59s v1.23.17 10.0.0.231 Ubuntu 22.04.4 LTS 5.15.0-119-generic docker://20.10.24
worker232 NotReady 95s v1.23.17 10.0.0.232 Ubuntu 22.04.4 LTS 5.15.0-119-generic docker://20.10.24
worker233 NotReady 57s v1.23.17 10.0.0.233 Ubuntu 22.04.4 LTS 5.15.0-119-generic docker://20.10.24
[root@master231 ~]#
部署CNI插件之Calico实战
- 1.导入镜像三台都要做,下载calico镜像包并导入
- 2.下载资源清单
kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.25.2/manifests/tigera-operator.yaml
- 3.修改pod网段的配置
wget https://raw.githubusercontent.com/projectcalico/calico/v3.25.2/manifests/custom-resources.yaml
[root@master231 ~]# grep cidr custom-resources.yaml
cidr: 192.168.0.0/16
[root@master231 ~]#
[root@master231 ~]# sed -i '/cidr/s#192.168#10.100#' custom-resources.yaml
[root@master231 ~]#
[root@master231 ~]# grep cidr custom-resources.yaml
cidr: 10.100.0.0/16
[root@master231 ~]#
- 4.应用配置
[root@master231 ~]# kubectl apply -f custom-resources.yaml
installation.operator.tigera.io/default created
apiserver.operator.tigera.io/default created
[root@master231 ~]#
- 5.验证集群网络是否正常
[root@master231 ~]# kubectl get pods -A
NAMESPACE NAME READY STATUS RESTARTS AGE
calico-apiserver calico-apiserver-64b779ff45-4nzng 1/1 Running 0 7m3s
calico-apiserver calico-apiserver-64b779ff45-957vg 1/1 Running 0 7m3s
calico-system calico-kube-controllers-76d5c7cfc-89z7j 1/1 Running 0 10m
calico-system calico-node-4cvnj 1/1 Running 0 10m
calico-system calico-node-d4554 1/1 Running 0 10m
calico-system calico-node-qbxmn 1/1 Running 0 10m
calico-system calico-typha-595f8c6fcb-9pm4b 1/1 Running 0 10m
calico-system calico-typha-595f8c6fcb-bhdw6 1/1 Running 0 10m
calico-system csi-node-driver-7z4hj 2/2 Running 0 10m
calico-system csi-node-driver-8vj74 2/2 Running 0 10m
calico-system csi-node-driver-m66z9 2/2 Running 0 10m
kube-system coredns-6d8c4cb4d-bknzr 1/1 Running 0 52m
kube-system coredns-6d8c4cb4d-cvp9w 1/1 Running 0 52m
kube-system etcd-master231 1/1 Running 0 52m
kube-system kube-apiserver-master231 1/1 Running 0 52m
kube-system kube-controller-manager-master231 1/1 Running 0 52m
kube-system kube-proxy-6jt4j 1/1 Running 0 43m
kube-system kube-proxy-q5prf 1/1 Running 0 52m
kube-system kube-proxy-vwdqx 1/1 Running 0 43m
kube-system kube-scheduler-master231 1/1 Running 0 52m
tigera-operator tigera-operator-8d497bb9f-bq8gw 1/1 Running 0 16m
[root@master231 ~]#
[root@master231 ~]#
[root@master231 ~]# kubectl get node -o wide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
master231 Ready control-plane,master 53m v1.23.17 10.0.0.231 Ubuntu 22.04.4 LTS 5.15.0-119-generic docker://20.10.24
worker232 Ready 44m v1.23.17 10.0.0.232 Ubuntu 22.04.4 LTS 5.15.0-119-generic docker://20.10.24
worker233 Ready 43m v1.23.17 10.0.0.233 Ubuntu 22.04.4 LTS 5.15.0-119-generic docker://20.10.24
[root@master231 ~]#
扩展:
kubectl工具实现自动补全功能
- 1.添加环境变量
[root@master231 ~]# kubectl completion bash > ~/.kube/completion.bash.inc
[root@master231 ~]#
[root@master231 ~]# echo source '$HOME/.kube/completion.bash.inc' >> ~/.bashrc
[root@master231 ~]#
[root@master231 ~]# source ~/.bashrc
[root@master231 ~]#
- 2.验证自动补全功能
[root@master231 ~]# kubectl # 连续按2次tab键测试能否出现命令
alpha auth cordon diff get patch run version
annotate autoscale cp drain help plugin scale wait
api-resources certificate create edit kustomize port-forward set
api-versions cluster-info debug exec label proxy taint
apply completion delete explain logs replace top
attach config describe expose options rollout uncordon
[root@master231 ~]#
至此k8s-1.23-部署完毕!