K3s离线安装配置镜像加速时出现问题

のの辉 · 2024 年4 月 16 日 09:27

环境信息:
K3s 版本: v1.29.3+k3s1

节点 CPU 架构、操作系统和版本：:
Linux k8s-master 3.10.0-1160.el7.x86_64 #1 SMP Mon Oct 19 16:18:59 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux

集群配置:
1 servers, 2 agents

问题描述:

通过创建/etc/rancher/k3s/registries.yaml文件的方式配置镜像加速，master节点没有效果，且工作节点的/etc/rancher目录下没有k3s文件夹(不清楚是不是没有安装好，都是跟着网上的教程进行的)。
通过复制config.toml.tmpl文件的方式配置镜像加速，master节点重启服务后状态变为NotReady；工作节点重启服务卡死。

小白开始学习，可能是自己的操作问题，麻烦大佬们指点
日志太多了，不知道放哪些才有用，篇幅太长了所以没有放，拜托大佬们了

复现步骤:

安装 K3s 的命令:

# 关闭防火墙
systemctl disable firewalld --now
# 设置selinux
yum install -y container-selinux selinux-policy-base
yum install -y https://rpm.rancher.io/k3s/latest/common/centos/7/noarch/k3s-selinux-0.2-1.el7_8.noarch.rpm

mv k3s /usr/local/bin
chmod +x /usr/local/bin/k3s

mkdir -p /var/lib/rancher/k3s/agent/images/
cp ./k3s-airgap-images-amd64.tar.gz /var/lib/rancher/k3s/agent/images/

配置master节点

#修改权限
chmod +x install.sh
#离线安装
INSTALL_K3S_SKIP_DOWNLOAD=true ./install.sh
#安装完成后，查看节点状态
kubectl get node
#查看token
cat /var/lib/rancher/k3s/server/node-token

配置工作节点

INSTALL_K3S_SKIP_DOWNLOAD=true \
K3S_URL=https://192.168.92.141:6443 \
K3S_TOKEN=K10ac487d35eda6e15f6611643fb644939d4759d26ea92f72fba9a121427ffd3557::server:4dc7b8e392beada392345ba22f373354 \
./install.sh

预期结果:
所有节点在cat /var/lib/rancher/k3s/agent/etc/containerd/config.toml下均可找到镜像文件

实际结果:

第一种情况

master节点执行后没有效果

工作节点/etc/rancher目录下没有k3s文件

第二种情况

master节点镜像配置成功，但是成NotReady了

工作节点

附加上下文/日志:

日志

のの辉 · 2024 年4 月 16 日 09:29

在网上查了很多方法，都没有找到能够成功复现的，麻烦各位大佬解惑

ksd · 2024 年4 月 17 日 03:30

从你的操作来看，你并没有设置相关镜像加速的步骤啊

ksd · 2024 年4 月 17 日 03:32

worker 节点是没有 /etc/rancher/k3s 这个文件或者目录的，你要找这个文件的目的是？

ksd · 2024 年4 月 17 日 03:36

这个得看对应 worker 节点 k3s 的日志，参考：https://docs.k3s.io/zh/faq#k3s-日志在哪里

のの辉 · 2024 年4 月 17 日 05:30

我看教程是在/etc/rancher/k3s/registries.yaml里添加镜像加速的代码，然后重启服务，就配置成功了

のの辉 · 2024 年4 月 17 日 05:34

第一种情况是在/etc/rancher/k3s/registries.yaml文件里添加代码，然后重启服务
添加的代码

mirrors:
  "docker.io":
    endpoint:
      - "https://c712k9mp.mirror.aliyuncs.com/"

执行以后，master节点并没有什么效果，而worker节点配置不了/etc/rancher/k3s/registries.yaml文件

ksd · 2024 年4 月 17 日 05:36

worker 节点没有目录和文件的话，就自己创建个，然后启动后就会加载了。

至于你说的配置不生效，可参考：Mirrors configured in /etc/rancher/k3s/registries.yaml do not take effect · Issue #9626 · k3s-io/k3s · GitHub

のの辉 · 2024 年4 月 17 日 05:37

第二种情况是网上找的方法

cp /var/lib/rancher/k3s/agent/etc/containerd/config.toml /var/lib/rancher/k3s/agent/etc/containerd/config.toml.tmpl
vi /var/lib/rancher/k3s/agent/etc/containerd/config.toml.tmpl
# 文件内追加的内容
[plugins."io.containerd.grpc.v1.cri".registry.mirrors]
  [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
    endpoint = ["https://c712k9mp.mirror.aliyuncs.com/"]

重启服务后情况就是上面的了，我先试试您下面给的方法，谢谢您的回复