使用 k3s 在 Raspberry Pi 4 上构建低成本 Kubernetes 集群

ksd · 2023 年12 月 7 日 07:48

你是否对 Kubernetes 感到好奇并且想要尝试一些实验？或许你手头有一些闲置的 Raspberry Pi 4，想要充分利用它们？如果是的话，你可真是幸运！在这篇文章中，我将向你展示如何借助 Raspberry Pi 4 和 k3s，构建一个简单且轻量级的 Kubernetes 集群。这种经济实惠且易于上手的方法，让你能够探索 Kubernetes 的世界，同时不会造成过多负担。一起开始这个有趣的探索吧！

硬件

3 x 树莓派 4 Model B 4GB
2 x Kingston CANVAS Select Plus SD 卡 32GB
52pi 机架式塔式集群机箱
1 x Kingston A400 固态硬盘（240GB）
TP-Link TLSG108 8 口千兆台式交换机（你也可以使用 4 口交换机）

安装操作系统

我使用了 Raspberry Pi Imager 将树莓派操作系统（32 位）安装到了 SD 卡上。在设置过程中（如下面的第 4 步所述），将会提示配置主机名、用户名等设置。

从 USB SSD 启动 Raspberry Pi 4

我承认，在树莓派 Kubernetes 集群的设置过程中，有一个步骤确实让我感到相当困惑。我尝试让 master 节点使用固态硬盘来运行，但遇到了一些令人头疼的问题。我在网上搜索了几个小时，希望找到解决方法。幸运的是，我最终偶然发现了一篇博文，它为我提供了宝贵的见解，解决了我困扰已久的问题。有了这些新获得的知识，我终于成功地让 master 节点通过固态硬盘启动起来。这真是让我感到欣慰！

网络设置

为了将你的树莓派设备连接到互联网，你需要通过以太网将它们连接到交换机。一旦连接好，你可以从路由器的配置页面轻松地确定分配给你的树莓派的 IP 地址。

如果你已经使用 Raspberry Pi Imager 设置了树莓派的主机名，那么识别它们的 IP 地址将会非常容易。在我的环境中，我正在使用诺基亚 Wifi Beacon 1 路由器，以下是我用来验证树莓派 IP 地址的步骤。

在检查节点的 IP 地址时，你可能会注意到具有不同 IP 地址的重复详细信息，一个是用于无线连接，另一个是用于以太网。识别以太网 IP 地址非常重要，因为与无线相比，它提供了更稳定和可靠的连接。要找到以太网 IP 地址，请检查你的路由器配置页面，并选择标有 “Ethernet” 的选项。

准备节点

在确定了节点的 IP 地址后，你可以通过 ssh 连接到它们的 IP 地址。

以下是设置的基本内容：

在 /etc/hosts 中添加节点的主机名
检查 k3s 所需的端口

a. 在 /etc/hosts 中添加节点的主机名

为了在笔记本电脑的终端和每个节点中使用主机名访问你的节点，你需要分别配置 /etc/hosts。这个步骤对于所有三个节点都是相同的，所以你需要为每个节点重复这个过程。一旦配置完成，你可以通过主机名轻松访问每个节点，简化管理过程并且更容易连接到你的节点。

vi /etc/hosts
## Raspberry Cluster Nodes
192.168.18.35 k3s-master
192.168.18.52 worker01
192.168.18.53 worker02

完成后，你应该能够使用节点的主机名连接到它们：

GLP/~ $ ssh iamroot@k3s-master
iamroot@k3s-master's password:
Linux k3s-master 5.15.84-v7l+ #1613 SMP Thu Jan 5 12:01:26 GMT 2023 armv7l

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Sun Apr 23 06:44:04 2023 from 192.168.18.8
iamroot@k3s-master:~ $

b. 检查 k3s 所需的端口

验证是否允许端口 10250。如果没有被允许，请继续下一步操作：

iamroot@k3s-master:~ $ netstat -anlp | grep 10250

要允许来自 master 节点的端口 10250，具体所需的命令将根据你的操作系统而异。DigitalOcean 有一份指南，提供了有关在 Linux 上打开端口的详细说明，你可以作为参考。通过允许端口 10250，你将能够在安装 K3s 时与 master 节点建立安全连接，以供 metrics server 使用。

iamroot@k3s-master:~ $ sudo su -
root@k3s-master:~# iptables -A INPUT -p tcp --dport 10250 -j ACCEPT

验证，请运行：

iptables --list | grep 10250

安装 K3s

有关 K3s 架构的更多详细信息，请参阅 Architecture | K3s

在 master 节点上安装 k3s

首先，我们需要在 master 节点上安装 K3s。在安装过程中，有时你可能会看到一个错误消息，内容如下：

[INFO] Failed to find memory cgroup, you may need to add “cgroup_memory=1 cgroup_enable=memory” to your linux cmdline (/boot/cmdline.txt on a Raspberry Pi)

要解决这个错误，请编辑 /boot/cmdline.txt，并添加 cgroup_memory=1 cgroup_enable=memory：

vi /boot/cmdline.txt

console=serial0,115200 console=tty1 root=PARTUUID=71c3dce0–02 rootfstype=ext4 fsck.repair=yes rootwait quiet splash plymouth.ignore-serial-consoles cgroup_memory=1 cgroup_enable=memory

修复了错误后，你就可以继续安装并创建你的 Kubernetes 集群：

curl -sfL https://get.k3s.io | sh -

以下是命令的示例输出：

iamroot@k3s-master:~ $ curl -sfL https://get.k3s.io | sh -
[INFO]  Finding release for channel stable
[INFO]  Using v1.26.3+k3s1 as release
[INFO]  Downloading hash https://github.com/k3s-io/k3s/releases/download/v1.26.3+k3s1/sha256sum-arm.txt
[INFO]  Skipping binary downloaded, installed k3s matches hash
[INFO]  Finding available k3s-selinux versions
sh: 407: [: unexpected operator
[INFO]  Skipping /usr/local/bin/kubectl symlink to k3s, already exists
[INFO]  Skipping /usr/local/bin/crictl symlink to k3s, already exists
[INFO]  Skipping /usr/local/bin/ctr symlink to k3s, already exists
[INFO]  Creating killall script /usr/local/bin/k3s-killall.sh
[INFO]  Creating uninstall script /usr/local/bin/k3s-uninstall.sh
[INFO]  env: Creating environment file /etc/systemd/system/k3s.service.env
[INFO]  systemd: Creating service file /etc/systemd/system/k3s.service
[INFO]  systemd: Enabling k3s unit
Created symlink /etc/systemd/system/multi-user.target.wants/k3s.service → /etc/systemd/system/k3s.service.
[INFO]  No change detected so skipping service start

为了确认你的 Kubernetes 安装正常工作并且 master 节点可用，你可以运行命令 sudo kubectl get nodes 来执行一个简单的验证测试：

iamroot@k3s-master:~ $ sudo kubectl get nodes
NAME         STATUS   ROLES                  AGE    VERSION
k3s-master   Ready    control-plane,master   7d5h   v1.26.3+k3s1

在 worker 节点上安装 k3s agent

与 master 节点类似，你还需要确保对每个 worker 节点的 /boot/cmdline.txt 文件进行编辑，将 cgroup_memory=1 cgroup_enable=memory 添加到行末。

在其他树莓派上安装 k3s worker 节点之前，你需要从 master 节点获取 IP 地址和访问 token 。为此，只需通过 SSH 登录到 master 节点，并运行以下命令：

获取 master 节点 IP 地址：

iamroot@k3s-master:~ $ hostname -I | awk '{print$1}'
192.168.18.35

获取访问 token：

iamroot@k3s-master:~ $ sudo cat /var/lib/rancher/k3s/server/node-token
K10910a9f606e89da8a95e3e37ab9faf160a3eeca46229dd82fb902c3984bec8e1b::server:e658625eecb60de3f383ca0a75df3e24

SSH 进入每个 worker 节点并执行所需的命令：

使用从 master 节点获取的 IP 和节点 token。运行命令：curl -sfl https://get.k3s.io |K3S_URL=https://<Master IP>:6443 K3S_TOKEN=<Node Token>

## 替换节点 IP 和 token 用于以下命令：

iamroot@worker01:~ $ curl -sfL https://get.k3s.io | K3S_URL=https://192.168.18.35:6443 K3S_TOKEN=K10910a9f606e89da8a95e3e37ab9faf160a3eeca46229dd82fb902c3984bec8e1b::server:e658625eecb60de3f383ca0a75df3e24 sh -
[INFO]  Finding release for channel stable
[INFO]  Using v1.26.3+k3s1 as release
[INFO]  Downloading hash https://github.com/k3s-io/k3s/releases/download/v1.26.3+k3s1/sha256sum-arm.txt
[INFO]  Skipping binary downloaded, installed k3s matches hash
[INFO]  Finding available k3s-selinux versions
sh: 407: [: unexpected operator
[INFO]  Skipping /usr/local/bin/kubectl symlink to k3s, already exists
[INFO]  Skipping /usr/local/bin/crictl symlink to k3s, already exists
[INFO]  Skipping /usr/local/bin/ctr symlink to k3s, already exists
[INFO]  Creating killall script /usr/local/bin/k3s-killall.sh
[INFO]  Creating uninstall script /usr/local/bin/k3s-agent-uninstall.sh
[INFO]  env: Creating environment file /etc/systemd/system/k3s-agent.service.env
[INFO]  systemd: Creating service file /etc/systemd/system/k3s-agent.service
[INFO]  systemd: Enabling k3s-agent unit
Created symlink /etc/systemd/system/multi-user.target.wants/k3s-agent.service → /etc/systemd/system/k3s-agent.service.
[INFO]  systemd: Starting k3s-agent

在你的 worker 节点上安装了 k3s agent 后，你可以验证它们是否已成功添加到集群并处于 Ready 状态。要做到这一点，请登录到你的 master 节点并运行以下命令：

iamroot@k3s-master:~ $ sudo kubectl get nodes
NAME         STATUS   ROLES                  AGE    VERSION
k3s-master   Ready    control-plane,master   7d5h   v1.26.3+k3s1
worker02     Ready    <none>                 7d5h   v1.26.3+k3s1
worker01     Ready    <none>                 7d5h   v1.26.3+k3s1

从你的笔记本电脑管理集群

a. 安装 kubectl

根据你笔记本电脑的操作系统，你可以查阅官方文档了解如何安装 kubectl。

b. 在你的笔记本电脑上设置 kubeconfig

要从 master 节点检索 kubeconfig 文件，请在 master 节点上执行以下命令：

iamroot@k3s-master:~ $ sudo cat /etc/rancher/k3s/k3s.yaml

apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: LS0tLS1..
    server: https://<Master Nodes-IP>:6443
  name: default
contexts:
- context:
    cluster: default
    user: default
  name: k3s
current-context: default
kind: Config
preferences: {}
users:
- name: default
  user:
    client-certificate-data: LS0tLS1CRUd..
    client-key-data: LS0tLS1C...

要在本地机器上使用 kubeconfig 文件，请将文件的内容复制到本地机器上的一个新文件中，并将其保存为 ~/.kube/config。

在使用配置文件之前，你需要更新 cluster 部分中的 server 字段，使其与你的 master 节点的 IP 地址匹配。将默认的服务器 IP 地址 127.0.0.1 替换为你的 master 节点的 IP 地址。另外，将上下文从 default 重命名为 k3s。

一旦你更新了配置文件，你可以通过在本地终端中执行 kubectl 命令来测试连接，使用刚刚创建的 k3s 上下文。例如，你可以运行：

GLP/~ $ kubectl config use-context k3s
Switched to context "k3s".
GLP/~ $ kubectl get nodes
NAME         STATUS   ROLES                  AGE    VERSION
k3s-master   Ready    control-plane,master   7d6h   v1.26.3+k3s1
worker02     Ready    <none>                 7d6h   v1.26.3+k3s1
worker01     Ready    <none>                 7d6h   v1.26.3+k3s1

总结

我们已成功地建立了一个由一个 master 节点和两个 worker 节点组成的三节点集群，通过安装 k3s 并在我们的笔记本电脑上配置 kubeconfig 来访问该集群。

虽然这篇文章已经涵盖了集群的初始设置阶段，但请继续关注未来的项目，因为它们将展示此集群更多高级的用例。我有几个令人兴奋的项目计划，将充分发挥 Kubernetes 的强大和灵活性。敬请期待！