【理解 Cilium 系列文章】(一) 初識 Cilium

Tue, 21 Dec 2021 13:04:38 +0800

【理解 Cilium 系列文章】(一) 初識 Cilium

當前 k8s Service 負載均衡的實現現狀

在 Cilium 出現之前， Service 由 kube-proxy 來實現，實現方式有 userspace ， iptables ， ipvs 三種模式。

Userspace

當前模式下，kube-proxy 作為反向代理,監聽隨機端口，通過 iptables 規則將流量重定向到代理端口，再由 kube-proxy 將流量轉發到後端 pod。Service 的請求會先從用户空間進入內核 iptables，然後再回到用户空間，代價較大，性能較差。

Iptables

存在的問題：

1.可擴展性差。隨着 service 數據達到數千個，其控制面和數據面的性能都會急劇下降。原因在於 iptables 控制面的接口設計中，每添加一條規則，需要遍歷和修改所有的規則，其控制面性能是 O(n²) 。在數據面，規則是用鏈表組織的，其性能是 O(n)

2.LB 調度算法僅支持隨機轉發

Ipvs 模式

IPVS 是專門為 LB 設計的。它用 hash table 管理 service，對 service 的增刪查找都是 O(1)的時間複雜度。不過 IPVS 內核模塊沒有 SNAT 功能，因此借用了 iptables 的 SNAT 功能。

IPVS 針對報文做 DNAT 後，將連接信息保存在 nf_conntrack 中，iptables 據此接力做 SNAT。該模式是目前 Kubernetes 網絡性能最好的選擇。但是由於 nf_conntrack 的複雜性，帶來了很大的性能損耗。騰訊針對該問題做過相應的優化【繞過 conntrack，使用 eBPF 增強 IPVS 優化 K8s 網絡性能】

不使用 kube-proxy 的 Kubernetes

Mon, 20 Dec 2021 17:57:13 +0800

不使用 kube-proxy 的 Kubernetes

快速開始

kubeadm init --skip-phases=addon/kube-proxy

# 設定 Helm 倉庫
helm repo add cilium https://helm.cilium.io/


helm install cilium cilium/cilium --version 1.9.18 \
 --namespace kube-system \
 --set kubeProxyReplacement=strict \
 --set k8sServiceHost=REPLACE_WITH_API_SERVER_IP \
 --set k8sServicePort=REPLACE_WITH_API_SERVER_PORT