原问题：字节跳动开源 kube-apiserver 高可用妄想 KubeGateway
本文整理自 2022 年稀土开拓者大会，字节字节跳动云原生工程师章骏分享了 Kubernetes 集群 kube-apiserver 恳求的跳动负载失调以及规画妄想 KubeGateway。
KubeGateway 是开源字节跳动针对于 kube-apiserver 流量特色特意定制的七层网关，它残缺处置了 kube-apiserver 负载不屈衡的字节下场，同时在社区规模内初次实现为了对于 kube-apiserver 恳求的跳动残缺规画，搜罗恳求路由、开源分流、字节限流、跳动降级等，开源清晰后退了 Kubernetes 集群的字节可用性。
名目地址：
https://github.com/kubewharf/kubegateway
背 景
在 Kubernetes 集群中，跳动kube-apiserver 是开源全部集群的进口，任何用户概况挨次对于集群资源的字节增删改查操作都需要经由 kube-apiserver，因此它的跳动高可用性抉择了全部集群的高可用能耐。kube-apiserver 本性上是开源一个有形态的效率器，为了实现其高可用，个别会部署多个 kube-apiserver 实例，同时引入外部负载失调器（如下简称 LB）妨碍流量署理。
当初 kube-apiserver 的客户端运用患上较多的策略是 TLS 双向认证。TLS 双向认证需要 LB 将恳求中的 Client X509 Cert 精确传递给 kube-apiserver，可是传统的七层 LB 无奈做到这一点，在转发历程中会损失 Client X509 Cert，导致 kube-apiserver 无奈认证用户。
因此当初 LB 的选型艰深为 LVS、云厂商的 SLB 或者 nginx、HAProxy 的四层负载失调妄想。
四层负载失调使命在 OSI 的第四层即传输层，运用 NAT 技术妨碍署理转发
七层负载失调使命在 OSI 的第七层即运用层，艰深是基于恳求 URL 地址的方式妨碍署理转发。
可是运用四层 LB 会引起此外的下场，详细如下：
1. 恳求负载不屈衡：由于 kube-apiserver 以及 client 是运用 HTTP2 协议衔接，HTTP2 的多个恳求都市复用底层的统一个 TCP 衔接而且持久不断开。在 kube-apiserver 转动降级概况某个实例重启时，很简略引起迟些启动的 kube-apiserver 在持久内惟独很少的恳求数。极其情景下，负载较高的实例会泛起 OOM，致使引起雪崩。
2. 缺少恳求规画的锐敏性：4 层负载失调在传输层使命，它只负责新闻的传递，可是无奈处置运用层的 HTTP 协议的信息，因此相较于 7 层负载缺少对于恳求规画的“锐敏性”以及 “智能性”。好比无奈凭证恳求的内容（好比 verb、url 等字段）拟订锐敏的负载失调以及路由策略，也无奈在网关层对于恳求级别妨碍限流降级等处置。
社区中有一些相关使命试图处置上述下场，但均不根治下场：
随着云原生技术的睁开，当初字节跳动 95% 以上的营业跑在 Kubernetes 上，对于集群高可用提出了更高的要求。事实上，在破费情景中，咱们也曾经碰着过多次由于 kube-apiserver 负载不屈衡概况缺少恳求规画能耐带来的事变，面临以上下场，咱们针对于 kube-apiserver 的流量特色自研了七层网关 KubeGateway。
架构妄想
KubeGateway 作为七层网关接入以及转发 kube-apiserver 的恳求，它具备如下特色：
对于客户端残缺透明，客户端无需任何刷新即可能接入 KubeGateway； 反对于同时期理多个 K8s 集群的恳求，差距 K8s 集群经由差距的域名概况伪造地址（vip）妨碍分说。 负载失调从 TCP 衔接级别酿成 HTTP 恳求级别，进而实现快捷、实用的妨碍负载失调，残缺处置 kube-apiserver 负载不屈衡的下场。 高扩展性的负载失调策略，当初反对于 Round Robin、Random 策略，负载失调策略插件化，易于扩展。 反对于锐敏的路由策略，KubeGateway 凭证恳求信息，搜罗但不限于 resource/ verb/ user/ namespace/ apigroup 等妨碍路由。为 kube-apiserver 分组提供根基能耐，以低运维老本实现 kube-apiserver 组之间的阻止性，后退集群晃动性。 配置装备部署规画云原生化，以 K8s 的尺度 API 方式规画网关配置装备部署，反对于配置装备部署热更新。 反对于限流、降级、动态效率发现、斯文退出、upstream 颇为检测等网关的通用能耐。KubeGateway 对于外以 K8s 尺度 API 的方式提供署理配置装备部署规画的效率，主要提供路由转发纪律、卑劣集群 kube-apiserver 地址、集群证书信息、限流等恳求规画策略等配置装备部署信息的呵护变更。它署理 kube-apiserver 的恳求的流程如下图所示，主要分为五个步骤：恳求剖析、路由立室、用户认证、流量规画以及反向署理。下面挨次对于这些步骤妨碍详细介绍：
2.1 恳求剖析
KubeGateway 可能深入清晰 kube-apiserver 恳求模子，从中剖析出更多的信息，它将 kube-apiserver 的恳求分为两种规范：
资源恳求，如对于 Pod 的 CRUD（增删改查）。 非资源恳求，如碰头 /healthz 魔难 kube-apiserver 的瘦弱情景，碰头 /metrics 魔难吐露的目的等。对于资源恳求，可能从恳求的 URL 以及 Header 中剖析出如下的内容：最终一个恳求可能剖析出多维度的路由字段，如下图所示，这些字段将作为路由抉择的凭证。
2.2 路由立室
从恳求中剖析出多维度的路由字段后，可能很利便地组合出颇为强盛的路由纪律来分说差距的 API 恳求，好比
经由 Verb 以及 Resource 的散漫，咱们可能直接立室到所有的 list pod 的恳求。 经由 User，UserGroup，ServiceAccount 等，咱们可能立室出 kube-controller-manager，kube-scheduler 等中间操作组件的恳求。将差距的恳求经由路由纪律立室后，咱们能对于它们做更详尽化的分流，限流，熔断等流量操作。
立室纪律可能直接经由更正 KubeGateway 的配置装备部署规画效率对于概况露的 API -- UpstreamCluster 实时失效。
2.3 用户认证
为了可能精确地署理 kube-apiserver 的七层流量，让恳求经由署理后的在 upstream kube-apiserver 能被精确地妨碍认证授权，KubeGateway 需要将恳求中的用户信息透传给 kube-apiserver，这要求 KubeGateway 也能认证出恳求中的用户信息。
KubeGateway 将 kube-apiserver 反对于的认证方式可能分为如下多少类
基于 x509 客户端证书的认证方式：KubeGateway 经由纪律 upstream kube-apiserver 中的 CA 证书，剖析出客户端证书中用户以及用户组信息 基于 Bearer Token 的认证方式：KubeGateway 经由给 upstream kube-apiserver 发送 TokenReview 恳求，要求 upstream kube-apiserver 对于 Bearer Token 妨碍认证，从而患上到对于应的用户信息。2.4 恳求规画
KubeGateway 作为七层网关，有着丰硕的流量规画能耐，详细搜罗：
2.4.1 负载失调
UpstreamCluster 判断后，Upstream Servers 也随之判断。KubeGateway 凭证负载失调策略从 Upstream Servers 中抉择出一个妨碍恳求转发。精采的负载失调策略可能优化资源功能，最大化吞吐量，削减延迟以及容错。
当初 KubeGateway 反对于 Round Robin 以及 Random 负载失调策略，这两种策略重大实用，可能知足大部份场景的需要。此外，KubeGateway 反对于锐敏的负载失调策略扩展，可能快捷实现 Least Request 等算法，以知足更多场景的需要。
2.4.2 瘦弱监测
KubeGateway 会定期自动地碰头 kube-apiserver 的 /healthz 接口妨碍瘦弱监测。署理流量只会转发给瘦弱的 kube-apiserver；而不瘦弱的 kube-apiserver 会被临时屏障，当它被复原瘦弱后才会重新有新的流量
2.4.3 限流
KubeGateway 默认提供限流的能耐，可能实用地防止 upstream kube-apiserver 在某些情景下过载。它的限流妄想比照于 Kubernetes 自己的 APF（API Priority and Fairness）更易清晰以及配置装备部署。恳求经由恳求剖析以及路由立室之后，KubeGateway 会判断这个恳求的限流纪律。
好比咱们想要限度艰深用户 list pod 的 QPS 可是又要对于管控组件（如 controller-manager，scheduler）妨碍宽免，可能在路由立室中分说出两种规范的用户而后为他们径自配置装备部署 FlowControl 限流纪律。
KubeGateway 提供了两种限流策略：
token bucket：令牌桶是罕用的限流方式，它能实用地限度恳求的 QPS 并在确定水平上应承突发的恳求。 max requests inflight：最大恳求数是比令牌桶更严厉的限度方式，它限度在某个光阴可能实施的最大恳求数目，个别用来限度一些愈加耗时的恳求，好比在大集群 list 全量 pods，这种恳求会可能会不断好多少分钟，而且会占用 kube-apiserver 大批的资源，只经由令牌桶的限流会放入过多的恳求而组成 kube-apiserver OOM 等下场。2.4.4 降级
KubeGateway 反对于降级以应答集群管控面颇为的情景。
在 kube-apiserver 概况 ETCD 爆发倾向的时候，可能引起集群的雪崩。在雪崩情景下，部份恳求会返回乐成，部份恳求返回失败，加之客户端不断重试，简略导致集群泛起非预期行动，好比 Node NotReady、 Pod 大批摈除了以及删除了等。
在这种情景下，开拓职员可能经由 KubeGateway 妨碍降级操作拒掉所有流量。在降级形态下集群至关于被解冻了，所有写入都无奈乐成，可能保障存量的 Pod 历程坚持存活形态，防止对于营业组成影响。在集群复原个别后，首先铺开限度应承 Node 上报心跳，而后再复原集群的其余流量。
2.5 反向署理
KubeGateway 在反向署理部份，有如下关键的技术点：
2.5.1 Impersonate（用户饰演）
在经由流量规画后，KubeGateway 会凭证抉择出的 kube-apiserver 妨碍转发。在转发的时候 KubeGateway 经由 impersonate 的机制将用户信息经由 Request Header 传递给 upstream kube-apiserver。在 Request Header 中削减如下信息：
Impersonate-User: Client 用户名
Impersonate-Group: Client 用户组
Impersonate 是 kube-apiserver 对于外提供的一种机制，它应承一个用户饰演成另一个用户实施 API 恳求。在运用这个机制以前，咱们需要在 upstream kube-apiserver 为 KubeGateway 的客户端配置装备部署好 Impersonate 的权限，Impersonate 的恳求详细的流程如下：
kube-apiserver 对于 Impersonate 机制反对于的很美满，审计日志中也兼容了 Impersonate。
最终 KubeGateway 依靠用户认证以及 Impersonate 机制，实现原始用户信息的透传，处置了传统七层 LB 无奈署理 kube-apiserver 恳求的下场。而且在署理历程中，对于客户端是残缺透明的，客户端无需妨碍任何更正即可接入 KubeGateway。
2.5.2 HTTP2 多路复用
KubeGateway 默认运用 HTTP2 协议，基于 HTTP2 协议的多路复用能耐，单条衔接上默认反对于 250 个 Stream，即单个衔接上反对于 250 个并发的恳求，使患上 upstream 单个 kube-apiserver 的 TCP 衔接数可能飞腾两个数目级。
2.5.3 Forward & Exec 类恳求处置
KubeGateway 反对于所有原生 kube-apiserver 恳求的透明署理。由于 Forward 、Exec 等部份恳求需要经由 HTTP 1.1 建树的链接之上运用其余的协议（好比 SPDY、WebSocket 等）来妨碍通讯，KubeGateway 在转发这种恳求时会防止 http2，且反对于 Hijacker 处置。
落地下场
经由压测，KubeGateway 功能优异，经由署理后，恳求延迟削减在 1ms 摆布。当初 KubeGateway 已经滑腻的接管了字节所有的 Kubernetes 集群，总 QPS 20w+。在 KubeGateway 的帮手下，研发团队残缺处置了 kube-apiserver 流量不屈衡的下场，而且极大增强了 kube-apiserver 恳求的规画能耐，搜罗恳求分组、路由、限流、降级等，实用后退了集群的晃动性以及可用性。
同时，咱们在 KubeGateway 斯文降级、多集群动态证书规画、可审核性上也做了良多优化，详细技术细节之后会妨碍更多的介绍，敬请期待。
未来演进
当初，KubeGateway 已经在 GitHub 开源，未来它会在如下多少个方面不断演进：
提供更残缺的 7 层网关能耐，好比玄色名单，缓存等。不断后退可审核性，可能在颇为情景下可能快捷定位到下场，辅助排障。探究基于 KubeGateway 网关实现新型的联邦妄想，经由 KubeGateway 可能将多个 K8s 集群透明地聚分解一个集群。期待有更多同伙关注以及退出 KubeGateway 社区，也招待巨匠在 GitHub 给咱们提出种种建议！
对于咱们
字节根基架构编排调解团队，负责构建字节跳动外部的容器云平台，为产物线提供运行基石；以超大容器集群规模部份反对于了字节内产物线，涵盖今日头条、抖音、西瓜视频等。
团队反对于营业同时拆穿困绕在线、离线机械学习，推选 / 广告 / 搜查等多种运用途景；在不断多年的超高速削减中，积攒了丰硕的 Kubernetes/ 容器超大规模运用履历，旨在打造拆穿困绕多场景，多地域的万万级容器的大平台。招待气息相投的同砚们退出咱们。简历投递 ：lijiazhuo@bytedance.com
解读数字化的2022：再也不谋求大而全的“武备角逐”，用聚焦来后退转型“乐成率”
若何更好地干掉微效率架构重大性？
争相上市、争取外乡市场，未来三五年纪据库将迎来大洗牌 | 解读数据库的2022
推掀开拓方式的立异宣告眼前，我望见了云合计的下一个十年 返回搜狐，魔难更多
责任编纂：
相关文章：