MIX Fold3包裝盒泄露 新機(jī)本月登場(chǎng)
小米的全新折疊屏旗艦MIX Fold3將于本月發(fā)布，近日該機(jī)的真機(jī)包裝盒在網(wǎng)上泄露。從圖上來(lái)看，新的MIX Fold3包裝盒在外觀設(shè)計(jì)方面延續(xù)了之前的方案，變化不大，這也是目前小米旗艦
G行全棧云容器大規(guī)模運(yùn)行在信創(chuàng)服務(wù)器的虛擬機(jī)里，發(fā)現(xiàn)如跨NUMA訪問(wèn)CPU可能導(dǎo)致性能不均衡、容器網(wǎng)絡(luò)和IaaS SDN耦合、虛擬層本身資源消耗等諸多問(wèn)題。為解決這些問(wèn)題，G行探索將容器運(yùn)行在裸金屬服務(wù)器上，推出裸金屬容器平臺(tái)方案，使用純?nèi)龑泳W(wǎng)絡(luò)設(shè)計(jì)，其中東西向網(wǎng)絡(luò)流量使用開(kāi)源Calico容器組件，南北向網(wǎng)絡(luò)流量使用自研ELB。本文主要介紹Calico BGP相關(guān)技術(shù)原理、實(shí)踐和思考。
BGP（Border Gateway Protocol，邊界網(wǎng)關(guān)協(xié)議）為取代外部網(wǎng)關(guān)協(xié)議（EGP）協(xié)議而創(chuàng)建，屬于經(jīng)典網(wǎng)絡(luò)路由協(xié)議。BGP相關(guān)的開(kāi)源項(xiàng)目有bird、goBGP 等，開(kāi)源軟件運(yùn)行在云平臺(tái)的宿主主機(jī)上，使主機(jī)與網(wǎng)絡(luò)設(shè)備交換路由信息，實(shí)現(xiàn)云上網(wǎng)絡(luò)和云下網(wǎng)絡(luò)的通信。
關(guān)鍵概念：
圖一 網(wǎng)絡(luò)架構(gòu)
在典型Spine-Leaf架構(gòu)下，Spine與Leaf之間運(yùn)行EBGP協(xié)議，Leaf與裸金屬服務(wù)器之間運(yùn)行IBGP協(xié)議。
Calico是基于CNI實(shí)現(xiàn)的純?nèi)龑泳W(wǎng)絡(luò)開(kāi)源項(xiàng)目，首個(gè)版本在2015年發(fā)布，截止當(dāng)前版本為Calico 3.26.1。該項(xiàng)目已被業(yè)界廣泛接受，并擁有許多大規(guī)模的實(shí)際案例。
圖二 Calico架構(gòu)示意圖
Felix負(fù)責(zé)管理容器網(wǎng)絡(luò)，配置容器IP地址、路由、iptables、安全策略等功能。在每個(gè)Worker節(jié)點(diǎn)運(yùn)行代理程序，負(fù)責(zé)與容器管理平面通信，獲取并配置網(wǎng)絡(luò)和安全策略。
監(jiān)控Calico相關(guān)數(shù)據(jù)（BGP配置、IPAM配置等），動(dòng)態(tài)生成Bird配置文件，并使Brid重新加載配置文件。
發(fā)布路由：從Felix獲取路由，并把路由分發(fā)給BGP鄰居，外部流量通過(guò)該路由找到POD所在Worker節(jié)點(diǎn)。
路由反射 (Route Reflector): 收到IBGP鄰居發(fā)布的BGP路由，并反射路由給其他IBGP鄰居。
路由過(guò)濾:物理網(wǎng)絡(luò)設(shè)備的所有路由表項(xiàng)會(huì)同步到本機(jī)，配置路由過(guò)濾，可以大量減少本機(jī)的路由條目。
Flex通過(guò)Tyhpa直接跟Etcd交互，不再經(jīng)過(guò)容器管理平面，在百節(jié)點(diǎn)以上的規(guī)模，能夠有效降低對(duì)容器管理平面的訪問(wèn)壓力。
Calico默認(rèn)網(wǎng)絡(luò)架構(gòu)，IPIP可理解為IPinIP，屬于overlay的網(wǎng)絡(luò)架構(gòu)。不依賴于外部交換機(jī)設(shè)備，即可實(shí)現(xiàn)網(wǎng)絡(luò)組網(wǎng)。缺點(diǎn)是報(bào)文的封裝和解封裝對(duì)網(wǎng)絡(luò)效率有影響，節(jié)點(diǎn)規(guī)模有限制。
Calico最佳實(shí)踐推薦該模式，計(jì)算節(jié)點(diǎn)與網(wǎng)絡(luò)設(shè)備建立BGP鄰居，并對(duì)外宣告POD的路由信息，網(wǎng)絡(luò)設(shè)備學(xué)習(xí)到路由信息后，外部用戶就可通過(guò)路由直接訪問(wèn)POD的地址，期間不涉及到報(bào)文的封裝，網(wǎng)絡(luò)效率非常高。在合理的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)下，節(jié)點(diǎn)規(guī)模靈活擴(kuò)展且不影響網(wǎng)絡(luò)效率。缺點(diǎn)是一般硬件網(wǎng)絡(luò)設(shè)備和云平臺(tái)的計(jì)算節(jié)點(diǎn)是由不同團(tuán)隊(duì)管理，遇到網(wǎng)絡(luò)故障時(shí)需聯(lián)合處置。
?Calico通過(guò)IPPool進(jìn)行IPAM管理，IPPool定義了地址池名字、地址段、blockSize等字段。IPPool的配置樣例如下：
apiVersion：crd.projectcalico.org/v1kind: IPPoolmetadata: name: ippool-test-0spec: blockSize: 32 cidr: 1.1.1.0/24 ipipMode: Never natOutgoing: false nodeSelector: “!all()” vxlanMode: NevernodeSelector: 該字段與Kubernetes節(jié)點(diǎn)的Label進(jìn)行映射。默認(rèn)為all(),表示所有節(jié)點(diǎn)均可使用。設(shè)置為!all()，表示所有node均不可自動(dòng)使用，可通過(guò)設(shè)置命名空間或者POD的注解，實(shí)現(xiàn)IPPool的綁定。
block/blockSzie: block主要功能是路由聚合，減少對(duì)外宣告路由條目。block在POD所在節(jié)點(diǎn)自動(dòng)創(chuàng)建，如在worker01節(jié)點(diǎn)創(chuàng)建1.1.1.1的POD時(shí)，blocksize為29，則該節(jié)點(diǎn)自動(dòng)創(chuàng)建1.1.1.0/29的block，對(duì)外宣告1.1.1.0/29的BGP路由，并且節(jié)點(diǎn)下發(fā)1.1.1.0/29的黑洞路由和1.1.1.1/32的明細(xì)路由。在IBGP模式下，黑洞路由可避免環(huán)路。如果blockSize設(shè)置為32，則不下發(fā)黑洞路由也不會(huì)造成環(huán)路，缺點(diǎn)是路由沒(méi)有聚合，路由表項(xiàng)會(huì)比較多，需要考慮交換機(jī)路由器的容量。
Calico創(chuàng)建block時(shí)，會(huì)出現(xiàn)借用IP的情況。如在 worker01節(jié)點(diǎn)存在1.1.1.0/29的block，由于worker01節(jié)點(diǎn)負(fù)載很高，地址為1.1.1.2的POD被調(diào)度到worker02節(jié)點(diǎn)，這種現(xiàn)象為IP借用。woker02節(jié)點(diǎn)會(huì)對(duì)外宣告1.1.1.2/32的明細(xì)路由，在IBGP模式下，交換機(jī)需要開(kāi)啟RR模式，將路由反射給worker01上，否則在不同worker節(jié)點(diǎn)的同一個(gè)block的POD，由于黑洞路由的存在，導(dǎo)致POD之間網(wǎng)絡(luò)不通。可通過(guò)ipamconfigs來(lái)管理是否允許借用IP(strictAffinity)、每個(gè)節(jié)點(diǎn)上最多允許創(chuàng)建block的數(shù)量(maxBlocksPerHost)等。
舉例說(shuō)明，創(chuàng)建1.1.1.0/31的地址池，IPPool配置如下：
root@master1:~# calicoctl get ippool ippool-test-0NAME CIDR SELECTORippool-test-0 1.1.1.0/31 all()使用該地址池，創(chuàng)建一個(gè)名字為nettool的POD，創(chuàng)建完成后，查看workloadendpoint資源信息。可查看得到，POD的IP地址為1.1.1.1/32，其網(wǎng)絡(luò)接口對(duì)應(yīng)在worker01節(jié)點(diǎn)的網(wǎng)卡為cali200f7a51a47。
root@master1:~# calicoctl get workloadendpointNAMESPACE WORKLOAD NODE NETWORKS INTERFACEdefault nettool worker01 1.1.1.1/32 cali200f7a51a47進(jìn)入該容器，查看路由和接口信息。可查看得到，容器默認(rèn)路由為169.254.1.1，且均指向eth0。通過(guò)ethtool查看得到，eth0接口的peer_ifindex為532。
root@master1:~# kubectl exec -it nettool shkubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.sh-4.4# ip a1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever2: tunl0@NONE: <NOARP> mtu 1480 qdisc noop state DOWN group default qlen 1000 link/ipip 0.0.0.0 brd 0.0.0.04: eth0@if532: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1480 qdisc noqueue state UP group default link/ether 86:61:23:4e:4e:d0 brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet 1.1.1.1/32 scope global eth0 valid_lft forever preferred_lft foreversh-4.4# ip routedefault via 169.254.1.1 dev eth0169.254.1.1 dev eth0 scope linksh-4.4# ethtool -S eth0NIC statistics: peer_ifindex: 532 rx_queue_0_xdp_packets: 0 rx_queue_0_xdp_bytes: 0 rx_queue_0_xdp_drops: 0登錄worker01節(jié)點(diǎn)，查看index為532的網(wǎng)卡接口，正是該接口cali200f7a51a47。worker01節(jié)點(diǎn)已經(jīng)配置了ARP代理(主機(jī)上網(wǎng)卡不管ARP請(qǐng)求的內(nèi)容，直接將自己的Mac地址作為應(yīng)答的行為稱為ARP Proxy)。Calico把worker01節(jié)點(diǎn)當(dāng)做容器的默認(rèn)網(wǎng)關(guān)使用，所有報(bào)文會(huì)發(fā)送到節(jié)點(diǎn)上，節(jié)點(diǎn)再根據(jù)路由信息進(jìn)行轉(zhuǎn)發(fā)。
root@worker01:~# ip a |grep 532532: cali200f7a51a47@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1480 qdisc noqueue state UP group defaultroot@worker01:~# cat /proc/sys/net/ipv4/conf/cali200f7a51a47/proxy_arp1針對(duì)回程報(bào)文，我們查看節(jié)點(diǎn)的1.1.1.1對(duì)應(yīng)路由，也正是該接口cali200f7a51a47。此時(shí)worker01節(jié)點(diǎn)的收發(fā)報(bào)文通路已經(jīng)明了。
root@worker01:~# route -n |grep cali200f7a51a471.1.1.1 0.0.0.0 255.255.255.255 UH 0 0 0 cali200f7a51a47最后，確認(rèn)下交換機(jī)的路由情況。目的地址為1.1.1.1的下一跳為192.168.1.4，該IP地址是worker01主機(jī)IP。此時(shí)POD就可以跟外部進(jìn)行通信。
Destination/Mask Proto Pre Cost Flags NextHop Interface1.1.1.1/32 IBGP 255 0 RD 192.168.1.4 vlanif100<switch>綜合考慮微隔離、網(wǎng)路可觀測(cè)等技術(shù)儲(chǔ)備已在G行推廣使用，Calico默認(rèn)不開(kāi)啟網(wǎng)絡(luò)安全策略，依靠微隔離做網(wǎng)絡(luò)安全管控。主要考慮BGP和IPAM上設(shè)計(jì)和管理網(wǎng)絡(luò)。
1) 創(chuàng)建BGPconfigurations配置文件，聲明節(jié)點(diǎn)的默認(rèn)AS號(hào)。
root@master1:~# cat bgpconfigurations.yamlapiVersion: crd.projectcalico.org/v1kind: BGPConfigurationmetadata: name: defaultspec: asNumber: 1111111 logSeverityScreen: Info nodeToNodeMeshEnabled: false2) 創(chuàng)建BGPPeer，明確交換機(jī)的AS號(hào)、BGP Peer IP，并將含有rr-group=rr1 的節(jié)點(diǎn)與交換機(jī)建立鄰居。
root@master:~# cat bgppper1.yamlapiVersion: crd.projectcalico.org/v1kind: BGPPeermetadata: name: bgp-peer-1spec: asNumber: 1111111 nodeSelector: rr-group == 'rr1' peerIP: 192.168.1.13) Kubernetes的節(jié)點(diǎn)打rr-group=rr1的標(biāo)簽
root@master1:~# kubectl get node --show-labels |grep rr1 |grep worker01worker01 Ready worker 21d v1.23.15 beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=worker01,kubernetes.io/os=linux,node-role.kubernetes.io/worker=,rr-group=rr14) 交換機(jī)配置
5) 裸金屬Kubernetes節(jié)點(diǎn)查看BGP狀態(tài)，Established意味著B(niǎo)GP鄰居已經(jīng)建立。
root@worker01:~# calicoctl node statusCalico process is running.IPv4 BGP status+--------------+---------------+-------+------------+-------------+| PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO |+--------------+---------------+-------+------------+-------------+| 192.168.1.1 | node specific | up | 2023-08-17 | Established || 192.168.1.2 | node specific | up | 2023-08-17 | Established |+--------------+---------------+-------+------------+-------------+IPv6 BGP statusNo IPv6 peers found.G行云平臺(tái)底座和業(yè)務(wù)的IP分開(kāi)管理，業(yè)務(wù)自行決定POD的親和或反親和，業(yè)務(wù)部署在自己的命名空間，不會(huì)出現(xiàn)多種業(yè)務(wù)在同一個(gè)命名空間部署的情況。
在超過(guò)20個(gè)節(jié)點(diǎn)的容器平臺(tái)，應(yīng)用POD會(huì)頻繁發(fā)生IP地址借用情況，block的路由聚合效率大幅度降低。綜合考慮交換機(jī)性能和容量，地址池的blockSize設(shè)置為32，交換機(jī)不開(kāi)啟RR特性。
為確保IP不會(huì)被其他業(yè)務(wù)使用，設(shè)定所有地址池的nodeSelector為!all()。
root@master1:~# calicoctl get ippool NAME CIDR SELECTORippool-test-0 1.1.1.0/24 !all()ippool-test-1 1.1.2.0/24 !all()ippool-test-2 1.1.3.0/24 !all()ippool-test-3 1.1.4.0/24 !all()在namespace中設(shè)定對(duì)應(yīng)annotation。
apiVersion: v1kind: Namespacemetadata: annotations: cni.projectcalico.org/ipv4pools: '["ippool-test-0"]' name: testCalico監(jiān)控體系從三個(gè)方面進(jìn)行覆蓋。
圖三 Calico監(jiān)控體系
建設(shè)方面：Calico BGP建設(shè)需要多團(tuán)隊(duì)的配合。管理物理網(wǎng)絡(luò)設(shè)備的團(tuán)隊(duì)，需全局規(guī)劃網(wǎng)絡(luò)設(shè)備的BGP信息、AS號(hào)和靜態(tài)路由等，技術(shù)上避免單臺(tái)交換機(jī)宕機(jī)引起路由的震蕩（如一對(duì)Leaf交換機(jī)擁有不同AS號(hào)，會(huì)造成路由震蕩）；管理云平臺(tái)的團(tuán)隊(duì)，需要合理配置iBGP和IPPool，避免發(fā)布非法路由，影響其他網(wǎng)絡(luò)設(shè)備。
運(yùn)維方面：變更管理/故障管理需云和網(wǎng)配合進(jìn)行，明確雙方分工和問(wèn)題界定，緊密協(xié)作。比如管理云平臺(tái)的團(tuán)隊(duì)配置BGP Filter功能，物理網(wǎng)絡(luò)設(shè)備配置BGP Policy，防止對(duì)外發(fā)布非法路由，形成雙保險(xiǎn)。在技術(shù)探索過(guò)程中，引入可觀測(cè)平臺(tái)全鏈路流量和BGP監(jiān)控等工具，最大程度將問(wèn)題邊界描述清晰，并提高運(yùn)維效率。
后續(xù)細(xì)化Calico BGP監(jiān)控指標(biāo)，探索Calico eBPF數(shù)據(jù)面的實(shí)現(xiàn)，弱化iptables對(duì)網(wǎng)絡(luò)的影響。
本文鏈接：http://www.tebozhan.com/showinfo-26-34592-0.html聊聊 Calico BGP容器網(wǎng)絡(luò)實(shí)踐
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)