信創(chuàng)升級面臨性能短板

信創(chuàng)升級浪潮正席卷各行業(yè)，信創(chuàng)虛擬化、超融合及云平臺被廣泛應(yīng)用于承載核心業(yè)務(wù)。這些核心業(yè)務(wù)對云平臺的性能和穩(wěn)定性要求極高。然而，簡單的信創(chuàng)升級常伴隨著性能下滑和穩(wěn)定性欠佳等問題，極大地影響了改造效果。

以金融行業(yè)高頻訂單處理系統(tǒng)，工業(yè)自動化控制系統(tǒng)，醫(yī)療行業(yè)HIS系統(tǒng)與PACS系統(tǒng)，以及智能交通管理系統(tǒng)為例，這些對搶占調(diào)度要求高的業(yè)務(wù)系統(tǒng)，對云平臺的計算能力、存儲性能和數(shù)據(jù)處理速度的要求不斷攀升。

在主流服務(wù)器采用的NUMA CPU 架構(gòu)下，系統(tǒng)包含多個NUMA節(jié)點(diǎn)，每個節(jié)點(diǎn)又有多個CCX（Core Complex的縮寫，即緩存一致性復(fù)合體）。該架構(gòu)下，如何優(yōu)化CPU調(diào)度，提升虛擬機(jī)性能，成為信創(chuàng)高質(zhì)量升級的關(guān)鍵課題。

本文將以海光CPU架構(gòu)為切入點(diǎn)，深入剖析 CCX 對虛擬機(jī)性能提升的影響機(jī)制，并提出切實(shí)可行的性能提升方案。

海光CPU架構(gòu)關(guān)鍵技術(shù)解析

NUMA架構(gòu)特性：多處理器系統(tǒng)基石

隨著處理器技術(shù)逐漸逼近物理極限，多處理器集成技術(shù)應(yīng)用而生，NUMA 架構(gòu)憑借獨(dú)特的設(shè)計理念，為提升系統(tǒng)性能開辟了新的方向。

NUMA（Non-Uniform Memory Access，非統(tǒng)一內(nèi)存訪問）作為一種多處理器系統(tǒng)架構(gòu)，將內(nèi)存和處理器劃分為多個獨(dú)立節(jié)點(diǎn)。當(dāng)進(jìn)程訪問本地NUMA內(nèi)存時，時延低；而經(jīng)QPI總線訪問遠(yuǎn)端內(nèi)存時，時延顯著增加。這一特性使得進(jìn)程優(yōu)先在本地節(jié)點(diǎn)分配內(nèi)存，便于通過增加節(jié)點(diǎn)擴(kuò)展內(nèi)存和處理能力。這種架構(gòu)適用于數(shù)據(jù)中心、高性能計算集群等大規(guī)模多處理器系統(tǒng)。

NUMA架構(gòu)

CCX模塊：協(xié)同計算的核心單元

CCX作為系統(tǒng)進(jìn)行任務(wù)分配和處理的基本單元之一，源自AMD 在 Zen 架構(gòu)，海光 C86 系列CPU延續(xù)了這一設(shè)計。每個CCX整合多個處理器核心，同一 CCX 內(nèi)核心共享 L3 緩存，可減少約 15-20ns的跨核心數(shù)據(jù)訪問延遲。通常一個NUMA包含2個CCX，每個CCX 集成 4 個 CPU 核心，這種模塊化設(shè)計可靈活擴(kuò)展核心數(shù)，從16 核到 64 核，滿足不同場景需求。

CCX模塊

跨CCX運(yùn)行：降低了存儲性能

線程是 CPU 調(diào)度的基本單位，其執(zhí)行效率與緩存訪問特性密切相關(guān)。同一 CCX 內(nèi)，線程能夠借助本地L3緩存，實(shí)現(xiàn)高效的數(shù)據(jù)交互。

然而在實(shí)際運(yùn)行中，Linux內(nèi)核會根據(jù) CCX 負(fù)載和內(nèi)存訪問模式，動態(tài)調(diào)整線程在不同 CCX 間的分配。這雖提升了系統(tǒng)級資源利用率，但可能導(dǎo)致存儲虛擬化工作線程分散到不同CCX（如圖①-②所示），造成跨CCX緩存失效和遠(yuǎn)端訪存，最終降低了存儲性能。

跨CCX模塊運(yùn)行

那么，如何破解這一難題，成為提升系統(tǒng)性能的關(guān)鍵。

深信服CCX軟親和調(diào)度，解鎖性能新高度

面對CCX調(diào)度難題，深信服信創(chuàng)超融合推出軟親和調(diào)度機(jī)制，實(shí)時監(jiān)測業(yè)務(wù)負(fù)載變化，實(shí)現(xiàn)CPU資源的動態(tài)分配：

1.低負(fù)載場景：當(dāng)CPU負(fù)載較低時，優(yōu)先使用軟親和范圍內(nèi)的CPU，充分發(fā)揮資源訪問的局部性優(yōu)勢，降低調(diào)度開銷；

2.高負(fù)載場景：當(dāng)CPU負(fù)載較高時，則會突破軟親和范圍的限制，增加CPU資源供給，保證業(yè)務(wù)服務(wù)質(zhì)量不受影響。

在C86場景下，深信服基于軟親和調(diào)度機(jī)制，頻繁交互的存儲服務(wù)線程進(jìn)行CCX調(diào)度精細(xì)化編排：

1.CCX 利用率低時，聚合線程降時延：當(dāng)CCX范圍內(nèi)CPU利用率低于特定閾值，將存儲線程聚合在CCX內(nèi)（如圖③所示），降低通信時延，提升IO性能；

2.CCX 利用率高時，分散線程保吞吐：當(dāng)CCX范圍內(nèi)CPU利用率高于特定閾值，允許存儲線程在更大CPU范圍內(nèi)運(yùn)行，避免資源爭搶，減少通信延遲，保障系統(tǒng)吞吐。

深信服軟親和調(diào)度機(jī)制

這一優(yōu)化策略，顯著提升了小塊性能，IOPS提高約20%，為用戶帶來了更高效的使用體驗。

小塊性能提升20%

深信服 CCX 軟親和調(diào)度 VS 傳統(tǒng)方案

相較于業(yè)界其他方案，深信服的軟親和調(diào)度機(jī)制展現(xiàn)出顯著優(yōu)勢：

傳統(tǒng)調(diào)度方案的局限

業(yè)界多普遍依賴操作系統(tǒng)原生調(diào)度器CFS的通用負(fù)載均衡算法，缺乏對CCX拓?fù)鋵蛹壍纳疃冗m配，導(dǎo)致跨CCX線程通信需頻繁穿透L3緩存層級，影響系統(tǒng)性能。

加之，部分廠商采用硬親和性綁定策略，雖避免了跨CCX開銷，但犧牲了調(diào)度彈性。當(dāng)綁定的CCX內(nèi)運(yùn)行高優(yōu)先級計算任務(wù)時，容易引發(fā)資源爭搶面臨饑餓風(fēng)險。

深信服軟親和調(diào)度機(jī)制

深信服通過為操作系統(tǒng)調(diào)度器提供CPU拓?fù)浜拓?fù)載指導(dǎo)信息，輔助系統(tǒng)做出更合理的調(diào)度決策，靈活調(diào)整CPU資源供給，實(shí)現(xiàn)低負(fù)載場景降時延，高負(fù)載場景保吞吐的效果，實(shí)現(xiàn)了性能與靈活性的平衡。