結(jié)合實(shí)際場(chǎng)景，當(dāng)客戶配置24條64G本地內(nèi)存容量不足，需要擴(kuò)展至少1TB的情況下，若采用傳統(tǒng)方案，需將所有本地64GB DRAM內(nèi)存模組更換為128GB內(nèi)存，硬件成本高昂且供應(yīng)緊張。而采用元腦服務(wù)器CXL內(nèi)存擴(kuò)展方案，客戶可維持本地64GB DRAM內(nèi)存不變，通過配置4張CXL內(nèi)存擴(kuò)展卡（共擴(kuò)展16條64GB內(nèi)存），在實(shí)現(xiàn)同等1TB容量同時(shí)，整體采購成本降低超過20%，帶寬性能提升18%。
浪潮信息推出的元腦服務(wù)器CXL內(nèi)存擴(kuò)展方案，為行業(yè)提供了一種突破性的內(nèi)存擴(kuò)展與性能提升路徑。方案基于元腦服務(wù)器NF5280G7，創(chuàng)新性地內(nèi)置CXL內(nèi)存擴(kuò)展卡，實(shí)現(xiàn)內(nèi)存容量的彈性擴(kuò)展，并結(jié)合元腦KOS內(nèi)存優(yōu)化策略，通過智能的內(nèi)存池化與數(shù)據(jù)分層機(jī)制，使得擴(kuò)展的CXL內(nèi)存在訪問熱點(diǎn)數(shù)據(jù)時(shí)能夠達(dá)到接近本地內(nèi)存的性能。這意味著，在96G、128G大容量內(nèi)存緊缺的條件下，可以更多的使用64G的DRAM，并通過CXL的內(nèi)存擴(kuò)展來的達(dá)到大容量內(nèi)存的需求。方案在實(shí)時(shí)分析、EDA仿真、大模型推理等大內(nèi)存應(yīng)用場(chǎng)景中，均有良好性能表現(xiàn)。
// 場(chǎng)景一：內(nèi)存數(shù)據(jù)庫應(yīng)用場(chǎng)景，保障高性能與業(yè)務(wù)連續(xù)性
在高并發(fā)場(chǎng)景下（如雙十一等大促期間），Redis內(nèi)存數(shù)據(jù)庫面臨極 高的讀寫請(qǐng)求，峰值流量高，需要存儲(chǔ)多種數(shù)據(jù)，使用元腦服務(wù)器CXL內(nèi)存擴(kuò)展方案可以擴(kuò)展8通道，無縫擴(kuò)展可用容量，內(nèi)存帶寬提升18%，提升Redis數(shù)據(jù)庫的讀寫性能。同時(shí)元腦KOS智能將高頻訪問的“熱數(shù)據(jù)”保留在性能更高的內(nèi)存區(qū)域（包括本地DRAM和CXL內(nèi)存的熱區(qū)），而將低頻“冷數(shù)據(jù)”移至成本更優(yōu)的存儲(chǔ)層級(jí)，減少CPU等待數(shù)據(jù)的時(shí)間，從而降低整體業(yè)務(wù)延遲。
實(shí)測(cè)表明，在冷熱分層功能支持下，本地DRAM+CXL DRAM的性能與純DRAM的方案基本持平，且達(dá)到純使用SSD擴(kuò)展方案性能的3倍以上，保障了高并發(fā)下的業(yè)務(wù)響應(yīng)速度與連續(xù)性。
// 場(chǎng)景二：EDA仿真場(chǎng)景，平衡容量、帶寬與成本
EDA后端物理仿真仿真是典型的內(nèi)存密集型應(yīng)用，涉及海量電路數(shù)據(jù)的并行計(jì)算，單個(gè)任務(wù)常需1-4TB大內(nèi)存，且對(duì)內(nèi)存帶寬要求極 高。
本方案通過單機(jī)配置多張CXL擴(kuò)展卡，實(shí)現(xiàn)對(duì)不同容量內(nèi)存條的彈性組合與池化管理。例如，在當(dāng)前96G及以上內(nèi)存供應(yīng)緊張的情況下，方案采用“64G本地內(nèi)存+CXL擴(kuò)展內(nèi)存”的配置，不僅有效緩解了對(duì)大容量內(nèi)存條的依賴，更使整體內(nèi)存成本降低20%。同時(shí)，該方案依托元腦KOS的統(tǒng)一池化與智能調(diào)度能力，可將本地DRAM與擴(kuò)展的CXL內(nèi)存整合為連續(xù)、統(tǒng)一的高性能內(nèi)存地址空間。KOS通過實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)訪問模式，動(dòng)態(tài)優(yōu)化內(nèi)存帶寬分配，確保仿真任務(wù)中高頻訪問的數(shù)據(jù)優(yōu)先駐留于低延遲通道，保障了EDA應(yīng)用所需的大容量內(nèi)存與高并發(fā)帶寬，加速芯片設(shè)計(jì)驗(yàn)證全流程。
// 場(chǎng)景三：大模型推理場(chǎng)景，優(yōu)化KVCache存儲(chǔ)成本
在大模型推理中，海量KVCache存儲(chǔ)需求導(dǎo)致內(nèi)存成本急劇攀升，完全依賴高性能DRAM將極大推高集群部署成本。元腦服務(wù)器CXL內(nèi)存擴(kuò)展方案通過CXL內(nèi)存擴(kuò)展卡構(gòu)建大容量內(nèi)存資源池，能將KVCache動(dòng)態(tài)分配至擴(kuò)展內(nèi)存中，再結(jié)合元腦KOS智能監(jiān)控，可將KVCache熱點(diǎn)數(shù)據(jù)動(dòng)態(tài)調(diào)度至*佳性能層，而將歷史或非活躍數(shù)據(jù)緩存置于成本更優(yōu)的層級(jí)。
測(cè)試結(jié)果顯示，方案在將每GB內(nèi)存成本降低約20%的前提下，通過CXL內(nèi)存復(fù)用KVCache，其推理性能與全部使用DRAM的方案差異不超過5%，實(shí)現(xiàn)了成本與性能的卓越平衡。
總體來看，浪潮信息元腦服務(wù)器CXL內(nèi)存擴(kuò)展方案，通過CXL硬件擴(kuò)展與KOS智能內(nèi)存管理的深度融合，擴(kuò)展了本地內(nèi)存容量，實(shí)現(xiàn)了內(nèi)存資源的高 效調(diào)度與按需分配，打破了傳統(tǒng)內(nèi)存架構(gòu)的局限，有效提升了內(nèi)存資源的利用率與業(yè)務(wù)吞吐量，為解決行業(yè)“內(nèi)存荒”問題提供了切實(shí)可行的技術(shù)方案。
來源元腦服務(wù)器公眾號(hào)
