原文標題:“Memory-Centric Server Systems Are the Future”: SK hynix Presents Its Next-Generation AI Infrastructure Vision at OCP Global Summit 2026

SK hynix 在 10 月 12 日至 15 日於美國聖荷西舉行的 OCP Global Summit 2026 展示下一代記憶體系統,並於 10 月 16 日公布技術內容。重點不是單一記憶體模組的容量,而是讓多台伺服器共享記憶體資源、降低 AI 推論反覆搬運資料造成的延遲與資源浪費。

公司展示基於 CXL 3.2 的第二代 256GB CMM-DDR5,主打 CXL Pooled Memory 功能。官方指出,相較前一代,其頻寬超過兩倍、達 80GB/s,能源效率改善約 30%。CXL 是以 PCIe 生態為基礎的互連技術,可讓 CPU、GPU 與記憶體裝置更彈性地共享資源。此處數據是 SK hynix 對該產品的宣稱,不代表任意伺服器組態都能取得相同提升。

SK hynix 與 NAVER Cloud 合作驗證 CXL 記憶體在 AI 代理工作負載中的應用,包括多模型共用 KV Cache,以及 OmniServe 多模態服務中的 embedding 共用。這些成果仍以 PoC 概念驗證為主,不能直接視為大規模商用部署。

另一展示平台 MARS(Memory Centric AI Rack System)以記憶體為核心整合機櫃系統。SK hynix 與 Arcee、Liqid、Marvell 示範使用 CXL 記憶體池在多伺服器與 GPU 間傳遞、重用 KV Cache;另與 AMD、Penguin、Xcena、Arcee 示範把 DRAM 與 SSD 組成 CXL Hybrid Memory,先預測所需的快取資料並預先載入 DRAM,將完整 KV Cache 保存在 SSD,以兼顧容量與讀取速度。與 Pickle 的展示則聚焦在多模型代理工作流程的串流資料傳遞延遲。

CMM-Ax 把運算功能帶進記憶體,減少資料在處理器與記憶體之間來回搬移。官方透過 Efficient Long Context LLM Serving 示範長上下文推論加速,並指出相關研究已刊登於 MICRO 2026。展區亦陳列 PS1010 U.2、PS1110 E3.S、PS1101 E3.S、PEB210 E1.S/M.2、256GB 3DS RDIMM、128GB MRDIMM 與 192GB SOCAMM2 等產品,部分仍處於開發階段。

這些展示呈現 AI 基礎設施可能從以 GPU 為中心,逐步轉向把快取容量、頻寬、能源效率與記憶體資源共享納入系統級設計。SK hynix 尚未公布所有方案的量產、採購價格及大規模實際部署數據。

發生了什麼事

SK hynix 展示 256GB CXL 3.2 記憶體與 MARS、CMM-Ax,示範 AI 伺服器共享 KV Cache。

為什麼重要

長上下文與多代理推論的瓶頸不只在 GPU,記憶體池化及資料移動效率可能左右整體成本與延遲。

影響哪些人

資料中心架構師、AI 推論服務商、雲端業者及伺服器與記憶體供應鏈。

已確認與未確認

已確認展出規格與 PoC 示範;跨環境實測效能、量產時程及價格仍未完整公開。