事件總覽:NVIDIA 正式發表新一代高頻寬記憶體技術 NVHBM,將記憶體控制器從 XPU 運算晶片移到 HBM 基底晶片,一口氣提升 30% 頻寬、節省 15% 功耗、釋放 25% 晶片面積。Amazon 旗下 Annapurna Labs 率先上車,從 Trainium4 開始整合 NVLink Fusion,讓 AWS 的客製化晶片與 NVIDIA GPU 能在同一機架架構下聯手作戰。

老實說,半導體產業這幾年對 HBM 的討論,幾乎都圍繞著「頻寬還不夠大、功耗實在太燙、晶片面積快被記憶體控制器吃光」這三個痛點打轉。NVIDIA 這次端出的 NVHBM,不是像 HBM4E 那樣在既有架構上堆規格,而是直接把記憶體控制器從 XPU 上搬走,塞進 3D HBM 堆疊的基底晶片裡頭。這個動作,與其說是技術升級,不如說是重新劃分地盤——運算晶片從此不用再養一個吃面積的記憶體控制器,等於多出四分之一的面積可以拿來塞更多運算單元。

在此之前,所有 HBM 架構都把記憶體控制器放在 XPU 晶片上,每一代製程微縮後多出來的電晶體預算,有很大一部分被控制器吃掉。NVIDIA 這次等於用物理方式改變權力結構:控制器不歸你管了,我把它放進記憶體堆疊裡頭,讓 XPU 專心做運算。這邏輯聽起來簡單,但要說服記憶體供應商配合驗證、標準化生產,還得讓客戶買單,沒有足夠的市場話語權根本推不動。

NVIDIA 在 GTC 大會上喊出的 NVLink Fusion,其實就是在佈一個更大的局:他們想定義「機架級 AI 基礎設施」的遊戲規則,讓所有零件——GPU、XPU、CPU、記憶體、網路、儲存——都按照他們畫的藍圖協同工作。NVHBM 是這個藍圖裡最關鍵的一塊拼圖,因為它解決了記憶體頻寬和功耗的瓶頸,讓超大規模雲端服務商在設計下一代 AI 晶片時,可以直接套用 NVIDIA 已經驗證好的記憶體子系統,省下數年研發時間。

頻寬多 30%、功耗省 15%、晶片面積釋放 25%——三個數字擺在一起,對 AI 基礎設施的建置成本影響非常具體。超大規模雲端業者每年採購數十萬顆加速器,如果每顆晶片能省下 15% 的 HBM 功耗,機房的散熱成本就是千萬美元等級的差距;運算密度提升後,同樣的機櫃空間可以塞進更多算力,這對 Scaling Law 還在持續發揮作用的 AI 訓練市場來說,幾乎是生死攸關的數字。

這場合作最有趣的是 Annapurna Labs 的角色。很多人還停留在「Annapurna 就是 AWS 買來做 Nitro 晶片的那間公司」的印象,但他們從 Trainium 系列以來已經累積了不少自研晶片實戰經驗。這次 Annapurna 副總裁 Nafea Bshara 說 NVHBM「代表了一種提升高頻寬記憶體效能與效率的全新架構方式」,從一位曾經在以色列軍方科技單位待過的硬體老將口中說出,份量不太一樣。他們從 Trainium4 開始支援 NVLink Fusion,等於是讓 AWS 的客製化晶片直接長進 NVIDIA 的生態系裡。

編輯觀點:NVIDIA 這步棋下得很巧,表面上是技術發表,實際上是在鞏固「AI 基礎設施標準制定者」的位置。把記憶體控制器移到基底晶片,不只解決了性能和功耗問題,更深層的意義是——NVIDIA 正在建立一套「NVIDIA 認證的記憶體子系統」標準,所有想跟 NVIDIA 機架架構相容的晶片,都得照這個規矩來。Amazon 率先上車,看似是技術合作,其實是兩強聯手設立市場准入門檻。其他雲端業者如果不跟進,未來在機架級整合上就可能出現效率落差;但若跟進,等於承認 NVIDIA 的架構定義權。這是一場沒有刀光劍影的規格戰爭,NVIDIA 已經在起跑線上拉開了三個身段的差距。

從產業面來看,記憶體控制器「搬家」這件事,背後反映的是半導體設計的典範轉移。過去大家習慣把功能模組都塞進 SoC,但隨著 AI 晶片的複雜度爆炸式成長,把周邊功能往外移、讓運算晶片保持純粹,反而成為提升能效比的關鍵手段。NVIDIA 這次給出的方案,有點像城市規劃——把工業區從市中心移出去,市中心只留辦公大樓和商業設施,整體效率反而更高。

說真的,HBM4E 剛出來的時候,業界還在討論頻寬堆疊到什麼程度才是極限,NVIDIA 直接跳過規格競賽,從系統架構層面改寫規則。這對那些還在埋頭優化 HBM 控制器的競爭者來說,應該有點措手不及。NVHBM 不只是新技術,它是一個訊號——NVIDIA 已經從 GPU 公司轉型為 AI 基礎設施架構公司,而記憶體只是他們重新定義的第一塊骨牌。

如果往後推演,NVHBM 的標準化實現方案將由多家記憶體供應商提供,這意味著 NVIDIA 的記憶體子系統會像 PCIe 或 DDR 規格一樣,變成一個產業標準。等到 NVLink Fusion 客戶都能快速採用這套技術把客製化 AI 晶片推向市場,NVIDIA 的影響力就不再只限於 GPU 市佔率,而是深入到整個 AI 硬體生態系的設計決策層。

📅 2026年8月:NVHBM 正式發表,Annapurna Labs 率先合作

NVIDIA 在 2026 年 8 月 27 日正式對外宣布 NVHBM 技術,Amazon 旗下的 Annapurna Labs 成為首家公開表態參與技術合作的夥伴。從時間點來看,這距離 AWS 先前宣布支援 NVLink Fusion 不到一年,雙方合作節奏明顯加快。Annapurna Labs 副總裁 Nafea Bshara 表態「期待為 AWS 未來的基礎設施設計帶來助益」,這句話在產業界的解讀是:Trainium4 的設計已經確定會整合 NVLink Fusion,Annapurna 這步不是試探,是已經開工了。

這也意味著,AWS 未來的自研晶片不會再跟 NVIDIA GPU 各自為政,而是可以在共通的機架級架構下協同運作。對 AWS 的企業客戶來說,這代表未來在 AWS 雲端上調度 AI 訓練資源時,可以更彈性地混用 Trainium 和 NVIDIA GPU,不必擔心互通性問題。

📅 未來展望:記憶體供應鏈迎來新規格,NVLink Fusion 生態持續擴大

NVIDIA 正在建立標準化的 NVHBM 實現方案,將由多家記憶體供應商量產提供。這對記憶體產業來說是一個新的規格戰場——誰能最快通過 NVIDIA 驗證、誰的良率最先達標,誰就能搶下下一波 AI 加速器記憶體的訂單。對 NVLink Fusion 客戶來說,NVHBM 則是一張快速通關券,讓他們不用從零開始設計記憶體子系統,直接套用 NVIDIA 驗證過的方案,把資源集中在 XPU 運算核心的差異化設計上。

至今影響與未來展望

回顧整個脈絡,NVHBM 的發表不只是一則新產品新聞,它標誌著 AI 晶片設計的權力結構正在位移。過去,記憶體控制器的設計決定權在 XPU 開發者手上;現在,NVIDIA 把這個決定權收回來,標準化後放進 HBM 基底晶片,再授權給合作夥伴使用。這套模式如果成功複製到其他環節(網路、儲存、散熱),NVIDIA 對 AI 基礎設施的控制力將會從「GPU 供應商」提升到「架構平台營運商」的層級。

Amazon 的率先加入,則為這場規格戰爭添加了零售巨頭的背書。當全球最大的雲端服務商之一告訴市場「我願意用你的規格來設計我的晶片」,其他競爭者就很難忽視這個標準的存在。接下來要觀察的是:微軟、Google、Meta 會不會跟進?還是會聯手推另一個開放標準來抗衡?

可以確定的是,AI 基礎設施的競爭已經從「單晶片性能」升級到「機架級系統效率」,而 NVHBM 只是這場戰爭的第一聲槍響。

你的下一步:如果你是 AI 基礎設施的決策者或技術評估者,現在該關心的不是「NVHBM 規格有多強」,而是「你的晶片設計路線圖裡,有沒有預留跟 NVLink Fusion 對接的空間?」記憶體控制器的位置變了,整個系統的設計邏輯也會跟著變。把 NVHBM 放進你的技術雷達裡,開始評估這套架構對你未來 3 年產品規劃的影響——因為對手可能已經在研究了。

本文改寫整理自公開新聞來源,原始報導由Yahoo奇摩新聞發布。

常見問題 FAQ

NVHBM 跟 HBM4E 有什麼不一樣?

最核心的差異在記憶體控制器的位置。傳統 HBM4E 把控制器放在 XPU 晶片上,NVHBM 則把 NVIDIA 客製化控制器移到 3D HBM 堆疊的基底晶片,讓 XPU 釋放多達 25% 面積專注運算。

Amazon 為什麼要率先合作 NVHBM?

Amazon 旗下 Annapurna Labs 從 Trainium4 開始支援 NVLink Fusion,目標是讓自家 Trainium 晶片能與 NVIDIA GPU 在共通機架架構下協同運作,提升 AWS 基礎設施的 AI 工作負載效率。

NVHBM 何時能量產出貨?

NVIDIA 已建立標準化實現方案,將由多家記憶體供應商驗證並提供,但官方尚未公布確切量產時程。產業界預期相關產品將在未來 1 至 2 年內陸續問世。

NVHBM 只有 NVIDIA 能用嗎?

NVIDIA 開放給 NVLink Fusion 客戶採用,包括超大規模雲端服務商和 AI 創新業者。首批合作夥伴如 Amazon Annapurna Labs 就能將 NVHBM 技術整合進自己的客製化晶片設計中。

這項技術對一般企業有什麼影響?

NVHBM 主要影響雲端和 AI 基礎設施層級。長期來看,記憶體功耗降低和運算密度提升,有機會降低雲端 AI 訓練成本,最終反映在企業使用 AI 服務的定價上。

※ 此篇文章由 AI 改寫或生成,內容僅供參考,可能存在錯誤或不準確之處。