當AI資料中心經營者還在為每瓦效能與總持有成本（TCO）傷透腦筋時，NVIDIA在Hot Chips 2026扔出了一個震撼彈。不是GPU，而是一個搭載256顆LPU、全水冷、具備640 TB/s頻寬的巨型機櫃—Groq 3 LPX。根據官方數據，它在執行Gemma 4 31B模型時，每秒可吐出3,431組Token，對比當前頂尖公開API服務的870組，整整拉出將近4倍的差距。這不是紙上談兵的PPT規格，而是已經進入「全面生產」狀態的產品。但我們該興奮，還是該冷靜拆解：這4倍效能，到底是用什麼換來的？
效能的代價：水冷、SRAM，與那條看不見的「算力稅」
首先，我們得釐清Groq 3 LPX這個「4倍」的光環從何而來。關鍵在於它捨棄了傳統的HBM高頻寬記憶體，轉而擁抱晶片內建的SRAM。單一LPU內建500 MB SRAM，整個機櫃256顆LPU加總起來，就是128 GB的SRAM池，搭配640 TB/s的天量頻寬。這意味著什麼？在推論任務上，它幾乎消除了記憶體頻寬瓶頸，讓「記憶體牆」瞬間崩塌。不過，話說回來，這種極致效能的代價也十分具體：第一，你得接受全水冷設計，這對老舊機房的基礎設施是嚴苛考驗；第二，SRAM的密度與成本遠高於DRAM，這種架構在成本上能否打贏HBM，將是決定它能否走出特定利基市場的關鍵。
根據NVIDIA提供的數據，在執行上下文長度為100K組Token的Gemma 4 31B模型推理式運算下，Groq 3 LPX的Token輸出速度達到每秒3,431組，高於目前公開API服務效能參考指標的870組，效能表現相當驚人。
不只是單機櫃：從Scale-Up到Scale-Across的網路佈局
NVIDIA在Hot Chips 2026談的不只是硬體，更關鍵的是網路的階級重劃。過去我們談Scale-Up（縱向擴展）與Scale-Out（橫向擴展），這次NVIDIA把格局拉大到Scale-Across，企圖將不同地理位置的資料中心透過廣域網路揉成一個巨型運算節點。這可不是喊口號。為了打通任督二脈，NVIDIA搬出了Spectrum-X乙太網路交換器，支援Multi-Rail多層網路架構，讓單一系統最高可同時串聯512,000組GPU。對比先前2層交換器只能撐起2,048組GPU的限制，這根本是從巷弄升級到高速公路網。
而Spectrum-X還有一個隱藏版的救命功能：進階最佳化路由。平時自動調度頻寬資源優化效率；當單一節點失效時，它竟能維持整體網路90%的頻寬。這對大規模AI模型訓練來說，簡直是保命符，因為在動輒數萬顆GPU的叢集中，節點故障是常態，而不是例外。
當GPU遇上LPU：一場不對稱戰爭還是完美互補？
NVIDIA這次的戰略佈局有個耐人尋味的細節：Groq 3 LPX不是來取代Vera Rubin，而是來輔助它。兩者可以協同運作，讓Rubin GPU專注於密集的矩陣乘法運算，而Groq LPU負責加速解碼階段、提升Token輸出。這種分工明確的「混合架構」，試圖解決目前AI推論中被廣為詬病的「延遲痛點」。但從產業面來看，這也意味著NVIDIA正從單純的GPU供應商，轉變為「算力組合拳」的平台級玩家。當別人還在用H100拼命堆數量時，NVIDIA已經在用LPU優化每一個Token的產出速度與耗電成本。
編輯觀點：從產品發布節奏來看，NVIDIA很清楚地認知到，單純衝刺FP8或FP4峰值算力已經不夠了。AI工廠的經營者現在看的是「每Token成本」與「每千瓦營收」。Groq 3 LPX的4倍效能優勢，其實是在告訴市場：未來的算力競賽，是看誰能在最短時間內產出最多有用的Token，同時把電力帳單壓下來。對台灣的伺服器供應鏈與資料中心營運商而言，現在就得開始評估水冷散熱的配套與網路架構的升級時程，否則就算買到頂級運算單元，機房也會因為散熱不足或網路延遲而讓這4倍效能打折。
算力軍備競賽的下半場：贏家不只看跑分
說真的，當看到每秒3,431個Token的數字時，我們確實得給予掌聲。但從實務角度來問，有多少AI工作負載是真的需要跑到100K上下文長度的極端情境？如果多數應用場景的批次大小（Batch Size）與上下文長度都落在日常範圍，這4倍極限效能能兌現多少比例的實際營收成長，還需要更多第三方實測來驗證。
再者，NVIDIA提出了Scale-In概念，透過BlueField-4網路平台與DOCA API把網路、儲存、資安、管理等功能濃縮進一張智慧卡。這對降低總體持有成本絕對是好事，但也讓機房維運的複雜度從硬體層拉高到軟體定義的層次。未來資料中心管理者的核心競爭力，將不只是會插線換卡，而是懂得如何調度DOCA API與優化多層網路拓樸。
【行動呼籲】如果你是AI基礎架構的決策者，請別急著拿4倍效能當作採購的唯一KPI。先打開機房的設計圖，確認水冷管路與電力餘裕夠不夠；再盤點你的推論任務型態，究竟是記憶體密集還是計算密集。Hot Chips 2026揭示的趨勢很清楚：單點效能突破已成基本盤，真正的決勝點在於「Scale-Across」的跨資料中心調度能力與「Scale-In」的軟體整合深度。現在就把網路工程師與散熱顧問拉進評估團隊，否則等到2027年機櫃進駐時，你會在滿載的電力錶與當機的節點之間，感嘆理想與現實的差距。
本文改寫整理自公開新聞來源，原始報導由T客邦發布。
常見問題 FAQ
Groq 3 LPX機櫃的4倍效能是在什麼條件下測出來的？
這項數據是在執行上下文長度為100K組Token的Gemma 4 31B模型推理式運算中測得，對比對象為目前公開API服務的效能參考指標。
Groq 3 LPX機櫃會取代現有的Vera Rubin系統嗎？
不會。NVIDIA的規劃是讓兩者協同運作，Groq LPU負責加速解碼與增加Token輸出，Rubin GPU則專注於其他層的運算任務，屬於互補關係而非取代關係。
Spectrum-X網路架構能連接多少組GPU？
透過Multi-Rail多層網路架構，Spectrum-X最高能同時連接512,000組GPU，遠超過前代2層交換器架構的2,048組限制。
※ 此篇文章由 AI 改寫或生成，內容僅供參考，可能存在錯誤或不準確之處。