生成式AI的浪頭才剛打上岸，半導體產業的下一波戰爭已經轉向「推論」這塊新大陸。正當所有人都在關注輝達（NVIDIA）的次世代Rubin架構何時問世，一家美國新創公司d-Matrix卻在今年的Hot Chips大會上拋出震撼彈——旗下最新AI推論晶片Raptor，宣稱在頻寬密度上比Rubin高出「20倍」。這場較量不只是在比誰的數字好看，更點出了一個產業界越來越焦慮的痛點：當AI模型愈來愈大，記憶體頻寬已經成為比算力更致命的瓶頸。
瓶頸不在算力，在記憶體
AI晶片的故事，過去幾年幾乎都是輝達的獨角戲。從A100到H200，效能翻倍的背後其實有個愈來愈棘手的問題——高頻寬記憶體（HBM）的功耗與I/O限制。簡單說，晶片算得再快，資料從記憶體搬運到運算單元的速度跟不上，整體效能照樣卡住。
d-Matrix這次端出來的Raptor，用的不是HBM，而是走了一條不太一樣的路：3D DRAM。這項技術把邏輯晶片直接堆疊在最多四層的記憶體上方，類似AMD在Ryzen處理器上使用的3D V-Cache概念，但d-Matrix把它進一步延伸到AI推論場景。透過面對面接合（face-to-face bonding）技術，電子傳輸的距離大幅縮短，I/O能耗也跟著顯著下降。d-Matrix給出的數字是：每傳輸1GB資料的功耗，比HBM降低了約13.5倍。
這不是一個小幅度的改善，而是等級上的跳躍。如果這項技術真的能量產落地，代表AI推論的能耗成本有機會出現結構性的下降。
單卡32GB，鎖定推論場景的「甜蜜點」
Raptor單卡記憶體容量為32GB，這個數字正好卡在SRAM與HBM之間。SRAM速度快但容量小、成本高，HBM容量大但功耗與延遲都是挑戰。d-Matrix的定位很明確：不做訓練，專攻推論。這個市場的規模正在快速膨脹——訓練可能只需要幾個月，但模型上線後推論是每天、每秒都在發生的事。
更重要的是，d-Matrix從一開始就把「橫向擴展」納入設計。單張卡是一回事，但72張卡組成機櫃級叢集後，總記憶體頻寬可以達到每秒拍位元（petabytes）等級。這代表什麼？代表像GLM-5.2或Kimi K3這類大型語言模型，可以在長上下文視窗的場景下維持穩定的輸出速度。d-Matrix展示的數據顯示，Raptor在GLM-5.2上每位使用者每秒可處理約2,121個tokens——對需要即時回應的應用來說，這是相當有感的體驗升級。
- Raptor核心技術亮點：3D DRAM堆疊設計，邏輯晶片直接貼合記憶體層，傳輸距離極短。
- 功耗表現：每GB資料傳輸能耗較HBM降低約13.5倍，對大規模部署的電力成本影響顯著。
- 擴展能力：單一機櫃可配置72張卡，總記憶體頻寬達每秒拍位元等級，支援千億參數模型。
- 目標場景：專注AI推論，不與輝達在訓練領域正面對決，走差異化路線。
輝達的反擊：不賣GPU，改賣「互連」
面對d-Matrix這類新創在特定環節的技術突破，輝達顯然沒有坐視不管。不過有趣的是，輝達這次的回應方式並不是推出更快的晶片，而是打出一張策略牌：開放NVLink Fusion技術授權，讓第三方客製化XPU也能使用輝達的高速互連技術。
這個動作背後的思維值得玩味。過去輝達的護城河是「GPU+NVLink+CUDA」的鐵三角，現在他們開始把NVLink獨立拆出來賣，目標是成為未來AI工廠的「核心互連基礎設施」。換句話說，就算你用的不是輝達的GPU，你的AI機櫃裡還是可能出現輝達的技術。這項策略同時也對AMD的Infinity Fabric和Intel的Ultra Path Interconnect形成壓力——互連這層的標準之爭，才正要開始。
編輯觀點
從產業面來看，d-Matrix的Raptor與輝達的NVLink Fusion授權策略，其實指向同一個趨勢：AI基礎設施正在從「算力至上」轉向「系統效率」的競爭。對台灣的半導體供應鏈來說，這不一定是威脅，反而是機會。台積電在先進封裝（如CoWoS）上的技術積累，正好是3D DRAM這類設計能夠量產的關鍵。換個角度想，當AI晶片的競爭從微縮製程轉向封裝與互連，台灣在半導體製造生態系的完整度，反而會變成更稀缺的資源。問題只在於，我們的廠商有沒有準備好接住這一波結構性的訂單轉移。
一場正在改變遊戲規則的技術路線之爭
d-Matrix宣稱的20倍頻寬密度優勢，當然還需要更多獨立驗證。畢竟Hot Chips大會上的數據，多少帶有爭取客戶與投資人目光的性質。不過這家新創確實提出了一個扎實的技術路線，而且剛好打在現有HBM架構最痛的地方。
輝達的Rubin架構雖然還沒正式發表，但外界普遍預期它會在記憶體頻寬上有大幅度的升級。只是d-Matrix用3D DRAM這條路徑，等於是在告訴市場：「你要等輝達，還是有另一個選擇？」對大型雲端服務商來說，多一個選擇永遠是好事，特別是當這個選擇可能在推論階段的總體擁有成本（TCO）上帶來明顯優勢的時候。
這場晶片戰，台灣不會只是觀眾
從d-Matrix的Raptor到輝達的Rubin，再到AMD與Intel各自的互連技術布局，這幾條技術路線的最終交會點，都在晶圓代工與先進封裝產能上。而這正是台灣最熟悉的主場。全球AI晶片設計的競爭愈激烈，台灣在半導體製造端的戰略價值就愈高。
不過話說回來，台灣廠商也不能只滿足於代工角色。從HBM到3D DRAM，從CoWoS到face-to-face bonding，這些技術的演進正在重新定義「一顆晶片」的長相。誰能在封裝與異質整合這條路上走得夠深，誰就有機會在這波AI硬體革命中卡到更有利的位置。
下一步，你可以這樣思考：
- 如果你是企業的IT決策者，現在開始評估AI推論硬體時，別只看單卡的算力數字，記憶體頻寬與總體功耗對長期營運成本的影響可能更大。
- 如果你是投資人，d-Matrix的技術路線值得追蹤，但更該關注的是3D DRAM相關供應鏈——包括先進封裝設備、記憶體堆疊測試等環節——因為無論最後誰贏，這些基礎設施的需求都會上升。
- 如果你只是對AI有興趣的一般讀者，這篇新聞告訴你一件事：AI的「腦力」成長速度，現在被「記憶體」拖慢了。誰能解決這個問題，誰就是下一階段的贏家。
本文改寫整理自公開新聞來源，原始報導由Yahoo奇摩新聞發布。
常見問題 FAQ
d-Matrix的Raptor晶片和輝達的GPU有什麼不同？
Raptor專注於AI推論，也就是模型訓練完成後的判斷與生成階段；輝達GPU則同時涵蓋訓練與推論。Raptor採用3D DRAM堆疊技術，強調在記憶體頻寬密度與功耗效率上超越現有HBM方案。
「頻寬密度比輝達Rubin高20倍」是真的嗎？
這是d-Matrix在Hot Chips大會上提出的宣稱，數據來自其內部測試與架構比較。由於輝達Rubin尚未正式發表，此數據尚待市場獨立驗證，但反映出3D DRAM技術在頻寬上的理論優勢。
這項技術對台灣半導體產業有什麼影響？
Raptor的3D DRAM設計高度依賴先進封裝技術，而台積電在CoWoS等封裝領域具備領先產能與技術，有機會承接相關訂單。同時，AI晶片設計的多樣化也為台灣供應鏈帶來更多元化的客戶基礎。
AI推論晶片市場有多大？為什麼大家開始搶這塊？
隨著生成式AI應用普及，推論階段的運算需求正在高速成長。市場研究機構預估，AI推論將在未來三到五年內成為AI硬體支出中占比最高的環節，遠超過模型訓練階段。
一般企業什麼時候用得到這類晶片？
當企業需要部署自有的大型語言模型（如客服機器人、內部知識庫檢索系統）且對回應速度與營運成本有嚴格要求時，專用推論晶片就能發揮明顯優勢。目前這類需求集中在雲端服務商與大型科技企業。
※ 此篇文章由 AI 改寫或生成，內容僅供參考，可能存在錯誤或不準確之處。