AI 推論代幣價格驟降，為何企業 AI 總成本可能不減反增？

根據 Gartner 分析，儘管 AI 推論代幣單位價格預計大幅下降，但由於 AI 代理（agent）的普及，每項任務的代幣使用量激增 5 到 30 倍，導致總體使用量上升，進而可能使企業的 AI 總體支出不減反增。

Gartner 建議企業如何優化 AI 支出與效能？

Gartner 建議企業採行「多模型協作」策略，建立分層架構。將重複性簡單任務交由小型或特定領域模型處理，而高成本高效能模型則專用於複雜且高附加價值的工作，以兼顧成本效益與性能。

什麼是「多模型協作」策略，它如何影響企業 AI 發展？

「多模型協作」策略是指企業不依賴單一 AI 模型，而是整合運用多個模型，並根據任務複雜度分配給不同規模的模型處理。這有助於優化資源配置、降低整體運營成本，並提升 AI 系統的整體效率與競爭力。

AI 代幣降價逾九成卻總成本不減反增？Gartner 深度解析企業支出變革

研究顧問機構 Gartner 今日（30日）發布最新警告指出，儘管預期到 2030 年人工智慧（AI）推論代幣單位價格將大幅下滑逾九成，然而企業在 AI 方面的總體支出負擔，恐因應用模式改變而持續存在甚至不減反增。這項預警提醒企業，單一代幣成本下降不代表總體開銷縮減，需警惕 AI 代理普及帶來的支出結構重塑。

Gartner 預估 AI 推論成本大幅下降

根據 Gartner 的預測，截至 2030 年，一個擁有高達一兆參數的大型語言模型（LLM）推論費用，相較於 2025 年將有超過 90% 的降幅。同時，相同規模模型的運作效率預計可提升達百倍之多。Gartner 高級總監分析師 Will Sommer 解釋，這顯著的成本效益提升，主要源於半導體與基礎設施效率的持續改進、模型設計的創新突破、晶片利用率的提高，以及推論專用半導體的擴展和邊緣裝置的廣泛應用。

AI 代理普及重塑成本結構：單位降價不等於總支出減少

Gartner 對成本迷思的警示

然而，Gartner 強調，單一 AI 代幣單位價格的下跌，並非直接等同於企業 AI 總成本的降低。主要原因在於，AI 代理（agent）的普及正在全面重塑企業的整體支出結構。目前，每項任務的 AI 代幣使用量已比過去增加 5 到 30 倍。這意味著，儘管單位成本持續下降，但總體使用量的激增，可能導致企業的推論費用總額反而隨之上升。

進階 AI 能力與架構挑戰

分析師 Sommer 進一步指出，基本的 AI 功能正逐步朝向幾乎零成本的方向發展，但用於進階推論（advanced reasoning）的運算資源與系統，目前仍然相對有限。他警示企業不應將架構上的效率不足，誤解為通用代幣價格下跌就代表進階推論能力已然普及。若企業僅僅依賴便宜的代幣成本來掩蓋系統架構本身的缺陷，未來在代理導向的 AI 擴展階段，恐將面臨嚴重的發展限制。

多模型協作策略：未來 AI 競爭力的關鍵

面對 AI 成本結構的複雜變化，Gartner 建議，未來的 AI 競爭力將不再取決於單一模型的表現，而是應採行「多模型協作」（multi-model orchestration）策略。企業應建立一種分層架構，將重複性且相對簡單的任務分配給小型或特定領域模型來處理，而高成本、高效能的模型則應選擇性地僅用於處理複雜且高附加價值的工作。透過這種策略，企業才能在同時實現成本效益與卓越性能表現。