美國陸軍因生成式 AI 使用量暴增,不得不在 6 月中旬就重新收緊原宣稱「不限量」的 token 配額。軍方信件顯示,陸軍戰鬥能力發展司令部(DEVCOM)人員被告知,AI token 消耗速度遠超預期,軍方 6 月中旬就用光了陸軍 CIO 的 token 池,因此恢復限額,維持目前使用水位,但 10 月 1 日之後是否續補仍未知。
各方反應
美國國防部之前高調宣布,旗下近半數、約 350 萬名員工都能使用 AI,陸軍用的是 Ask Sage,一個可串接多種大型語言模型的多模態生成式 AI 平台,包括 Alphabet Gemini、Meta Llama 與 OpenAI ChatGPT。Ask Sage 可支援陸軍企業級 LLM 工作區,也獲可處理受控非機密資訊認證,國防部首席數位與 AI 辦公室都有列入採購名單。
然而,陸軍 5 月宣布 token「不限量」,每員工至少有每月 20 萬 token 額度,若提前用完還會自動補充;有註冊卻不常用 Ask Sage 的人,系統甚至會寄信催促他們多用。陸軍年度企業方案總量為 1 億個 token,單一 token 約等於 3.7 個字元。陸軍與國防部短時間內就把整年配額消耗殆盡,甚至有匿名軍方人員形容,整個陸軍幾乎為單一單位就燒掉整年 token。
背景補充
這次限縮也突顯美軍推動 AI 實用時面臨的成本與管理壓力。陸軍曾將 Ask Sage 用於重新分類人員職務說明等行政工作,但有員工坦言,實務面不太可靠,甚至出現模型聲稱完成任務卻沒有做到。token 與運算成本已成各界擴大應用的瓶頸,陸軍也不得不在推廣 AI 與管控預算間重新拿捏平衡。
從產業面來看,美國陸軍的 AI token 消耗速度過快,反映出在大規模部署 AI 技術時,成本控制和資源管理是重大挑戰。這不僅是軍方需要面對的問題,也是各行業在採用 AI 時需要謹慎考慮的因素。建議各機構在推行 AI 技術前,應進行充分的預算規劃和效能評估,以避免資源浪費。
後續觀察
美國陸軍恢復限額的決定,雖然能暫時解決燃眉之急,但長期來看,如何在推廣 AI 技術與控制成本之間找到平衡,仍是需要進一步探索的課題。讀者不妨思考,自己所在機構在引入 AI 技術時,是否有足夠的預算和管理策略來應對可能的挑戰。
如果你對 AI 技術在組織中的應用有更多看法,歡迎在下方留言分享,讓我們共同探討如何更好地利用這項技術。
本文改寫整理自公開新聞來源,原始報導由科技新報發布。
常見問題 FAQ
美國陸軍為何用光全年 AI token 配額?
主要原因是生成式 AI 的使用量暴增,消耗速度遠超預期,導致陸軍在 6 月中旬就用光了全年配額。
Ask Sage 是什麼?
Ask Sage 是一個多模態生成式 AI 平台,可以串接多種大型語言模型,如 Alphabet Gemini、Meta Llama 與 OpenAI ChatGPT,支援陸軍企業級 LLM 工作區。
陸軍未來會如何解決 AI token 耗盡的問題?
陸軍可能需要在推廣 AI 技術與控制成本之間找到平衡,例如重新調整 token 配額,或尋找更高效的 AI 解決方案。
※ 此篇文章由 AI 改寫或生成,內容僅供參考,可能存在錯誤或不準確之處。