在AI推論運算需求爆炸性成長的時代，以色列新創公司NeuReality延攬前Google Labs產品管理總監Shalini Agarwal為策略顧問，此舉不僅彰顯AI人才流動趨勢，更預示其NR-NEXUS推論作業系統將如何協助企業，透過硬體中立的解決方案，高效應對「AI工廠」的龐大運算挑戰。
現象觀察：AI人才流動與軟體轉型
近期科技產業的一大亮點，是以色列新創NeuReality於本週一（3月23日）宣布，成功延攬曾任Google Labs產品管理總監的Shalini Agarwal女士擔任策略顧問。Agarwal女士在科技產業擁有近二十年的產品策略經驗，曾服務於Google Labs及eBay等知名企業，並持有麻省理工學院（MIT）電腦科學、電機工程及管理科學學位，其深厚的專業背景無疑為NeuReality注入一劑強心針。她的主要任務將聚焦於NR-NEXUS推論作業系統的上市策略，旨在開拓廣大的企業客戶市場。
有趣的是，NeuReality的發展路徑也反映了AI產業的動態演變。這家公司最初以設計AI推論的客製化晶片起家，隨後策略性轉型至軟體開發。他們已於3月12日發表了NR-NEXUS，這是一款專為「AI工廠」量身打造的硬體中立（hardware-agnostic）作業系統，其核心理念便是透過軟體層面的創新，解決現有AI基礎設施的效率瓶頸。
原因剖析：推論運算需求激增與效能瓶頸
當前AI領域最顯著的趨勢之一，便是AI推論工作負載的爆炸性成長。根據市場研究機構德勤（Deloitte）的估計，AI推論工作負載在2025年已佔總AI運算量的一半，而今年預計將進一步提升至三分之二。這股強勁的需求，正驅使超大規模業者（hyperscalers）投入巨額資金：
「亞馬遜（Amazon）預計2026年將投入2,000億美元，而Google的預算則介於1,750億至1,850億美元之間。」
然而，隨之而來的挑戰是如何有效管理這些日益龐大的運算需求。輝達（NVIDIA）執行長黃仁勳（Jensen Huang）曾提及，未來的資料中心將成為「代幣工廠」（token factory），這預示著AI運算將走向高度專業化與規模化。現有AI硬體架構常面臨一個問題：昂貴的加速器利用率不足，部分運算資源處於閒置狀態。NR-NEXUS的設計目標正是為了解決這個痛點，它透過解耦預填充（prefill）和解碼（decode）任務，使其能跨異質硬體（包括圖形處理器GPU、中央處理器CPU和網路介面卡NIC）運行，從而大幅提高加速器的利用率。
影響評估：企業AI部署的挑戰與解決方案
Shalini Agarwal的加入，被市場視為對那些能夠彌補晶片與企業大規模運行模型之間鴻溝的公司的一大押注。這意味著，僅有高效能的晶片並不足以滿足企業級AI部署的需求，一個能夠統一管理並優化異質硬體資源的軟體平台，才是釋放AI潛力的關鍵。NR-NEXUS的硬體中立特性，讓企業在部署AI時擁有更大的彈性，不必被單一硬體供應商綁定，這對於需要整合不同供應商解決方案的企業來說，無疑是一大福音。
目前，已有測試客戶正在運行NR-NEXUS軟體，這證明了其方案的實用性與可行性。同時，NeuReality也預告未來將支援輝達（NVIDIA）即將推出的Vera Rubin架構，展現了其前瞻性的技術規劃與生態系整合能力。截至目前，NeuReality已募得約7,000萬美元資金，其中包括2022年底由三星創投（Samsung Ventures）、OurCrowd和SK海力士（SK Hynix）領投的3,500萬美元A輪募資，以及2024年3月歐洲創新理事會基金（European Innovation Council Fund）與現有投資者共同注資的2,000萬美元，顯示了市場對其潛力的認可。
趨勢預測：AI工廠的崛起與產業生態變革
隨著AI推論需求的持續攀升，資料中心轉型為「AI工廠」已是不可逆的趨勢。在這樣的背景下，軟體定義的AI基礎設施將扮演越來越重要的角色。NeuReality的NR-NEXUS正是瞄準了這個市場空白，它不僅提供了一個提升硬體利用率的解決方案，更為企業在多元複雜的AI應用場景中，提供了一個高效、彈性的運算基石。
綜合來看，Shalini Agarwal的策略顧問角色，結合NeuReality的創新技術，預期將加速企業AI部署的進程，並進一步推動AI產業從單純的硬體競爭，轉向軟體與硬體協同優化的全新階段。未來的AI世界，將更加注重資源的精準調度與效率極大化，而像NR-NEXUS這樣的平台，正是實現這一願景的關鍵。
About the Author
