来客网

SEMI大師論壇》AI Agent單一任務Token需求可達聊天300倍!微軟提出「智慧良率」,從晶片一路算到資料中心

声明:本文转载自 「风传媒」, 或因排版与篇幅原因进行过编辑,内容未经本站独立核实,不代表本站立场、观点或建议。 如涉及版权问题,请联系我们,核实后立即删除。 [ 免责声明 ]

AI基礎設施競賽從晶片數量、資料中心規模一路推高至吉瓦(GW)級電力,但微軟(Microsoft,NASDAQ:MSFT)認為,下一階段不能只看投入多少資本、晶片與能源,而要追問這些資源究竟轉化出多少可負擔、可實際運用的智慧。微軟Azure硬體系統暨基礎設施總裁Rani Borkar 2日在SEMICON Taiwan 2026大師論壇指出,單一AI Agent任務使用的Token數量,可能達一般聊天互動的300倍,若產業仍只靠增加晶片、記憶體、光纖與電力支撐成長,成本與供應壓力將持續放大。 Borkar以半導體產業最熟悉的「良率」(yield)說明AI基礎設施接下來的衡量方式。她表示,晶圓良率關心的不是製程多優雅、研發花了多少年,而是「最後真正產出了什麼?」同一套思維如今應從晶圓製造延伸至晶片、伺服器、網路、資料中心、模型與AI Agent協作框架,檢視整套系統能否把資本、瓦數及硬體轉化為有用成果。 七層各有八成效率,整體產出只剩約兩成 她指出,全球AI使用率目前約占工作年齡人口18%,且多數應用仍停留在「一個人、一個提示、一個回答」的聊天模式;可自主推理、規劃、使用工具並執行多步驟工作的Agentic AI,現階段主要集中在軟體工程領域,觸及人口約僅0.5%。一旦這類應用擴及各產業與職務,基礎設施所承受的負荷將明顯高於現有聊天式AI。 不過,擴充單一環節不代表終端產出會等比例增加。Borkar舉例,若一套系統有七個環節,每一層效率均為80%,層層相乘後,整體效率只剩約20%。她說:「任何一層的容量都只是起點,真正的衡量標準,是這些層能否一起運作,讓整個系統產生有用的輸出。」 這也是微軟所稱「Yield Imperative」的核心。若以半導體語彙理解,可視為把良率概念擴大為AI的「智慧良率」:不只計算資料中心裝了多少加速器、每秒產生多少Token,而是衡量每一瓦電力、每一位元記憶體與每一美元投資,最後換得多少可用智慧與實際工作成果。 從追求更多投入,轉向提高有效產出 Borkar認為,過去產業面對效能需求,通常採取在封裝內放入更多矽晶片、在旁邊配置更多記憶體、供應更多電力並增加光纖的做法,每一代雖帶來進步,新增效能所需的晶圓、瓦數與土地也愈來愈多。這不代表產業不必擴產,而是下一個數量級的進步,不能只靠相同方法持續堆疊投入。 她主張產業需同步走兩條路,一方面持續改善既有架構的效率、利用率與成本,另一方面則從新架構、新材料,以及模型和系統設計方式改變成長曲線。當記憶體、網路或電力出現瓶頸時,解方也往往不在瓶頸所在的單一層,而要跨越晶片、系統與軟體共同調整。 Borkar強調,Token本身並不是終點,AI產出還必須進一步轉化為企業生產力與社會價值。她說,這個年代最重要的問題,仍與半導體產業數十年來追問的一樣:「真正產出了什麼?」當AI能以可負擔的成本普及,並讓個人與企業在其上創造價值,才算達到完整的有效產出。

评论 (0)