OpenAI 公布 Jalapeño 首輪實測:推理基建開始直接為 Agent 而設

OpenAI 公布自研 Jalapeño 推理晶片的首輪結果,稱在多個模型和互動工作負載中改善每瓦 AI 工作量及端到端延遲;但數據仍是廠商自報,並未經獨立重現。

OpenAI 於 2026 年 8 月 25 日公布 Jalapeño 的首輪實測結果。這是繼 6 月公布與 Broadcom 合作研發自訂 AI 晶片之後的新進展,焦點由「正在打造」轉到「在測試中表現如何」。OpenAI 表示,Jalapeño 是一款為推理而設的自研晶片,會和記憶體、網絡及軟件一同設計,目標是處理對延遲敏感、而且會持續呼叫工具的互動式 Agent 工作。

OpenAI 使用 SemiAnalysis 公開的 InferenceX 基準,比較 GPT-OSS 120B、DeepSeek R1 670B 及 Kimi K2.5 1T 等模型。按 OpenAI 的量測,Jalapeño 在峰值負載下每瓦可完成多 1.5 至 1.9 倍 AI 工作,端到端延遲則低 1.7 至 3.6 倍;對互動式工作負載,OpenAI 報告的效能提升為 2.1 至 4.1 倍。這些數字必須理解為 OpenAI 自己的測試結果,而非已由獨立實驗室確認的行業基準。

這次實測的重點不只是晶片本身。OpenAI 說明,InferenceX 會把 prefill、decode、記憶體存取、網絡傳輸和資料搬運放在同一個使用者體驗中衡量。對 Agent 而言,一次工作可能要讀取資料、呼叫工具、等待回覆,再生成下一步指令;如果每一個回合都只改善一點點,整條流程的等待時間仍會累積。因此,比單看 token 速度更有意義的是完成一個成功工作所需的延遲、能耗和成本。

OpenAI 亦提到,Jalapeño 的額定功耗為 700W,但測得的持續功耗不超過 550W;其比較系統的標示功耗則為 1,200W 和 1,400W。這些功耗和效能比較同樣取決於測試配置、模型、軟件版本和工作負載,不能直接推論所有模型或生產環境都會得到相同比例的改善。AI 基建的實際收益仍要看部署密度、冷卻、網絡瓶頸、利用率及每項工作所需的工具呼叫次數。

另一個有意思的訊號是設計流程。OpenAI 表示,Jalapeño 從架構到 tape-out 只用了九個月,並以 AI 協助部分設計;其中選定的 GPT-OSS 硬件區塊按公司說法快 1.5 至 1.8 倍。這是選定區塊的結果,不代表整枚晶片或整個模型都由 AI 造成同樣提升。它反映的是一條更長遠的路線:模型公司可能同時把 AI 用在模型、編譯器、硬件設計和運行時優化。

OpenAI 計劃在 2026 年底前開始把 Jalapeño 放進自己的計算基建,但目前仍在 qualification、軟件成熟和更多模型驗證階段。公司也明確表示會繼續使用 NVIDIA 及其他加速器,並不是即時取代現有供應商。對市場而言,真正要觀察的是新晶片能否在不同模型、不同工具鏈和長時間運行中保持結果,而不是一次發布中的最高數字。

Jalapeño 這次更新值得留意,因為它把 Agent 基建的衡量方式拉近真實工作流程:成功率、回合間延遲、每次完成工作的能耗,以及在尖峰時段仍能否穩定取得容量。可是,現階段所有主要效能和部署時間表仍來自 OpenAI 的發布內容,尚未有公開的獨立複測。較穩妥的結論是,OpenAI 正嘗試把推理硬件和互動 Agent 的需求一起最佳化,而這個方向仍要由後續部署驗證。

MODULE.002 //

更多 Insights

分享網站、AI automation、數碼營銷、AI news 和 VMTS 公司新聞。