Nvidia 布局代理 AI 基礎設施，Vera CPU 獲 SpaceX AI 採用

Nvidia 加速布局代理式 AI 的基礎設施，其 Vera CPU 獲得 SpaceX AI 採用，而 Groq 晶片也同步進入量產。這顯示硬體設計正朝代理式工作負載的特性進行調整。

代理式工作負載與傳統推論的差異，決定了硬體需求的變化。單次問答的推論是短暫且獨立的——請求進入、模型運算、回應送出，過程結束。而代理式任務則是長時間、多步驟的：模型呼叫工具、等待結果、判讀回應、決定下一步，這個循環可能重複數十乃至數百次。整個過程中，大量的上下文必須被維持並反覆存取。

這使得系統的瓶頸從純粹的運算能力，轉向記憶體容量、資料存取速度與 CPU 與加速器之間的協調效率。代理在等待工具執行結果時，加速器可能處於閒置狀態；而狀態的維護、工具的呼叫與外部系統的互動，則大量落在 CPU 端。因此，CPU 在代理式架構中的角色，比在純訓練場景中重要得多。

這也解釋了為何一家以加速器聞名的業者要投入 CPU 產品。與其讓自家加速器搭配第三方處理器，不如提供整合設計的組合——CPU 與加速器之間的互連頻寬、記憶體的共用架構與資料搬運的最佳化，都能在同一設計框架下處理。這種垂直整合在代理式工作負載上的效益，高於在傳統訓練場景中。

SpaceX AI 的採用，則反映了特定應用場景的需求。太空相關的 AI 部署面臨獨特的限制——電力預算嚴格、散熱只能靠輻射、且硬體無法在現場維修。在這些條件下，能效比與可靠度的權重遠高於絕對效能；而整合設計的平台在功耗管理上通常優於拼裝方案。近期已有消息指出相關的衛星發射時程比原先預期提前一年，硬體選型的確定正是推進的前提之一。

Groq 晶片的量產則補上另一塊拼圖。推論專用架構在特定工作負載上的效率優勢，能與通用加速器形成互補——訓練與複雜推理交給通用平台，而高頻的標準推論交給專用晶片。這種分層配置能顯著降低整體的推論成本，而成本正是代理式應用能否規模化的關鍵。

從產業競爭看，這套布局的意義在於防禦與擴張並行。當雲端業者紛紛投入自研晶片以降低成本，既有的加速器供應商必須在客戶尋找替代方案之前，先提供更完整的整合價值。而涵蓋 CPU、加速器、互連與軟體堆疊的完整平台，正是提高替代難度的方式。

後續觀察重點包括：Vera CPU 的實際效能與能效數據、代理式工作負載在資料中心中的占比變化，以及專用推論晶片的採用比例。