Nvidia 發表 AVO 架構，讓模型得以完成長時間任務

Nvidia 發表名為 AVO 的架構，目標是讓模型能夠持續處理長時間、多步驟的任務而不失去脈絡。這直接回應了當前代理式應用最核心的技術瓶頸。

要理解這個瓶頸，得先看長時間任務的實際運作。當代理執行一項複雜工作——例如完成一段程式的重構、整理大量文件或執行多階段的資料處理——它必須在數十乃至數百個步驟中維持對目標的理解、記住已完成的部分、並在遇到阻礙時調整策略。而每一個步驟都會產生新的上下文，累積下來很快就超出模型能處理的範圍。

上下文長度的限制帶來幾個具體問題。最直接的是遺忘——當早期的指令與決策被擠出上下文窗口，代理可能重複已完成的工作，或做出與先前決策矛盾的判斷。其次是成本，每一次呼叫都必須重新處理累積的上下文，計算量隨任務長度呈平方成長。第三是品質衰減，研究普遍顯示模型在超長上下文中對中段資訊的注意力明顯下降。

既有的因應方式各有限制。摘要壓縮能減少上下文長度，但壓縮本身會遺失細節，且判斷「什麼可以丟」需要對任務的理解；外部記憶體檢索能保留完整資訊，但檢索的準確度成為新的瓶頸；而分段執行則需要在段落之間傳遞狀態，容易在交接處出錯。這些方法都是在既有架構上的補救，而非根本解決。

從產業競爭的角度，這個方向的重要性正在上升。當前 AI 應用的價值重心正從單次問答轉向自主完成工作——而後者的商業價值遠高於前者，因為它替代的是完整的工作流程而非單一動作。能否可靠地執行長時間任務，直接決定了代理式應用能否從展示走向生產環境。

對硬體業者而言，投入架構層面的創新也有其策略考量。單純提供更快的加速器，其優勢會隨著競爭者追趕而縮小；而定義模型的執行架構，則能把優勢建立在軟體與生態層面。這與該公司長期以來透過軟體堆疊建立護城河的邏輯一致。

不過，架構創新的實際效果需要驗證。長時間任務的評測本身就相當困難——它需要真實的複雜工作負載，而非標準化的基準測試；同時，可靠度的提升是統計性的，需要大量實例才能判斷改善幅度。

後續觀察重點包括：架構的技術細節與實測數據、開發框架的支援程度，以及代理式應用在生產環境中的可靠度變化。