記憶體瓶頸重塑競賽，AI 晶片策略分化出截然不同的路線

記憶體頻寬已成為 AI 晶片的核心瓶頸，而各家業者為了因應這個限制，發展出截然不同的架構策略。這些路線的差異之大，使得它們幾乎像是不同種族的打法——各有優勢、各有適用場景。

要理解為何瓶頸落在記憶體而非運算，得看模型推論的實際運作。生成每一個 token 時，模型必須把大量的權重從記憶體讀取到運算單元；而在多數情況下，運算單元完成計算的速度遠快於資料送達的速度。結果是昂貴的運算資源大部分時間在等待——這正是典型的「記憶體頻寬受限」工作負載。

第一條路線是把記憶體推到極致。透過堆疊高頻寬記憶體並增加堆疊層數與通道數，把可用頻寬盡可能放大。這條路徑的優勢是通用性強，能應對各種模型架構；代價是成本高昂，且高頻寬記憶體本身的供給緊俏，產能取得成為實質限制。

第二條路線是把運算搬到記憶體旁邊，甚至搬進記憶體之內。既然資料搬運是瓶頸，那就縮短搬運距離——把運算單元分布在記憶體陣列附近，讓大部分計算在資料所在地完成。這種架構在特定運算模式下能取得數量級的效率提升，但通用性較差，且需要重新設計軟體堆疊。

第三條路線則是從模型端下手，透過量化、稀疏化與快取策略減少實際需要搬運的資料量。這條路徑的硬體成本最低，但效果高度依賴模型本身的特性，且可能犧牲部分精度。

這些路線的分化，對客戶的選型決策產生實質影響。過去採購 AI 加速器主要比較峰值運算能力，而現在必須評估的是「在自己的工作負載下實際能跑多快」——而這高度取決於模型規模、批次大小與序列長度等參數。同一顆晶片在不同場景下的表現差異，可能達到數倍之多。

從產業格局看，這種分化也改變了競爭的形態。當所有業者都在同一條路線上競爭，勝負取決於製程與規模；而當路線分化，市場便可能切分為多個各有主導者的區隔。這對新進者是機會——不必在通用市場上正面對抗，而可以在特定路線上建立優勢。

對記憶體業者而言，這個瓶頸則是持續的需求保證。無論哪條路線勝出，記憶體在 AI 系統中的價值占比都在提升；這也解釋了為何記憶體業者近期的獲利表現如此強勁。

後續觀察重點包括：各路線在實際部署中的採用比例、記憶體頻寬的技術演進速度，以及軟體生態對非主流架構的支援程度。