AI 頻寬瓶頸內移記憶體，SK 海力士與三星以雙路線改寫 HBM 角色

AI 系統的效能瓶頸正持續從運算單元往記憶體端內移，而 SK 海力士與三星則以兩條不同的技術路線回應這項轉變，共同重新定義高頻寬記憶體在系統中的角色。

這種瓶頸的內移有明確的物理基礎。加速器的峰值算力持續以每個世代倍增的速度提升，但記憶體的頻寬成長速度明顯較慢，兩者之間的落差逐年擴大。當運算單元必須花費越來越多時間等待資料送達，實際的運算效率就會遠低於帳面規格，這種現象在大型模型的推論工作上尤其明顯。

高頻寬記憶體的出現原本就是為了緩解這個落差。透過多層記憶體晶粒垂直堆疊，並以極寬的介面與運算晶片連接，HBM 把頻寬提升到傳統記憶體難以企及的水準。但隨著模型規模持續擴大，即使是最新世代的 HBM 也逐漸追不上需求，業界因此開始探索更根本的架構改變。

兩條技術路線的差異，在於處理職責的配置方式。其中一條路線傾向在記憶體堆疊的基底晶片中整合更多邏輯功能，讓部分資料處理在記憶體端就完成，減少往返運算晶片的資料量；另一條則著重於提升介面本身的效率與堆疊密度，在維持既有分工的前提下把頻寬推到更高。

這兩種做法各有取捨。把運算搬進記憶體能大幅減少資料搬運的功耗，但會提高基底晶片的設計複雜度與製造成本，且需要軟體堆疊的配合才能發揮效益；而強化介面的路線相容性較好，客戶導入的門檻低，但受制於物理極限，可提升的空間終究有限。

對整體產業而言，這場路線之爭的結果將影響未來數個世代的系統架構。記憶體業者從被動的元件供應商轉為架構的共同定義者，其在產業鏈中的話語權也隨之提升。後續觀察重點在於主要加速器業者的選擇——當運算晶片的設計必須與特定記憶體架構搭配，客戶的採用決策將實質決定哪條路線成為主流。