AI 基礎設施峰會聚焦記憶體荒，HBF、HBC 新技術受矚目

在矽谷舉行的 AI 基礎設施峰會上，科技巨頭將焦點集中在產業瓶頸，記憶體短缺成為討論核心。任職 Google 的圖靈獎得主 David Patterson 直言，AI 產業目前第一大瓶頸就是記憶體，而 HBF、HBC 等新型記憶體技術也因此受到高度矚目。

記憶體之所以成為瓶頸，與大型模型的運算特性密切相關。模型訓練與推論需要在極短時間內搬運大量參數與中間資料，運算晶片的速度再快，若記憶體頻寬與容量跟不上，效能就會被卡住，也就是業界常說的「記憶體牆」。隨著模型規模與上下文長度持續增加，這道牆的影響越來越明顯。

目前 AI 加速器主要仰賴高頻寬記憶體 HBM，但 HBM 製程複雜、產能有限，價格也持續走高。HBF（高頻寬快閃記憶體）的概念是以快閃記憶體堆疊提供更大容量，用於需要大量資料但對延遲要求稍低的場景；HBC 等新架構則試圖從不同方向補足容量與成本的缺口。業界分析人士指出，未來 AI 系統很可能走向多層次記憶體架構，依資料冷熱程度分層配置。

記憶體荒的影響已擴散到整個科技產業。今年以來部分消費性電子產品因記憶體成本上升而調漲售價，雲端業者也面臨採購成本增加的壓力。對記憶體製造商而言，這是難得的定價優勢期，但擴產需要時間，短期內供需緊張難以快速緩解。

對台灣產業而言，記憶體架構的轉變牽動先進封裝、控制晶片與模組廠的機會。新型記憶體若要與運算晶片緊密整合，封裝技術將扮演關鍵角色，相關供應鏈有機會隨技術演進擴大參與。

後續觀察重點在於 HBF 等新技術的量產時程與實際應用案例，以及主要雲端業者是否在下一代 AI 系統中導入。記憶體瓶頸何時緩解，將直接影響 AI 算力成本的走向。