Perplexity 將開源 Apple Silicon 專用的 Lily AI 推論引擎

Perplexity 宣布將開源其針對 Apple Silicon 最佳化的 Lily 推論引擎，主打更快的本機執行速度。這項決定呼應了近期本機 AI 運算需求的明顯上升。

推論引擎在 AI 應用堆疊中扮演承上啟下的角色。它負責把訓練好的模型轉換為能在特定硬體上高效執行的形式，處理記憶體配置、運算排程、量化壓縮與硬體加速單元的調用。同樣的模型在不同引擎上執行，速度差異可能達到數倍。

針對 Apple Silicon 最佳化，有其特定的技術基礎。這個平台採用統一記憶體架構，處理器、圖形核心與神經引擎共用同一塊高頻寬記憶體，這種設計在執行大型模型時具備獨特優勢——模型參數不需在不同記憶體空間之間搬運。但要充分發揮這項優勢，引擎必須針對其記憶體模型與運算單元特性進行深度調整。

本機推論的需求上升，來自幾個方向。隱私是其中之一——當處理的資料涉及個人或商業機密，不離開裝置的處理方式有明確價值；成本是另一項，高頻率的模型呼叫在雲端會產生持續的費用，而本機執行的邊際成本趨近於零；此外，離線可用性與延遲表現也是實際的考量。

開源的策略選擇則有多重效益。對業者而言，開源能吸引社群貢獻、加速最佳化的進展，並在開發者心中建立技術聲譽；同時，若引擎成為特定平台上的事實標準，業者在生態系中的位置也會更為穩固。這是近年基礎工具層常見的競爭策略。

後續觀察重點在於實際的效能表現與社群採用度。推論引擎領域已有多個成熟的開源選項，新進者要取得採用需要在特定場景上展現明確優勢。若能在 Apple Silicon 平台上建立效能領先，其在本機 AI 應用開發中的地位將相當可觀。