原文標題:Introducing Llama Windows: llama.cpp in your Windows tray

Hugging Face 於 10 月 13 日推出 Llama Windows,這是一套免費且開放原始碼的 Windows 11 應用程式,將 llama.cpp 模型執行環境整合至系統通知區域。使用者不必先準備命令列、手動編譯執行檔或自行挑選量化版本,即可從 Hugging Face Hub 選擇模型、下載並載入。官方將其定位為 macOS 版 llama.app 的 Windows 對應產品。

對需要把模型接入自己的應用程式的開發者,Llama Windows 並不只提供聊天介面。它會在本機啟動 llama.cpp 伺服器,預設位址為 localhost:9931,並提供相容 OpenAI API 的介面;開發者可以透過 /models 查詢可用模型,再以相容客戶端進行呼叫。這讓本地端程式、腳本與代理可以共用同一套模型環境。

模型檔案使用標準 Hugging Face 快取位置 %USERPROFILE%\.cache\huggingface\hub,與其他 Hugging Face 工具共用,避免重複下載;使用者也可將快取搬到其他磁碟。設定中加入存取權杖後,可以使用有存取限制或私有的模型儲存庫。每日診斷日誌保留七天,位置在 %LOCALAPPDATA%\LlamaApp\logs。

官方強調推論在裝置本地進行,並宣稱無須將提示與資料送到遠端服務。初版也支援 Windows on Arm 與 NVIDIA RTX Spark。開源程式碼包含 WinUI 3 應用與 .NET 元件,供社群檢視與貢獻。需要注意的是,官方明確寫的是 Windows 11,不能直接推論 Windows 10 也受支援;模型能否順暢執行仍取決於硬體與模型大小。

發生了什麼事

Hugging Face 於 10 月 13 日推出 Llama Windows,這是一套免費且開放原始碼的 Windows 11 應用程式,將 llama.cpp 模型執行環境整合至系統通知區域。使用者不必先準備命令列、手動編譯執行檔或自行挑選量化版本,即可從 Hugging Face Hub 選擇模型、下載並載入。官方將其定位為 macOS 版 llama.app 的 Windows 對應產品。

為什麼重要

讓 llama.cpp 的部署門檻降低,同時保留本機 API,可能促進個人與企業內部工具使用開放模型。

影響哪些人

Windows 11 使用者、本地模型愛好者、開發者及重視資料留在裝置端的團隊可評估。

已確認與未確認

已確認 Windows 11、預設本機埠、快取與開源資訊;Windows 10 支援及各 GPU 實際效能未獲官方確認。