ModelBrief · Edge0-145B · 專題
最後更新 2026-11-20
EN 简体 繁體

Edge0-145B 安裝運行指南:CUDA 13 與 16GB 顯存

ModelBrief · 2026-11-20 發佈 · 事實覈查 2026-11-20 · 參考來源:Hugging Face 模型卡、GitHub Edge0-AI/Edge0、Edge0 官方博客

Edge0-145B 發佈當天就能裝——這是它相對純論文模型的最大優勢。但「能裝」不等於「隨便一臺電腦都能裝」:官方標題的「29GB 就能跑」與出貨文檔的門檻之間有一道縫,Mac 支持更是一處明確的出入。本文按 GitHub v0.2.0 發佈說明與 Hugging Face 模型卡,把門檻、兩個構建的選擇、安裝步驟與 Mac 現狀一次寫清。注意:本站沒有實機跑過以下步驟,命令與路徑以 GitHub README 爲準。

先對門檻:你的機器夠格嗎

項目門檻(GitHub v0.2.0 發佈說明)
GPUNVIDIA GPU,計算能力 7.5+,16 GiB 顯存起
系統內存20 GiB起(實測整機需求更高,見下表)
系統Linux 或 Windows(構建說明針對 NVIDIA GPU + CUDA 13);x64 與 arm64 均有安裝包
CUDACUDA Toolkit 13
磁盤權重文件 40.81 或 47.79 GiB,另需約 40GB 專家庫(系統內存)與約 48GB 詞表數據(SSD)

16GB 顯存是底線,不是推薦值:模型卡的實測常駐(RTX 5090 D 24GB)是 NVFP4 23.25 GiB 顯存 + 38.27 GiB 系統內存、Q3_K 23.14 GiB 顯存 + 31.28 GiB 系統內存。也就是說,一張 16GB 顯存的卡按官方門檻「能進門」,但 24GB 顯存的卡纔是實測環境;系統內存 20 GiB 是底線,實測要 31–38 GiB。裝機前先確認內存——顯存不夠會直接失敗,系統內存不夠會在加載專家庫時失敗。

Q3_K 與 NVFP4 怎麼選

項目(RTX 5090 D 24GB,廠商實測)Q3_KNVFP4
權重文件40.81 GiB47.79 GiB
顯存佔用23.14 GiB23.25 GiB
系統內存佔用31.28 GiB38.27 GiB
整機合計約 54.4 GiB約 61.5 GiB
Agent 解碼121.2 tok/s98.3 tok/s
16K 預填充3554.9 tok/s3165.7 tok/s
倉庫Edge0/Edge0-145B-q3kEdge0/Edge0-145B-NVFP4

默認選 Q3_K。文件更小(40.81 對 47.79 GiB)、系統內存更少(31.28 對 38.27 GiB)、速度更快(解碼 121.2 對 98.3 tok/s)——三項全勝。NVFP4 的優勢在精度:4bit 浮點格式理論上比 3bit 量化保留更多細節,但官方沒有公佈兩者在基準上的分數差,無法量化「精度換速度」到底值多少。沒有特殊理由時先裝 Q3_K;對數值精度敏感的任務再試 NVFP4 對照。

安裝步驟:四步跑起來

第一步,確認環境。按上表覈對 GPU(計算能力 7.5+、16 GiB+ 顯存)、系統內存(20 GiB+,建議 32 GiB+)、CUDA Toolkit 13、Linux 或 Windows。磁盤至少留出 50 GiB 給權重文件,另留約 48GB 給詞表數據。

第二步,下載權重。從 Hugging Face 下載對應構建:Q3_K(Edge0/Edge0-145B-q3k)或 NVFP4(Edge0/Edge0-145B-NVFP4)。權重不隨 edge0-infer 安裝包附帶——v0.2.0 發佈說明明確寫了這一點,145B 權重需另行下載。

第三步,安裝 edge0-infer。從 GitHub Edge0-AI/Edge0 獲取 edge0-infer v0.2.0(2026 年 11 月 11 日發佈說明),Windows 有 x64 與 arm64 安裝包。框架與部署代碼是 Apache 2.0。按倉庫 README 的構建說明操作——構建目標是 NVIDIA GPU + CUDA 13 的 Linux 或 Windows。

第四步,啓動本地服務或對話。edge0-infer 提供本地服務(serve)與對話(chat)入口,本地服務器兼容 OpenAI 與 Anthropic 的 Messages API——也就是說,跑起來之後可以用現成的 OpenAI / Anthropic 客戶端代碼接它,工具調用也走這條本地服務。視覺輸入需要 strata-vision 幫手(不在 Edge0 代碼樹內建),裝機時另行確認其狀態。

權重: Hugging Face Edge0/Edge0-145B-q3k(40.81 GiB)或 Edge0/Edge0-145B-NVFP4(47.79 GiB) 框架: GitHub Edge0-AI/Edge0,edge0-infer v0.2.0(2026-11-11) 門檻: NVIDIA GPU(計算能力 7.5+)、16 GiB+ 顯存、20 GiB+ 系統內存、CUDA 13 服務: edge0-infer 本地服務,兼容 OpenAI / Anthropic Messages API 桌面: Edge0 App(Windows);核心能力離線可用、無需賬號與用量配額

Edge0 App:有,但只有 Windows

不想走命令行的用戶可以用桌面應用 Edge0 App:按官方博客口徑,核心能力離線可用、無需賬號與用量配額。但 v0.2.0 的 Edge0 Chat 桌面安裝包只有 Windows 版。也就是說,「下載應用、點開即用」這條路目前只對 Windows 用戶成立,Linux 用戶走 edge0-infer 命令行,Mac 用戶見下一節。

Mac 現狀:如實寫,發佈時不支持

這是發佈後爭議最大的一點,必須如實寫:官方博客稱發佈首日支持 macOS / Apple M 系列 / RTX Spark / RTX 4090 / 5090,並以「MacBook Pro」爲例宣傳;但 GitHub README 的平臺表(多方 11 月 13 日讀取)裏沒有 145B/120B 的 macOS 支持——構建說明針對 NVIDIA GPU + CUDA 13 的 Linux 或 Windows;v0.2.0 的 Edge0 Chat 桌面包只有 Windows 版。Apple M2 Ultra 上的 57.0 tok/s(Q3_K,Agent 解碼)是 Metal 速度測量,不是 macOS 可用性證明。結論:發佈時不要按「MacBook Pro 能跑」去買設備或做計劃;等官方在 README 里加上 macOS 支持、或發佈 Mac 版 Edge0 App 再說。中文批評文章 newtoken.link 的標題很直接——「Edge0 的 1450 億參數模型首發版跑不了 Mac」,截至 11 月 20 日這個判斷仍然成立。

裝機警告:不要只按「29GB」準備機器——那是 GPU 側峯值,整機 NVFP4 約 61.5 GiB、Q3_K 約 54.4 GiB(顯存 + 系統內存),另需約 40–48 GiB 磁盤;MacBook Pro 發佈時跑不了 145B/120B,README 無 macOS 支持、Edge0 App 只有 Windows;權重須另從 Hugging Face 下載,不隨安裝包附帶;商業服務用途須另籤書面許可,見許可證專文。
ModelBrief 的看法:這是一份「能裝,但要先對三張表」的指南:門檻表(16GB 顯存是底線、24GB 纔是實測環境)、構建表(默認 Q3_K,三項全勝)、平臺表(Linux/Windows 可裝,Mac 發佈時不支持)。標題的 29GB 與 MacBook Pro 各有一半沒說完——按本文的數字準備機器,就不會在下載 40GB 權重之後才發現內存不夠或系統不支持。