ModelBrief · Edge0-145B · 專題
最後更新 2026-11-20
EN 简体 繁體

Edge0-145B 架構:潛變量 MoE 與三級內存管線

ModelBrief · 2026-11-20 發佈 · 事實覈查 2026-11-20 · 參考來源:Hugging Face 模型卡、Edge0 官方博客、GitHub Edge0-AI/Edge0

Edge0-145B 的賣點不是參數量本身,而是它爲「一臺消費級電腦」重寫的架構:145B 總參數、每 token 只激活 10.12B;48 層、每層 512 個專家;一個 51.2B 參數的 n-gram 嵌入表;再加 GPU、系統內存、SSD 三級管線。本文按 Hugging Face 模型卡(本站 2026 年 11 月 16 日直讀)逐項拆解——數字全部來自模型卡與官方博客,技術報告尚未發佈,尚無第三方復現。

一張表:145B 參數裝在哪

部件規模說明
總參數145B每 token 激活 10.12B,約 7% 的參數參與單步計算
專家池84.6B 參數潛變量寬度 ℓ=1792;每個專家是一條固定 1.63 MB 的記錄
n-gram 嵌入表(PLE)51.2B 參數fp8,從 SSD 內存映射;佔總參數約三分之一
MTP 推測解碼頭1.26B草稿模型,512 個專家,用於推測解碼
其餘(注意力、詞表等)約 7.9B總參數減去上述三項後的餘量

145B 的構成值得先看清:專家池 84.6B + n-gram 表 51.2B + MTP 頭 1.26B ≈ 137B,餘量約 7.9B。也就是說,超過三分之一的參數不在 MoE 專家裏,而在一張從 SSD 映射的 n-gram 表裏——這是 Edge0-145B 與常規 MoE 最大的結構差異。

潛變量 MoE:48 層、每層 512 個專家

Edge0-145B 是潛變量稀疏 MoE(latent sparse MoE):48 層,每層 512 個專家,每 token 路由 10 個專家 + 1 個共享專家激活,SwiGLU 寬度 640。按模型卡的說法,MoE 專家層是重建的——底座 Qwen3.8-Flash-Next 的路由專家在全部 48 層都被替換爲潛變量 MoE,隨後在 Edge0 自己的數據上做後訓練。注意力是混合式:每 4 層一次全注意力,其餘層用稀疏索引器(sparse indexer)。

爲什麼叫「潛變量」:專家不以完整權重矩陣常駐顯存,而是以 1.63 MB 的固定記錄存在專家池裏,按需取用。配合每 token 只激活 10 個專家的稀疏度,單步計算量被壓到 10.12B 激活參數——這是「145B 模型、10B 級計算量」這句話的全部含義。代價是顯存之外的搬運:專家記錄要從系統內存乃至 SSD 流式取回,速度取決於管線而不是算力。

三級管線:GPU、系統內存、SSD 各放什麼

Edge0-145B 的運行方式不是「把模型裝進顯存」,而是三級分工:GPU 只放當前計算需要的部分,系統內存放專家庫,SSD 放 n-gram 詞表數據。模型卡公佈的實測常駐(RTX 5090 D 24GB)是:NVFP4 構建 23.25 GiB 顯存 + 38.27 GiB 系統內存,Q3_K 構建 23.14 GiB 顯存 + 31.28 GiB 系統內存;另有約 40GB 專家庫在系統內存、約 48GB 詞表數據在 SSD 上。博客標題的「29GB 峯值內存」只是 GPU 側峯值——整機需求 NVFP4 約 61.5 GiB、Q3_K 約 54.4 GiB,見本站安裝指南。

這套管線的意義在於門檻的轉移:它把「需要 145B 顯存」換成「需要一張 16GB+ 顯存的 GPU + 31–38 GiB 系統內存 + 約 40–48 GiB 磁盤」。對有大內存臺式機的人是好消息,對只有 16GB 統一內存的輕薄本則不是——後者連繫統內存這一關都過不了。

原生 4bit 訓練:不是事後量化

按 Edge0 的說法,Edge0-145B 從一開始就是在端側架構裏按 4bit 原生訓練的,不是對雲端模型的事後量化。這句話如果屬實,解釋了爲什麼它敢直接發 Q3_K 與 NVFP4 兩個 4bit 構建:權重在訓練時就按低精度排布,而不是先訓 FP16 再壓。但要注意:這是廠商的說法,技術報告尚未發佈,訓練細節(數據量、訓練步數、精度損失對照)目前無從覈實。兩個構建的實測速度也印證了「原生」的另一面——Q3_K 比 NVFP4 更快(Agent 解碼 121.2 對 98.3 tok/s),更低的精度換來了更高的吞吐。

256K 上下文與 KV int8

上下文窗口 256K tokens,KV 緩存用 int8,其中 32K 常駐。256K 在端側模型裏算長的——與雲端旗艦的 1M 仍有差距,但對本地 Agent 任務(讀代碼庫、長文檔問答)已經夠用。KV int8 是同一思路的延續:把顯存佔用再壓一檔,換取更長的有效上下文。需要注意:模型卡沒有公佈 256K 滿載時的速度衰減與精度表現,長上下文下的實際可用性要等獨立實測。

多模態輸入與工具調用:有,但要另裝幫手

輸入是文本 + 圖像:模型文件夾裏有視覺編碼器 mmproj-BF16.gguf,但它需要 strata-vision 幫手,不是 Edge0 代碼樹內建的;輸出是文本。工具調用走本地 OpenAI / Anthropic 兼容服務器。換句話說,視覺與工具調用都有,但視覺那條路目前要多裝一個組件——發佈第一週的文檔沒有把它講得很清楚,裝機前先確認 strata-vision 的狀態。

速度實測:兩個構建,兩張成績單

構建(RTX 5090 D 24GB,廠商實測)Agent 解碼16K 預填充顯存 / 系統內存
NVFP4(47.79 GiB)98.3 tok/s3165.7 tok/s23.25 / 38.27 GiB
Q3_K(40.81 GiB)121.2 tok/s3554.9 tok/s23.14 / 31.28 GiB

另有 Apple M2 Ultra 上的 Metal 實測:Q3_K Agent 解碼 57.0 tok/s——注意這是 Metal 速度測量,不是 macOS 可用性證明;發佈時 GitHub README 的平臺表裏沒有 145B/120B 的 macOS 支持,見安裝指南。博客標題口徑(解碼 80+ tok/s、預填充 1100+ tok/s、典型功耗約 120W)是兩個構建的下限式概括,引用時應帶構建名與硬件。

ModelBrief 的看法:這套架構是爲一個明確目標服務的——把 145B 塞進一臺消費級電腦。潛變量 MoE + 三級管線 + 原生 4bit 的組合在紙面上有完整邏輯:激活量小、顯存佔用小、磁盤換內存。但它也有結構性代價:三分之一的參數在 SSD 映射的 n-gram 表裏,速度取決於搬運管線;「原生 4bit 訓練」的說法尚未有技術報告背書。架構可信,驗證未到。