Edge0-145B 的賣點不是參數量本身,而是它爲「一臺消費級電腦」重寫的架構:145B 總參數、每 token 只激活 10.12B;48 層、每層 512 個專家;一個 51.2B 參數的 n-gram 嵌入表;再加 GPU、系統內存、SSD 三級管線。本文按 Hugging Face 模型卡(本站 2026 年 11 月 16 日直讀)逐項拆解——數字全部來自模型卡與官方博客,技術報告尚未發佈,尚無第三方復現。
| 部件 | 規模 | 說明 |
|---|---|---|
| 總參數 | 145B | 每 token 激活 10.12B,約 7% 的參數參與單步計算 |
| 專家池 | 84.6B 參數 | 潛變量寬度 ℓ=1792;每個專家是一條固定 1.63 MB 的記錄 |
| n-gram 嵌入表(PLE) | 51.2B 參數 | fp8,從 SSD 內存映射;佔總參數約三分之一 |
| MTP 推測解碼頭 | 1.26B | 草稿模型,512 個專家,用於推測解碼 |
| 其餘(注意力、詞表等) | 約 7.9B | 總參數減去上述三項後的餘量 |
145B 的構成值得先看清:專家池 84.6B + n-gram 表 51.2B + MTP 頭 1.26B ≈ 137B,餘量約 7.9B。也就是說,超過三分之一的參數不在 MoE 專家裏,而在一張從 SSD 映射的 n-gram 表裏——這是 Edge0-145B 與常規 MoE 最大的結構差異。
Edge0-145B 是潛變量稀疏 MoE(latent sparse MoE):48 層,每層 512 個專家,每 token 路由 10 個專家 + 1 個共享專家激活,SwiGLU 寬度 640。按模型卡的說法,MoE 專家層是重建的——底座 Qwen3.8-Flash-Next 的路由專家在全部 48 層都被替換爲潛變量 MoE,隨後在 Edge0 自己的數據上做後訓練。注意力是混合式:每 4 層一次全注意力,其餘層用稀疏索引器(sparse indexer)。
爲什麼叫「潛變量」:專家不以完整權重矩陣常駐顯存,而是以 1.63 MB 的固定記錄存在專家池裏,按需取用。配合每 token 只激活 10 個專家的稀疏度,單步計算量被壓到 10.12B 激活參數——這是「145B 模型、10B 級計算量」這句話的全部含義。代價是顯存之外的搬運:專家記錄要從系統內存乃至 SSD 流式取回,速度取決於管線而不是算力。
Edge0-145B 的運行方式不是「把模型裝進顯存」,而是三級分工:GPU 只放當前計算需要的部分,系統內存放專家庫,SSD 放 n-gram 詞表數據。模型卡公佈的實測常駐(RTX 5090 D 24GB)是:NVFP4 構建 23.25 GiB 顯存 + 38.27 GiB 系統內存,Q3_K 構建 23.14 GiB 顯存 + 31.28 GiB 系統內存;另有約 40GB 專家庫在系統內存、約 48GB 詞表數據在 SSD 上。博客標題的「29GB 峯值內存」只是 GPU 側峯值——整機需求 NVFP4 約 61.5 GiB、Q3_K 約 54.4 GiB,見本站安裝指南。
這套管線的意義在於門檻的轉移:它把「需要 145B 顯存」換成「需要一張 16GB+ 顯存的 GPU + 31–38 GiB 系統內存 + 約 40–48 GiB 磁盤」。對有大內存臺式機的人是好消息,對只有 16GB 統一內存的輕薄本則不是——後者連繫統內存這一關都過不了。
按 Edge0 的說法,Edge0-145B 從一開始就是在端側架構裏按 4bit 原生訓練的,不是對雲端模型的事後量化。這句話如果屬實,解釋了爲什麼它敢直接發 Q3_K 與 NVFP4 兩個 4bit 構建:權重在訓練時就按低精度排布,而不是先訓 FP16 再壓。但要注意:這是廠商的說法,技術報告尚未發佈,訓練細節(數據量、訓練步數、精度損失對照)目前無從覈實。兩個構建的實測速度也印證了「原生」的另一面——Q3_K 比 NVFP4 更快(Agent 解碼 121.2 對 98.3 tok/s),更低的精度換來了更高的吞吐。
上下文窗口 256K tokens,KV 緩存用 int8,其中 32K 常駐。256K 在端側模型裏算長的——與雲端旗艦的 1M 仍有差距,但對本地 Agent 任務(讀代碼庫、長文檔問答)已經夠用。KV int8 是同一思路的延續:把顯存佔用再壓一檔,換取更長的有效上下文。需要注意:模型卡沒有公佈 256K 滿載時的速度衰減與精度表現,長上下文下的實際可用性要等獨立實測。
輸入是文本 + 圖像:模型文件夾裏有視覺編碼器 mmproj-BF16.gguf,但它需要 strata-vision 幫手,不是 Edge0 代碼樹內建的;輸出是文本。工具調用走本地 OpenAI / Anthropic 兼容服務器。換句話說,視覺與工具調用都有,但視覺那條路目前要多裝一個組件——發佈第一週的文檔沒有把它講得很清楚,裝機前先確認 strata-vision 的狀態。
| 構建(RTX 5090 D 24GB,廠商實測) | Agent 解碼 | 16K 預填充 | 顯存 / 系統內存 |
|---|---|---|---|
| NVFP4(47.79 GiB) | 98.3 tok/s | 3165.7 tok/s | 23.25 / 38.27 GiB |
| Q3_K(40.81 GiB) | 121.2 tok/s | 3554.9 tok/s | 23.14 / 31.28 GiB |
另有 Apple M2 Ultra 上的 Metal 實測:Q3_K Agent 解碼 57.0 tok/s——注意這是 Metal 速度測量,不是 macOS 可用性證明;發佈時 GitHub README 的平臺表裏沒有 145B/120B 的 macOS 支持,見安裝指南。博客標題口徑(解碼 80+ tok/s、預填充 1100+ tok/s、典型功耗約 120W)是兩個構建的下限式概括,引用時應帶構建名與硬件。