Edge0-145B 的卖点不是参数量本身,而是它为「一台消费级电脑」重写的架构:145B 总参数、每 token 只激活 10.12B;48 层、每层 512 个专家;一个 51.2B 参数的 n-gram 嵌入表;再加 GPU、系统内存、SSD 三级管线。本文按 Hugging Face 模型卡(本站 2026 年 11 月 16 日直读)逐项拆解——数字全部来自模型卡与官方博客,技术报告尚未发布,尚无第三方复现。
| 部件 | 规模 | 说明 |
|---|---|---|
| 总参数 | 145B | 每 token 激活 10.12B,约 7% 的参数参与单步计算 |
| 专家池 | 84.6B 参数 | 潜变量宽度 ℓ=1792;每个专家是一条固定 1.63 MB 的记录 |
| n-gram 嵌入表(PLE) | 51.2B 参数 | fp8,从 SSD 内存映射;占总参数约三分之一 |
| MTP 推测解码头 | 1.26B | 草稿模型,512 个专家,用于推测解码 |
| 其余(注意力、词表等) | 约 7.9B | 总参数减去上述三项后的余量 |
145B 的构成值得先看清:专家池 84.6B + n-gram 表 51.2B + MTP 头 1.26B ≈ 137B,余量约 7.9B。也就是说,超过三分之一的参数不在 MoE 专家里,而在一张从 SSD 映射的 n-gram 表里——这是 Edge0-145B 与常规 MoE 最大的结构差异。
Edge0-145B 是潜变量稀疏 MoE(latent sparse MoE):48 层,每层 512 个专家,每 token 路由 10 个专家 + 1 个共享专家激活,SwiGLU 宽度 640。按模型卡的说法,MoE 专家层是重建的——底座 Qwen3.8-Flash-Next 的路由专家在全部 48 层都被替换为潜变量 MoE,随后在 Edge0 自己的数据上做后训练。注意力是混合式:每 4 层一次全注意力,其余层用稀疏索引器(sparse indexer)。
为什么叫「潜变量」:专家不以完整权重矩阵常驻显存,而是以 1.63 MB 的固定记录存在专家池里,按需取用。配合每 token 只激活 10 个专家的稀疏度,单步计算量被压到 10.12B 激活参数——这是「145B 模型、10B 级计算量」这句话的全部含义。代价是显存之外的搬运:专家记录要从系统内存乃至 SSD 流式取回,速度取决于管线而不是算力。
Edge0-145B 的运行方式不是「把模型装进显存」,而是三级分工:GPU 只放当前计算需要的部分,系统内存放专家库,SSD 放 n-gram 词表数据。模型卡公布的实测常驻(RTX 5090 D 24GB)是:NVFP4 构建 23.25 GiB 显存 + 38.27 GiB 系统内存,Q3_K 构建 23.14 GiB 显存 + 31.28 GiB 系统内存;另有约 40GB 专家库在系统内存、约 48GB 词表数据在 SSD 上。博客标题的「29GB 峰值内存」只是 GPU 侧峰值——整机需求 NVFP4 约 61.5 GiB、Q3_K 约 54.4 GiB,见本站安装指南。
这套管线的意义在于门槛的转移:它把「需要 145B 显存」换成「需要一张 16GB+ 显存的 GPU + 31–38 GiB 系统内存 + 约 40–48 GiB 磁盘」。对有大内存台式机的人是好消息,对只有 16GB 统一内存的轻薄本则不是——后者连系统内存这一关都过不了。
按 Edge0 的说法,Edge0-145B 从一开始就是在端侧架构里按 4bit 原生训练的,不是对云端模型的事后量化。这句话如果属实,解释了为什么它敢直接发 Q3_K 与 NVFP4 两个 4bit 构建:权重在训练时就按低精度排布,而不是先训 FP16 再压。但要注意:这是厂商的说法,技术报告尚未发布,训练细节(数据量、训练步数、精度损失对照)目前无从核实。两个构建的实测速度也印证了「原生」的另一面——Q3_K 比 NVFP4 更快(Agent 解码 121.2 对 98.3 tok/s),更低的精度换来了更高的吞吐。
上下文窗口 256K tokens,KV 缓存用 int8,其中 32K 常驻。256K 在端侧模型里算长的——与云端旗舰的 1M 仍有差距,但对本地 Agent 任务(读代码库、长文档问答)已经够用。KV int8 是同一思路的延续:把显存占用再压一档,换取更长的有效上下文。需要注意:模型卡没有公布 256K 满载时的速度衰减与精度表现,长上下文下的实际可用性要等独立实测。
输入是文本 + 图像:模型文件夹里有视觉编码器 mmproj-BF16.gguf,但它需要 strata-vision 帮手,不是 Edge0 代码树内建的;输出是文本。工具调用走本地 OpenAI / Anthropic 兼容服务器。换句话说,视觉与工具调用都有,但视觉那条路目前要多装一个组件——发布第一周的文档没有把它讲得很清楚,装机前先确认 strata-vision 的状态。
| 构建(RTX 5090 D 24GB,厂商实测) | Agent 解码 | 16K 预填充 | 显存 / 系统内存 |
|---|---|---|---|
| NVFP4(47.79 GiB) | 98.3 tok/s | 3165.7 tok/s | 23.25 / 38.27 GiB |
| Q3_K(40.81 GiB) | 121.2 tok/s | 3554.9 tok/s | 23.14 / 31.28 GiB |
另有 Apple M2 Ultra 上的 Metal 实测:Q3_K Agent 解码 57.0 tok/s——注意这是 Metal 速度测量,不是 macOS 可用性证明;发布时 GitHub README 的平台表里没有 145B/120B 的 macOS 支持,见安装指南。博客标题口径(解码 80+ tok/s、预填充 1100+ tok/s、典型功耗约 120W)是两个构建的下限式概括,引用时应带构建名与硬件。