ModelBrief · Edge0-145B · 专题
最后更新 2026-11-20
EN 简体 繁體

Edge0-145B 架构:潜变量 MoE 与三级内存管线

ModelBrief · 2026-11-20 发布 · 事实核查 2026-11-20 · 参考来源:Hugging Face 模型卡、Edge0 官方博客、GitHub Edge0-AI/Edge0

Edge0-145B 的卖点不是参数量本身,而是它为「一台消费级电脑」重写的架构:145B 总参数、每 token 只激活 10.12B;48 层、每层 512 个专家;一个 51.2B 参数的 n-gram 嵌入表;再加 GPU、系统内存、SSD 三级管线。本文按 Hugging Face 模型卡(本站 2026 年 11 月 16 日直读)逐项拆解——数字全部来自模型卡与官方博客,技术报告尚未发布,尚无第三方复现。

一张表:145B 参数装在哪

部件规模说明
总参数145B每 token 激活 10.12B,约 7% 的参数参与单步计算
专家池84.6B 参数潜变量宽度 ℓ=1792;每个专家是一条固定 1.63 MB 的记录
n-gram 嵌入表(PLE)51.2B 参数fp8,从 SSD 内存映射;占总参数约三分之一
MTP 推测解码头1.26B草稿模型,512 个专家,用于推测解码
其余(注意力、词表等)约 7.9B总参数减去上述三项后的余量

145B 的构成值得先看清:专家池 84.6B + n-gram 表 51.2B + MTP 头 1.26B ≈ 137B,余量约 7.9B。也就是说,超过三分之一的参数不在 MoE 专家里,而在一张从 SSD 映射的 n-gram 表里——这是 Edge0-145B 与常规 MoE 最大的结构差异。

潜变量 MoE:48 层、每层 512 个专家

Edge0-145B 是潜变量稀疏 MoE(latent sparse MoE):48 层,每层 512 个专家,每 token 路由 10 个专家 + 1 个共享专家激活,SwiGLU 宽度 640。按模型卡的说法,MoE 专家层是重建的——底座 Qwen3.8-Flash-Next 的路由专家在全部 48 层都被替换为潜变量 MoE,随后在 Edge0 自己的数据上做后训练。注意力是混合式:每 4 层一次全注意力,其余层用稀疏索引器(sparse indexer)。

为什么叫「潜变量」:专家不以完整权重矩阵常驻显存,而是以 1.63 MB 的固定记录存在专家池里,按需取用。配合每 token 只激活 10 个专家的稀疏度,单步计算量被压到 10.12B 激活参数——这是「145B 模型、10B 级计算量」这句话的全部含义。代价是显存之外的搬运:专家记录要从系统内存乃至 SSD 流式取回,速度取决于管线而不是算力。

三级管线:GPU、系统内存、SSD 各放什么

Edge0-145B 的运行方式不是「把模型装进显存」,而是三级分工:GPU 只放当前计算需要的部分,系统内存放专家库,SSD 放 n-gram 词表数据。模型卡公布的实测常驻(RTX 5090 D 24GB)是:NVFP4 构建 23.25 GiB 显存 + 38.27 GiB 系统内存,Q3_K 构建 23.14 GiB 显存 + 31.28 GiB 系统内存;另有约 40GB 专家库在系统内存、约 48GB 词表数据在 SSD 上。博客标题的「29GB 峰值内存」只是 GPU 侧峰值——整机需求 NVFP4 约 61.5 GiB、Q3_K 约 54.4 GiB,见本站安装指南。

这套管线的意义在于门槛的转移:它把「需要 145B 显存」换成「需要一张 16GB+ 显存的 GPU + 31–38 GiB 系统内存 + 约 40–48 GiB 磁盘」。对有大内存台式机的人是好消息,对只有 16GB 统一内存的轻薄本则不是——后者连系统内存这一关都过不了。

原生 4bit 训练:不是事后量化

按 Edge0 的说法,Edge0-145B 从一开始就是在端侧架构里按 4bit 原生训练的,不是对云端模型的事后量化。这句话如果属实,解释了为什么它敢直接发 Q3_K 与 NVFP4 两个 4bit 构建:权重在训练时就按低精度排布,而不是先训 FP16 再压。但要注意:这是厂商的说法,技术报告尚未发布,训练细节(数据量、训练步数、精度损失对照)目前无从核实。两个构建的实测速度也印证了「原生」的另一面——Q3_K 比 NVFP4 更快(Agent 解码 121.2 对 98.3 tok/s),更低的精度换来了更高的吞吐。

256K 上下文与 KV int8

上下文窗口 256K tokens,KV 缓存用 int8,其中 32K 常驻。256K 在端侧模型里算长的——与云端旗舰的 1M 仍有差距,但对本地 Agent 任务(读代码库、长文档问答)已经够用。KV int8 是同一思路的延续:把显存占用再压一档,换取更长的有效上下文。需要注意:模型卡没有公布 256K 满载时的速度衰减与精度表现,长上下文下的实际可用性要等独立实测。

多模态输入与工具调用:有,但要另装帮手

输入是文本 + 图像:模型文件夹里有视觉编码器 mmproj-BF16.gguf,但它需要 strata-vision 帮手,不是 Edge0 代码树内建的;输出是文本。工具调用走本地 OpenAI / Anthropic 兼容服务器。换句话说,视觉与工具调用都有,但视觉那条路目前要多装一个组件——发布第一周的文档没有把它讲得很清楚,装机前先确认 strata-vision 的状态。

速度实测:两个构建,两张成绩单

构建(RTX 5090 D 24GB,厂商实测)Agent 解码16K 预填充显存 / 系统内存
NVFP4(47.79 GiB)98.3 tok/s3165.7 tok/s23.25 / 38.27 GiB
Q3_K(40.81 GiB)121.2 tok/s3554.9 tok/s23.14 / 31.28 GiB

另有 Apple M2 Ultra 上的 Metal 实测:Q3_K Agent 解码 57.0 tok/s——注意这是 Metal 速度测量,不是 macOS 可用性证明;发布时 GitHub README 的平台表里没有 145B/120B 的 macOS 支持,见安装指南。博客标题口径(解码 80+ tok/s、预填充 1100+ tok/s、典型功耗约 120W)是两个构建的下限式概括,引用时应带构建名与硬件。

ModelBrief 的看法:这套架构是为一个明确目标服务的——把 145B 塞进一台消费级电脑。潜变量 MoE + 三级管线 + 原生 4bit 的组合在纸面上有完整逻辑:激活量小、显存占用小、磁盘换内存。但它也有结构性代价:三分之一的参数在 SSD 映射的 n-gram 表里,速度取决于搬运管线;「原生 4bit 训练」的说法尚未有技术报告背书。架构可信,验证未到。