ModelBrief · Edge0-145B · 专题
最后更新 2026-11-20
EN 简体 繁體

Edge0-145B 安装运行指南:CUDA 13 与 16GB 显存

ModelBrief · 2026-11-20 发布 · 事实核查 2026-11-20 · 参考来源:Hugging Face 模型卡、GitHub Edge0-AI/Edge0、Edge0 官方博客

Edge0-145B 发布当天就能装——这是它相对纯论文模型的最大优势。但「能装」不等于「随便一台电脑都能装」:官方标题的「29GB 就能跑」与出货文档的门槛之间有一道缝,Mac 支持更是一处明确的出入。本文按 GitHub v0.2.0 发布说明与 Hugging Face 模型卡,把门槛、两个构建的选择、安装步骤与 Mac 现状一次写清。注意:本站没有实机跑过以下步骤,命令与路径以 GitHub README 为准。

先对门槛:你的机器够格吗

项目门槛(GitHub v0.2.0 发布说明)
GPUNVIDIA GPU,计算能力 7.5+,16 GiB 显存起
系统内存20 GiB起(实测整机需求更高,见下表)
系统Linux 或 Windows(构建说明针对 NVIDIA GPU + CUDA 13);x64 与 arm64 均有安装包
CUDACUDA Toolkit 13
磁盘权重文件 40.81 或 47.79 GiB,另需约 40GB 专家库(系统内存)与约 48GB 词表数据(SSD)

16GB 显存是底线,不是推荐值:模型卡的实测常驻(RTX 5090 D 24GB)是 NVFP4 23.25 GiB 显存 + 38.27 GiB 系统内存、Q3_K 23.14 GiB 显存 + 31.28 GiB 系统内存。也就是说,一张 16GB 显存的卡按官方门槛「能进门」,但 24GB 显存的卡才是实测环境;系统内存 20 GiB 是底线,实测要 31–38 GiB。装机前先确认内存——显存不够会直接失败,系统内存不够会在加载专家库时失败。

Q3_K 与 NVFP4 怎么选

项目(RTX 5090 D 24GB,厂商实测)Q3_KNVFP4
权重文件40.81 GiB47.79 GiB
显存占用23.14 GiB23.25 GiB
系统内存占用31.28 GiB38.27 GiB
整机合计约 54.4 GiB约 61.5 GiB
Agent 解码121.2 tok/s98.3 tok/s
16K 预填充3554.9 tok/s3165.7 tok/s
仓库Edge0/Edge0-145B-q3kEdge0/Edge0-145B-NVFP4

默认选 Q3_K。文件更小(40.81 对 47.79 GiB)、系统内存更少(31.28 对 38.27 GiB)、速度更快(解码 121.2 对 98.3 tok/s)——三项全胜。NVFP4 的优势在精度:4bit 浮点格式理论上比 3bit 量化保留更多细节,但官方没有公布两者在基准上的分数差,无法量化「精度换速度」到底值多少。没有特殊理由时先装 Q3_K;对数值精度敏感的任务再试 NVFP4 对照。

安装步骤:四步跑起来

第一步,确认环境。按上表核对 GPU(计算能力 7.5+、16 GiB+ 显存)、系统内存(20 GiB+,建议 32 GiB+)、CUDA Toolkit 13、Linux 或 Windows。磁盘至少留出 50 GiB 给权重文件,另留约 48GB 给词表数据。

第二步,下载权重。从 Hugging Face 下载对应构建:Q3_K(Edge0/Edge0-145B-q3k)或 NVFP4(Edge0/Edge0-145B-NVFP4)。权重不随 edge0-infer 安装包附带——v0.2.0 发布说明明确写了这一点,145B 权重需另行下载。

第三步,安装 edge0-infer。从 GitHub Edge0-AI/Edge0 获取 edge0-infer v0.2.0(2026 年 11 月 11 日发布说明),Windows 有 x64 与 arm64 安装包。框架与部署代码是 Apache 2.0。按仓库 README 的构建说明操作——构建目标是 NVIDIA GPU + CUDA 13 的 Linux 或 Windows。

第四步,启动本地服务或对话。edge0-infer 提供本地服务(serve)与对话(chat)入口,本地服务器兼容 OpenAI 与 Anthropic 的 Messages API——也就是说,跑起来之后可以用现成的 OpenAI / Anthropic 客户端代码接它,工具调用也走这条本地服务。视觉输入需要 strata-vision 帮手(不在 Edge0 代码树内建),装机时另行确认其状态。

权重: Hugging Face Edge0/Edge0-145B-q3k(40.81 GiB)或 Edge0/Edge0-145B-NVFP4(47.79 GiB) 框架: GitHub Edge0-AI/Edge0,edge0-infer v0.2.0(2026-11-11) 门槛: NVIDIA GPU(计算能力 7.5+)、16 GiB+ 显存、20 GiB+ 系统内存、CUDA 13 服务: edge0-infer 本地服务,兼容 OpenAI / Anthropic Messages API 桌面: Edge0 App(Windows);核心能力离线可用、无需账号与用量配额

Edge0 App:有,但只有 Windows

不想走命令行的用户可以用桌面应用 Edge0 App:按官方博客口径,核心能力离线可用、无需账号与用量配额。但 v0.2.0 的 Edge0 Chat 桌面安装包只有 Windows 版。也就是说,「下载应用、点开即用」这条路目前只对 Windows 用户成立,Linux 用户走 edge0-infer 命令行,Mac 用户见下一节。

Mac 现状:如实写,发布时不支持

这是发布后争议最大的一点,必须如实写:官方博客称发布首日支持 macOS / Apple M 系列 / RTX Spark / RTX 4090 / 5090,并以「MacBook Pro」为例宣传;但 GitHub README 的平台表(多方 11 月 13 日读取)里没有 145B/120B 的 macOS 支持——构建说明针对 NVIDIA GPU + CUDA 13 的 Linux 或 Windows;v0.2.0 的 Edge0 Chat 桌面包只有 Windows 版。Apple M2 Ultra 上的 57.0 tok/s(Q3_K,Agent 解码)是 Metal 速度测量,不是 macOS 可用性证明。结论:发布时不要按「MacBook Pro 能跑」去买设备或做计划;等官方在 README 里加上 macOS 支持、或发布 Mac 版 Edge0 App 再说。中文批评文章 newtoken.link 的标题很直接——「Edge0 的 1450 亿参数模型首发版跑不了 Mac」,截至 11 月 20 日这个判断仍然成立。

装机警告:不要只按「29GB」准备机器——那是 GPU 侧峰值,整机 NVFP4 约 61.5 GiB、Q3_K 约 54.4 GiB(显存 + 系统内存),另需约 40–48 GiB 磁盘;MacBook Pro 发布时跑不了 145B/120B,README 无 macOS 支持、Edge0 App 只有 Windows;权重须另从 Hugging Face 下载,不随安装包附带;商业服务用途须另签书面许可,见许可证专文。
ModelBrief 的看法:这是一份「能装,但要先对三张表」的指南:门槛表(16GB 显存是底线、24GB 才是实测环境)、构建表(默认 Q3_K,三项全胜)、平台表(Linux/Windows 可装,Mac 发布时不支持)。标题的 29GB 与 MacBook Pro 各有一半没说完——按本文的数字准备机器,就不会在下载 40GB 权重之后才发现内存不够或系统不支持。