ModelBrief · Nex-N2.6 · 专题
最后更新 2026-11-20
EN 简体 繁體

Nex-N2.6 自托管指南:FP8 权重 328GB,消费级显卡不够

ModelBrief · 2026-11-16 发布 · 事实核查 2026-11-16 · 参考来源:Hugging Face 模型卡

Nex-N2.6 的权重是 Apache 2.0 开源的,任何人都可以下载——但「可以下载」不等于「可以跑起来」。FP8 权重约 328GB,4-bit 也要约 202.6GB,消费级显卡远远不够。本文讲清三件事:权重是什么、怎么部署、硬件现实是什么;以及不适合自托管时,MOSS 与 OpenRouter 两个替代渠道怎么选。

权重是什么:129 个分片,约 328GB

Hugging Face 仓库 nex-agi/Nex-N2.6,Apache 2.0 许可证:FP8 权重,129 个 safetensor 分片,约 328.34GB——其中 314.4B 参数为 FP8、6.92B 为 BF16、3.6M 为 FP32(nlp.com.ai 分片细节)。权重约 11 月 12 日才可公开读取(11 月 10 日发布当天 HF 仓库尚不可读)。下载前先确认磁盘空间:328GB 只是权重本身,还要留出解压、缓存与 KV cache 的余量。另请记住模型卡的声明:基准分数是模型级结果,不是 FP8 导出物的单独评估——本地跑出来的分数没有独立验证过。

怎么部署:SGLang,FP8 配置

推荐运行时是 SGLang(FP8 配置),与 GLM-5.3-Flash 运行时兼容——N2.6 是 GLM-5.3-Flash 的后训练衍生品,部署方式沿用底座的即可。推理是强制的:HF 聊天模板提供 reasoning_effort low/high/max 三档,默认 max;OpenRouter 端点是 medium/high,默认 high——两处档位不要混用。上下文按发布配置是 1,048,576 tokens(OpenRouter 端点只有 262,144),自托管按配置可达 1M,但长上下文的 KV cache 占用会随之大幅上升,部署前请按实际上下文需求做容量规划。

硬件现实:512GB Mac Studio 或多卡服务器起步

先说结论:24GB 消费级显卡远远不够。FP8 权重约 328GB(约 321GB 量级,lininn.cn 估算),4-bit 约 202.6GB——即使量化到 4-bit,也远超任何单张消费卡。现实起点是 512GB 统一内存的 Mac Studio,或多卡服务器(madebyagents 的硬件适配分析与 lininn.cn 的现实核查结论一致)。还要留出 KV cache:强制推理 + 长上下文意味着推理 token 与缓存占用都很大,显存/内存预算要按权重 + KV cache 一起算。没有这个量级的硬件时,自托管不是省钱方案——API 更便宜。

替代渠道:MOSS 免费与 OpenRouter 按量

不适合自托管时,两条 API 渠道可选:MOSS API 限时免费(端点 api.mosi.cn/v1,模型 nex-n2.6,0 积分/请求,无结束日期、无 SLA),适合试用与小规模测试;OpenRouter 按量付费($0.12/$0.40 每百万 tokens,缓存读 $0.024),适合生产——但唯一服务商是 Nex-AGI 自身,无备用端点。需要高可用且不想自托管时,目前没有完美答案:免费窗口不承诺 SLA,付费渠道只有一家。详见本站价格指南。

FAQ

24GB 显卡能跑 N2.6 吗?

不能。FP8 权重约 328GB,4-bit 约 202.6GB,远超 24GB。现实起点是 512GB 统一内存的 Mac Studio 或多卡服务器。

自托管用什么框架?

SGLang(FP8 配置),与 GLM-5.3-Flash 运行时兼容。推理强制开启,HF 模板 reasoning_effort 默认 max。

自托管能用 1M 上下文吗?

按发布配置可以(1,048,576 tokens),但长上下文的 KV cache 占用大幅上升,需按实际需求做容量规划;且 1M 上下文的实际表现未独立验证过。

ModelBrief 的看法:N2.6 的开源是真实的,但自托管门槛也是真实的:328GB 权重、强制推理、长上下文 KV cache,三者叠加起来,个人用户基本不用考虑自托管。对大多数人,MOSS 免费窗口试用、OpenRouter 按量生产,是更现实的路线;自托管只适合已有大内存硬件的团队。

参考来源:Hugging Face — nex-agi/Nex-N2.6 模型卡(FP8 权重与配置) · lininn.cn — 硬件现实核查(4-bit 约 202.6GB)(本文为本站改写与整理,事实以模型卡与原始分析为准)