ModelBrief · Nex-N2.6 · 專題
最後更新 2026-11-20
EN 简体 繁體

Nex-N2.6 自託管指南:FP8 權重 328GB,消費級顯卡不夠

ModelBrief · 2026-11-16 發佈 · 事實覈查 2026-11-16 · 參考來源:Hugging Face 模型卡

Nex-N2.6 的權重是 Apache 2.0 開源的,任何人都可以下載——但「可以下載」不等於「可以跑起來」。FP8 權重約 328GB,4-bit 也要約 202.6GB,消費級顯卡遠遠不夠。本文講清三件事:權重是什麼、怎麼部署、硬件現實是什麼;以及不適合自託管時,MOSS 與 OpenRouter 兩個替代渠道怎麼選。

權重是什麼:129 個分片,約 328GB

Hugging Face 倉庫 nex-agi/Nex-N2.6,Apache 2.0 許可證:FP8 權重,129 個 safetensor 分片,約 328.34GB——其中 314.4B 參數爲 FP8、6.92B 爲 BF16、3.6M 爲 FP32(nlp.com.ai 分片細節)。權重約 11 月 12 日纔可公開讀取(11 月 10 日發佈當天 HF 倉庫尚不可讀)。下載前先確認磁盤空間:328GB 只是權重本身,還要留出解壓、緩存與 KV cache 的餘量。另請記住模型卡的聲明:基準分數是模型級結果,不是 FP8 導出物的單獨評估——本地跑出來的分數沒有獨立驗證過。

怎麼部署:SGLang,FP8 配置

推薦運行時是 SGLang(FP8 配置),與 GLM-5.3-Flash 運行時兼容——N2.6 是 GLM-5.3-Flash 的後訓練衍生品,部署方式沿用底座的即可。推理是強制的:HF 聊天模板提供 reasoning_effort low/high/max 三檔,默認 max;OpenRouter 端點是 medium/high,默認 high——兩處檔位不要混用。上下文按發佈配置是 1,048,576 tokens(OpenRouter 端點只有 262,144),自託管按配置可達 1M,但長上下文的 KV cache 佔用會隨之大幅上升,部署前請按實際上下文需求做容量規劃。

硬件現實:512GB Mac Studio 或多卡服務器起步

先說結論:24GB 消費級顯卡遠遠不夠。FP8 權重約 328GB(約 321GB 量級,lininn.cn 估算),4-bit 約 202.6GB——即使量化到 4-bit,也遠超任何單張消費卡。現實起點是 512GB 統一內存的 Mac Studio,或多卡服務器(madebyagents 的硬件適配分析與 lininn.cn 的現實覈查結論一致)。還要留出 KV cache:強制推理 + 長上下文意味着推理 token 與緩存佔用都很大,顯存/內存預算要按權重 + KV cache 一起算。沒有這個量級的硬件時,自託管不是省錢方案——API 更便宜。

替代渠道:MOSS 免費與 OpenRouter 按量

不適合自託管時,兩條 API 渠道可選:MOSS API 限時免費(端點 api.mosi.cn/v1,模型 nex-n2.6,0 積分/請求,無結束日期、無 SLA),適合試用與小規模測試;OpenRouter 按量付費($0.12/$0.40 每百萬 tokens,緩存讀 $0.024),適合生產——但唯一服務商是 Nex-AGI 自身,無備用端點。需要高可用且不想自託管時,目前沒有完美答案:免費窗口不承諾 SLA,付費渠道只有一家。詳見本站價格指南。

FAQ

24GB 顯卡能跑 N2.6 嗎?

不能。FP8 權重約 328GB,4-bit 約 202.6GB,遠超 24GB。現實起點是 512GB 統一內存的 Mac Studio 或多卡服務器。

自託管用什麼框架?

SGLang(FP8 配置),與 GLM-5.3-Flash 運行時兼容。推理強制開啓,HF 模板 reasoning_effort 默認 max。

自託管能用 1M 上下文嗎?

按發佈配置可以(1,048,576 tokens),但長上下文的 KV cache 佔用大幅上升,需按實際需求做容量規劃;且 1M 上下文的實際表現未獨立驗證過。

ModelBrief 的看法:N2.6 的開源是真實的,但自託管門檻也是真實的:328GB 權重、強制推理、長上下文 KV cache,三者疊加起來,個人用戶基本不用考慮自託管。對大多數人,MOSS 免費窗口試用、OpenRouter 按量生產,是更現實的路線;自託管只適合已有大內存硬件的團隊。

參考來源:Hugging Face — nex-agi/Nex-N2.6 模型卡(FP8 權重與配置) · lininn.cn — 硬件現實覈查(4-bit 約 202.6GB)(本文爲本站改寫與整理,事實以模型卡與原始分析爲準)