最後更新 2026-11-20
EN 简体 繁體

Kimi K3.1 Pro 自託管指南:1.56TB 權重與集羣門檻

ModelBrief · 2026-11-16 發佈 · 事實覈查 2026-11-16 · 參考來源:Hugging Face 模型卡、Spheron 部署指南、vramglass

Kimi K3.1 Pro 的權重是公開的,但「公開」不等於「人人能跑」:96 個分片約 1.56TB,2-bit 也要約 861GB 顯存。消費級顯卡無法運行它,能跑它的起點是一臺 8×B300 節點或四臺 8×H100 節點。本文把下載、硬件、部署框架與許可證四件事一次說清——先說結論:絕大多數人應該用 API,而不是自託管。

先看權重:96 個分片,約 1.56TB

Hugging Face 倉庫 moonshotai/Kimi-K3.1-Pro,公開無門檻下載,2026 年 11 月 5 日(北京時間)上線;ModelScope 鏡像同日上線(96/96 分片)。96 個 safetensor 分片,合計 1,561,355,732,732 字節,約 1.56TB;MXFP4 權重 + MXFP8 激活,量化感知訓練(不是事後壓縮);另提供 8-bit compressed-tensors 權重。截至 11 月 4 日沒有 GGUF——想在消費級設備上跑量化版,只能等社區出 GGUF,目前沒有。下載本身就是一道門檻:1.56TB 的權重,下載時間與存儲成本都要先算進去。

硬件現實:2-bit 約 861GB,4-bit 約 1,509GB

vramglass 的估算:2-bit 約 861GB 顯存,4-bit 約 1,509GB。Spheron 的部署指南給出兩種能裝下它的配置:單臺 8×B300 節點(2,304GB HBM3e)可裝下,或四臺 8×H100 節點。換句話說,這不是「幾張顯卡」的問題,是「一個節點或一個小集羣」的問題;24GB 的消費級顯卡連零頭都不夠。還要注意:顯存估算只是裝下權重的下限,實際推理還要留 KV 緩存與激活的空間——1M 上下文的 KV 緩存本身就是一筆不小的顯存開支,配置時要按滿上下文留餘量。

顯存需求與節點容量對照 顯存需求(估算) 節點容量 2-bit 權重 約 861GB 4-bit 權重 約 1,509GB 8×B300 節點 2,304GB 顯存估算:vramglass;節點配置:Spheron 部署指南;另需四臺 8×H100 節點
顯存需求(GB;vramglass 估算)與單節點容量對照;實際推理還需 KV 緩存與激活空間

部署框架:Transformers、vLLM、SGLang、Docker Model Runner

官方模型卡列出的部署方式:Transformers、vLLM、SGLang、Docker Model Runner。推理強度 low / high / max 三檔,默認 max——自託管時注意,默認 max 檔的推理 token 量最大,長任務的輸出成本與延遲都要按 max 檔評估。模型卡沒有給出官方的推薦框架排序;Spheron 的部署指南以集羣部署爲主。需要提醒的一點:模型卡分數是模型級結果,不是 FP8 導出物——本專題基準專文裏寫過,下載下來的權重從未被獨立測過;自託管跑出的分數與官方博客的數字可能不一致,這是正常的,不要當成部署故障。

Hugging Face: moonshotai/Kimi-K3.1-Pro (96 分片,約 1.56TB;公開下載) ModelScope: 鏡像已上線(96/96 分片) 框架: Transformers / vLLM / SGLang / Docker Model Runner 推理檔位: low / high / max(默認 max) 硬件: 單臺 8×B300(2,304GB HBM3e)或四臺 8×H100 許可證: Kimi K3.1-Pro License(自定義,非 MIT)

許可證:先讀條款,再下載

Kimi K3.1 Pro 不是 MIT 許可——這是自託管前最重要的一件事。許可證是自定義的 Kimi K3.1-Pro License:MIT 風格的授權,加上兩條商業條件——MaaS(模型即服務)收入在任意 12 個月內超過 $20M,需另籤協議;月活超過 1 億或月收入超過 $20M 的產品,須標明模型名。前代 Kimi K3 用的是 Modified MIT,K3.1 Pro 換了許可——從 K3 升級自託管方案時,不要沿用舊的合規判斷。個人與小規模使用不受這兩條影響;但要把模型放進商業產品或對外提供 API 服務,先讓法務讀一遍許可證全文(模型卡附帶)。

到底該不該自託管:三類人的答案

個人與小團隊:不該。1.56TB 下載、集羣級硬件、KV 緩存開支——成本遠高於 $2/$10 的 API;Kimi.com 與 OpenRouter 按量付費是正確選擇。已有 GPU 集羣的團隊:可以評估,但要先算兩筆賬——硬件折舊與運維成本對 API 賬單,以及自託管跑出的分數與官方數字的差異(權重未經獨立測試)。合規與數據主權有硬性要求的團隊:自託管是唯一選項,Kimi API 可選零數據留存也可以先評估;注意許可證的兩條商業條件,以及高速版沒有獨立權重倉庫(自託管只能跑標準版)。

FAQ

消費級顯卡能跑 Kimi K3.1 Pro 嗎?

不能。2-bit 也要約 861GB 顯存,4-bit 約 1,509GB;單臺 8×B300 節點(2,304GB HBM3e)可裝下,或四臺 8×H100 節點。24GB 消費級顯卡遠遠不夠。

有 GGUF 版本嗎?

截至 11 月 4 日沒有官方 GGUF。社區版是否出現、質量如何,是 8 小時跟蹤循環的盯梢項之一。

自託管的許可證有什麼限制?

自定義 Kimi K3.1-Pro License,不是 MIT:MaaS 收入 12 個月內超 $20M 需另籤協議;月活超 1 億或月收入超 $20M 的產品須標明模型名。個人與小規模使用不受影響。

自託管跑出的分數會和官方一樣嗎?

不一定。官方博客的分數是模型級結果,不是下載權重的單獨評估;權重本身未經獨立測試。自託管的實測分數與官方數字有出入是正常的。

ModelBrief 的看法:K3.1 Pro 的自託管門檻是全站最高的之一:1.56TB 權重、集羣級硬件、自定義許可證三重門檻。權重公開的意義不在「人人能跑」,而在「人人能驗」——研究者可以檢查權重、復現結果、做自己的評估。對絕大多數用戶,$2/$10 的 API 是正確的選擇;自託管留給有集羣、有合規需求的團隊。

參考來源:Hugging Face — moonshotai/Kimi-K3.1-Pro 模型卡(96 分片、MXFP4、許可證) · Spheron — 部署指南(B300/H100 配置) · vramglass — 顯存估算(本文爲本站改寫與整理,事實以模型卡與部署指南爲準)