最后更新 2026-11-20
EN 简体 繁體

Kimi K3.1 Pro 自托管指南:1.56TB 权重与集群门槛

ModelBrief · 2026-11-16 发布 · 事实核查 2026-11-16 · 参考来源:Hugging Face 模型卡、Spheron 部署指南、vramglass

Kimi K3.1 Pro 的权重是公开的,但「公开」不等于「人人能跑」:96 个分片约 1.56TB,2-bit 也要约 861GB 显存。消费级显卡无法运行它,能跑它的起点是一台 8×B300 节点或四台 8×H100 节点。本文把下载、硬件、部署框架与许可证四件事一次说清——先说结论:绝大多数人应该用 API,而不是自托管。

先看权重:96 个分片,约 1.56TB

Hugging Face 仓库 moonshotai/Kimi-K3.1-Pro,公开无门槛下载,2026 年 11 月 5 日(北京时间)上线;ModelScope 镜像同日上线(96/96 分片)。96 个 safetensor 分片,合计 1,561,355,732,732 字节,约 1.56TB;MXFP4 权重 + MXFP8 激活,量化感知训练(不是事后压缩);另提供 8-bit compressed-tensors 权重。截至 11 月 4 日没有 GGUF——想在消费级设备上跑量化版,只能等社区出 GGUF,目前没有。下载本身就是一道门槛:1.56TB 的权重,下载时间与存储成本都要先算进去。

硬件现实:2-bit 约 861GB,4-bit 约 1,509GB

vramglass 的估算:2-bit 约 861GB 显存,4-bit 约 1,509GB。Spheron 的部署指南给出两种能装下它的配置:单台 8×B300 节点(2,304GB HBM3e)可装下,或四台 8×H100 节点。换句话说,这不是「几张显卡」的问题,是「一个节点或一个小集群」的问题;24GB 的消费级显卡连零头都不够。还要注意:显存估算只是装下权重的下限,实际推理还要留 KV 缓存与激活的空间——1M 上下文的 KV 缓存本身就是一笔不小的显存开支,配置时要按满上下文留余量。

显存需求与节点容量对照 显存需求(估算) 节点容量 2-bit 权重 约 861GB 4-bit 权重 约 1,509GB 8×B300 节点 2,304GB 显存估算:vramglass;节点配置:Spheron 部署指南;另需四台 8×H100 节点
显存需求(GB;vramglass 估算)与单节点容量对照;实际推理还需 KV 缓存与激活空间

部署框架:Transformers、vLLM、SGLang、Docker Model Runner

官方模型卡列出的部署方式:Transformers、vLLM、SGLang、Docker Model Runner。推理强度 low / high / max 三档,默认 max——自托管时注意,默认 max 档的推理 token 量最大,长任务的输出成本与延迟都要按 max 档评估。模型卡没有给出官方的推荐框架排序;Spheron 的部署指南以集群部署为主。需要提醒的一点:模型卡分数是模型级结果,不是 FP8 导出物——本专题基准专文里写过,下载下来的权重从未被独立测过;自托管跑出的分数与官方博客的数字可能不一致,这是正常的,不要当成部署故障。

Hugging Face: moonshotai/Kimi-K3.1-Pro (96 分片,约 1.56TB;公开下载) ModelScope: 镜像已上线(96/96 分片) 框架: Transformers / vLLM / SGLang / Docker Model Runner 推理档位: low / high / max(默认 max) 硬件: 单台 8×B300(2,304GB HBM3e)或四台 8×H100 许可证: Kimi K3.1-Pro License(自定义,非 MIT)

许可证:先读条款,再下载

Kimi K3.1 Pro 不是 MIT 许可——这是自托管前最重要的一件事。许可证是自定义的 Kimi K3.1-Pro License:MIT 风格的授权,加上两条商业条件——MaaS(模型即服务)收入在任意 12 个月内超过 $20M,需另签协议;月活超过 1 亿或月收入超过 $20M 的产品,须标明模型名。前代 Kimi K3 用的是 Modified MIT,K3.1 Pro 换了许可——从 K3 升级自托管方案时,不要沿用旧的合规判断。个人与小规模使用不受这两条影响;但要把模型放进商业产品或对外提供 API 服务,先让法务读一遍许可证全文(模型卡附带)。

到底该不该自托管:三类人的答案

个人与小团队:不该。1.56TB 下载、集群级硬件、KV 缓存开支——成本远高于 $2/$10 的 API;Kimi.com 与 OpenRouter 按量付费是正确选择。已有 GPU 集群的团队:可以评估,但要先算两笔账——硬件折旧与运维成本对 API 账单,以及自托管跑出的分数与官方数字的差异(权重未经独立测试)。合规与数据主权有硬性要求的团队:自托管是唯一选项,Kimi API 可选零数据留存也可以先评估;注意许可证的两条商业条件,以及高速版没有独立权重仓库(自托管只能跑标准版)。

FAQ

消费级显卡能跑 Kimi K3.1 Pro 吗?

不能。2-bit 也要约 861GB 显存,4-bit 约 1,509GB;单台 8×B300 节点(2,304GB HBM3e)可装下,或四台 8×H100 节点。24GB 消费级显卡远远不够。

有 GGUF 版本吗?

截至 11 月 4 日没有官方 GGUF。社区版是否出现、质量如何,是 8 小时跟踪循环的盯梢项之一。

自托管的许可证有什么限制?

自定义 Kimi K3.1-Pro License,不是 MIT:MaaS 收入 12 个月内超 $20M 需另签协议;月活超 1 亿或月收入超 $20M 的产品须标明模型名。个人与小规模使用不受影响。

自托管跑出的分数会和官方一样吗?

不一定。官方博客的分数是模型级结果,不是下载权重的单独评估;权重本身未经独立测试。自托管的实测分数与官方数字有出入是正常的。

ModelBrief 的看法:K3.1 Pro 的自托管门槛是全站最高的之一:1.56TB 权重、集群级硬件、自定义许可证三重门槛。权重公开的意义不在「人人能跑」,而在「人人能验」——研究者可以检查权重、复现结果、做自己的评估。对绝大多数用户,$2/$10 的 API 是正确的选择;自托管留给有集群、有合规需求的团队。

参考来源:Hugging Face — moonshotai/Kimi-K3.1-Pro 模型卡(96 分片、MXFP4、许可证) · Spheron — 部署指南(B300/H100 配置) · vramglass — 显存估算(本文为本站改写与整理,事实以模型卡与部署指南为准)