Kimi K3.1 Pro 的权重是公开的,但「公开」不等于「人人能跑」:96 个分片约 1.56TB,2-bit 也要约 861GB 显存。消费级显卡无法运行它,能跑它的起点是一台 8×B300 节点或四台 8×H100 节点。本文把下载、硬件、部署框架与许可证四件事一次说清——先说结论:绝大多数人应该用 API,而不是自托管。
Hugging Face 仓库 moonshotai/Kimi-K3.1-Pro,公开无门槛下载,2026 年 11 月 5 日(北京时间)上线;ModelScope 镜像同日上线(96/96 分片)。96 个 safetensor 分片,合计 1,561,355,732,732 字节,约 1.56TB;MXFP4 权重 + MXFP8 激活,量化感知训练(不是事后压缩);另提供 8-bit compressed-tensors 权重。截至 11 月 4 日没有 GGUF——想在消费级设备上跑量化版,只能等社区出 GGUF,目前没有。下载本身就是一道门槛:1.56TB 的权重,下载时间与存储成本都要先算进去。
vramglass 的估算:2-bit 约 861GB 显存,4-bit 约 1,509GB。Spheron 的部署指南给出两种能装下它的配置:单台 8×B300 节点(2,304GB HBM3e)可装下,或四台 8×H100 节点。换句话说,这不是「几张显卡」的问题,是「一个节点或一个小集群」的问题;24GB 的消费级显卡连零头都不够。还要注意:显存估算只是装下权重的下限,实际推理还要留 KV 缓存与激活的空间——1M 上下文的 KV 缓存本身就是一笔不小的显存开支,配置时要按满上下文留余量。
官方模型卡列出的部署方式:Transformers、vLLM、SGLang、Docker Model Runner。推理强度 low / high / max 三档,默认 max——自托管时注意,默认 max 档的推理 token 量最大,长任务的输出成本与延迟都要按 max 档评估。模型卡没有给出官方的推荐框架排序;Spheron 的部署指南以集群部署为主。需要提醒的一点:模型卡分数是模型级结果,不是 FP8 导出物——本专题基准专文里写过,下载下来的权重从未被独立测过;自托管跑出的分数与官方博客的数字可能不一致,这是正常的,不要当成部署故障。
Kimi K3.1 Pro 不是 MIT 许可——这是自托管前最重要的一件事。许可证是自定义的 Kimi K3.1-Pro License:MIT 风格的授权,加上两条商业条件——MaaS(模型即服务)收入在任意 12 个月内超过 $20M,需另签协议;月活超过 1 亿或月收入超过 $20M 的产品,须标明模型名。前代 Kimi K3 用的是 Modified MIT,K3.1 Pro 换了许可——从 K3 升级自托管方案时,不要沿用旧的合规判断。个人与小规模使用不受这两条影响;但要把模型放进商业产品或对外提供 API 服务,先让法务读一遍许可证全文(模型卡附带)。
个人与小团队:不该。1.56TB 下载、集群级硬件、KV 缓存开支——成本远高于 $2/$10 的 API;Kimi.com 与 OpenRouter 按量付费是正确选择。已有 GPU 集群的团队:可以评估,但要先算两笔账——硬件折旧与运维成本对 API 账单,以及自托管跑出的分数与官方数字的差异(权重未经独立测试)。合规与数据主权有硬性要求的团队:自托管是唯一选项,Kimi API 可选零数据留存也可以先评估;注意许可证的两条商业条件,以及高速版没有独立权重仓库(自托管只能跑标准版)。
不能。2-bit 也要约 861GB 显存,4-bit 约 1,509GB;单台 8×B300 节点(2,304GB HBM3e)可装下,或四台 8×H100 节点。24GB 消费级显卡远远不够。
截至 11 月 4 日没有官方 GGUF。社区版是否出现、质量如何,是 8 小时跟踪循环的盯梢项之一。
自定义 Kimi K3.1-Pro License,不是 MIT:MaaS 收入 12 个月内超 $20M 需另签协议;月活超 1 亿或月收入超 $20M 的产品须标明模型名。个人与小规模使用不受影响。
不一定。官方博客的分数是模型级结果,不是下载权重的单独评估;权重本身未经独立测试。自托管的实测分数与官方数字有出入是正常的。
参考来源:Hugging Face — moonshotai/Kimi-K3.1-Pro 模型卡(96 分片、MXFP4、许可证) · Spheron — 部署指南(B300/H100 配置) · vramglass — 显存估算(本文为本站改写与整理,事实以模型卡与部署指南为准)