LongCat 2.5 的 31 项官方基准全部来自美团自测——博客评测表与 Hugging Face README 表完全一致,对手分数一半引自公开报告、一半美团自跑。表内亮点是 BrowseComp 91.9 与 3DCodeBench 55.4 两项第一,但同价的 DeepSeek V4.1 Flash 在多数编码行上领先;截至 11 月 13 日,没有任何独立机构给 2.5 打过分。下面逐项拆开。
31 项分三类:Code Agent 10 项、General Agent 14 项、Visual 7 项。表内第一共四项:BrowseComp 91.9、3DCodeBench 55.4、ALE 38.5 与 ResearchRubrics 81.0。下表列出主要分数,每行附 2.0 对照与主要对手对照;带 * 的对手分数引自公开报告或榜单,不带 * 的为美团自跑。
| 基准 | LongCat 2.5 | LongCat 2.0 | 主要对手 |
|---|---|---|---|
| Terminal-Bench v2.1 | 88.4 | 70.8 | DeepSeek 90.6*、Opus 5 89.1* |
| Terminal-Bench v4.0 | 38.5 | 3.0 | Opus 5 53.9*、GLM 41.8* |
| DeepSWE v1.1 | 64.6 | 9.7 | DeepSeek 74.2*、Sol 72.7* |
| ProgramBench | 25.5 | 2.5 | Opus 5 37.0*、Sol 23.0* |
| PaperBench | 82.1 | 45.2 | Sol 83.3、GPT-5.5 80.0 |
| NL2Repo | 60.5 | 40.9 | Opus 5 75.3*、DeepSeek 65.4* |
| BrowseComp | 91.9(表内第一) | 79.9 | DeepSeek 91.5、K3 91.2* |
| HLE(带工具) | 63.1 | 37.5 | Opus 5 64.7*、DeepSeek 63.9* |
| MCP Atlas | 83.1 | 61.8 | Opus 5 85.8*、DeepSeek 84.4 |
| AutomationBench v1.0.6 | 51.8 | 15.8 | DeepSeek 54.8*、Opus 5 50.3* |
| JobBench | 65.4 | 44.4 | Opus 5 66.7*、DeepSeek 63.2 |
| 3DCodeBench(文本→3D) | 55.4(表内第一) | —(2.0 无视觉能力) | Opus 5 54.3、GLM 53.4 |
| VideoMME | 85.2 | —(2.0 无视觉能力) | K3 90.0*、Sol 89.5* |

表外值得一提的还有:SWE Atlas 三项(代码库问答 58.3、重构 55.2、测试编写 47.8)、SkillsBench 63.3、GDPVal-AA 84.8、FrontierScience 77.0、FinSearchComp T3 63.4,以及视觉类的 Vision2Web 78.6、CharXiv-RQ 90.2、MathVision 96.5 与 PosterBench 77.4。整体看,2.5 的强项集中在长程 Agent 与搜索类任务,纯编码与视觉问答上与前沿闭源模型仍有距离。
统一条件是思考模式开、temperature 1.0、top_p 0.95。Terminal-Bench 用 Claude Code harness v2.1.280(max_seq 512K,v2.1 为三次平均);DeepSWE 用 mini-swe-agent(1M 序列,三次平均);BrowseComp 是美团自定义的轻量 harness,只有 search 与 browse_with_goal 两个工具,最多 1024 轮——这意味着 BrowseComp 91.9 的第一名含金量要打折扣,它不是标准 BrowseComp 口径。对手分数带 * 的引自公开报告或榜单,不带 * 的是美团自跑、官方口径为「仅供参考」。
两者限时价完全相同($0.30/$1.20),对照最有意义。按美团表内,DeepSeek 领先的行更多:TB 2.1(90.6 vs 88.4)、DeepSWE(74.2 vs 64.6)、NL2Repo(65.4 vs 60.5)、AutomationBench(54.8 vs 51.8)、MCP Atlas(84.4 vs 83.1)、SkillsBench(69.8 vs 63.3)与 SWE Atlas 重构(56.7 vs 55.2)。LongCat 领先的行有四处:TB 4.0(38.5 vs 31.2)、BrowseComp(91.9 vs 91.5)、ProgramBench(25.5 vs 20.3)与 SWE Atlas 问答(58.3 vs 55.2);VideoMME 只有 LongCat 公布了分数(85.2)。
格局很清楚:DeepSeek 在传统编码任务上占优,LongCat 在新版长程基准(TB 4.0、ProgramBench)与搜索类任务上反超。注意这仍是美团自家的表——DeepSeek 的分数带 *,引自公开报告,不是同一 harness 下的同场跑分。
2.0 到 2.5 的跃升幅度是这张表最真实的部分:TB 4.0 从 3.0 升至 38.5,DeepSWE 从 9.7 升至 64.6,ProgramBench 从 2.5 升至 25.5,HLE(带工具)从 37.5 升至 63.1,AutomationBench 从 15.8 升至 51.8,MCP Atlas 从 61.8 升至 83.1。长程 RL 的投入在这些行上兑现了。
但独立测量仍然缺失。Artificial Analysis 未收录 2.5,榜单上只有 2.0 与 LongCat Flash Lite;ArtificialWatch 11 月 13 日发文称「not rated yet」,llmperks 的 AA Index 栏为「—」。口径警示来自 2.0:AA 测得 2.0 的 TB 2.1 为 50.2%,而美团表内 2.0 为 70.8——同一模型、不同 harness,相差 20 分。2.5 的厂商分数也应按此打折理解。社区只有一位开发者用免费预览版自跑 TB 2.1 得 48.7%(单人、预览版、不同 harness),仅作参考,不能当作 2.5 的分数。
对照集也偏旧:官方仪表盘图里没有 Opus 5.5、GPT-6.1 Sol 与 Kimi K3.1 Pro,eesel 与 Hacker News 都指出了这一点。读这张表时,缺席的对手和在场的对手一样值得注意。
参考来源:APIYI — LongCat 2.5 官方基准与价格指南(本文为本站改写与整理,事实以官方来源为准)