ModelBrief · LongCat 2.5 · 专题
最后更新 2026-11-13
EN 简体 繁體

LongCat 2.5 基准全盘点:官方 31 项、DeepSeek 同价之争

ModelBrief · 2026-11-13 发布 · 事实核查 2026-11-13 · 参考来源:APIYI 基准指南(官方表)

LongCat 2.5 的 31 项官方基准全部来自美团自测——博客评测表与 Hugging Face README 表完全一致,对手分数一半引自公开报告、一半美团自跑。表内亮点是 BrowseComp 91.9 与 3DCodeBench 55.4 两项第一,但同价的 DeepSeek V4.1 Flash 在多数编码行上领先;截至 11 月 13 日,没有任何独立机构给 2.5 打过分。下面逐项拆开。

31 项基准:三类全览

31 项分三类:Code Agent 10 项、General Agent 14 项、Visual 7 项。表内第一共四项:BrowseComp 91.9、3DCodeBench 55.4、ALE 38.5 与 ResearchRubrics 81.0。下表列出主要分数,每行附 2.0 对照与主要对手对照;带 * 的对手分数引自公开报告或榜单,不带 * 的为美团自跑。

基准LongCat 2.5LongCat 2.0主要对手
Terminal-Bench v2.188.470.8DeepSeek 90.6*、Opus 5 89.1*
Terminal-Bench v4.038.53.0Opus 5 53.9*、GLM 41.8*
DeepSWE v1.164.69.7DeepSeek 74.2*、Sol 72.7*
ProgramBench25.52.5Opus 5 37.0*、Sol 23.0*
PaperBench82.145.2Sol 83.3、GPT-5.5 80.0
NL2Repo60.540.9Opus 5 75.3*、DeepSeek 65.4*
BrowseComp91.9(表内第一)79.9DeepSeek 91.5、K3 91.2*
HLE(带工具)63.137.5Opus 5 64.7*、DeepSeek 63.9*
MCP Atlas83.161.8Opus 5 85.8*、DeepSeek 84.4
AutomationBench v1.0.651.815.8DeepSeek 54.8*、Opus 5 50.3*
JobBench65.444.4Opus 5 66.7*、DeepSeek 63.2
3DCodeBench(文本→3D)55.4(表内第一)—(2.0 无视觉能力)Opus 5 54.3、GLM 53.4
VideoMME85.2—(2.0 无视觉能力)K3 90.0*、Sol 89.5*
美团官方 LongCat 2.5 基准仪表盘图:与 GPT-5.5、GPT-5.6-Sol、Claude-Opus-4.8、Claude-Opus-5 的代码、通用与视觉基准对比
美团官方基准仪表盘图。来源:美团官方技术博客

表外值得一提的还有:SWE Atlas 三项(代码库问答 58.3、重构 55.2、测试编写 47.8)、SkillsBench 63.3、GDPVal-AA 84.8、FrontierScience 77.0、FinSearchComp T3 63.4,以及视觉类的 Vision2Web 78.6、CharXiv-RQ 90.2、MathVision 96.5 与 PosterBench 77.4。整体看,2.5 的强项集中在长程 Agent 与搜索类任务,纯编码与视觉问答上与前沿闭源模型仍有距离。

测试条件:这些分数是怎么跑出来的

统一条件是思考模式开、temperature 1.0、top_p 0.95。Terminal-Bench 用 Claude Code harness v2.1.280(max_seq 512K,v2.1 为三次平均);DeepSWE 用 mini-swe-agent(1M 序列,三次平均);BrowseComp 是美团自定义的轻量 harness,只有 search 与 browse_with_goal 两个工具,最多 1024 轮——这意味着 BrowseComp 91.9 的第一名含金量要打折扣,它不是标准 BrowseComp 口径。对手分数带 * 的引自公开报告或榜单,不带 * 的是美团自跑、官方口径为「仅供参考」。

同价之争:DeepSeek V4.1 Flash 对照

两者限时价完全相同($0.30/$1.20),对照最有意义。按美团表内,DeepSeek 领先的行更多:TB 2.1(90.6 vs 88.4)、DeepSWE(74.2 vs 64.6)、NL2Repo(65.4 vs 60.5)、AutomationBench(54.8 vs 51.8)、MCP Atlas(84.4 vs 83.1)、SkillsBench(69.8 vs 63.3)与 SWE Atlas 重构(56.7 vs 55.2)。LongCat 领先的行有四处:TB 4.0(38.5 vs 31.2)、BrowseComp(91.9 vs 91.5)、ProgramBench(25.5 vs 20.3)与 SWE Atlas 问答(58.3 vs 55.2);VideoMME 只有 LongCat 公布了分数(85.2)。

格局很清楚:DeepSeek 在传统编码任务上占优,LongCat 在新版长程基准(TB 4.0、ProgramBench)与搜索类任务上反超。注意这仍是美团自家的表——DeepSeek 的分数带 *,引自公开报告,不是同一 harness 下的同场跑分。

跃升、缺失与对照集偏旧

2.0 到 2.5 的跃升幅度是这张表最真实的部分:TB 4.0 从 3.0 升至 38.5,DeepSWE 从 9.7 升至 64.6,ProgramBench 从 2.5 升至 25.5,HLE(带工具)从 37.5 升至 63.1,AutomationBench 从 15.8 升至 51.8,MCP Atlas 从 61.8 升至 83.1。长程 RL 的投入在这些行上兑现了。

但独立测量仍然缺失。Artificial Analysis 未收录 2.5,榜单上只有 2.0 与 LongCat Flash Lite;ArtificialWatch 11 月 13 日发文称「not rated yet」,llmperks 的 AA Index 栏为「—」。口径警示来自 2.0:AA 测得 2.0 的 TB 2.1 为 50.2%,而美团表内 2.0 为 70.8——同一模型、不同 harness,相差 20 分。2.5 的厂商分数也应按此打折理解。社区只有一位开发者用免费预览版自跑 TB 2.1 得 48.7%(单人、预览版、不同 harness),仅作参考,不能当作 2.5 的分数。

对照集也偏旧:官方仪表盘图里没有 Opus 5.5、GPT-6.1 Sol 与 Kimi K3.1 Pro,eesel 与 Hacker News 都指出了这一点。读这张表时,缺席的对手和在场的对手一样值得注意。

ModelBrief 的看法:31 项基准的宽度是真的,跃升幅度也是真的(尤其 TB 4.0 与 DeepSWE),但全部是厂商自测,且 AA 对 2.0 的实测比美团表内低 20 分——在独立评分落地前,这些数字更适合当作「能力分布图」而非「排名表」。同价 DeepSeek 的对照说明:2.5 的卖点不在编码绝对分,而在 TB 4.0、BrowseComp 这类长程 Agent 任务与视觉能力。

参考来源:APIYI — LongCat 2.5 官方基准与价格指南(本文为本站改写与整理,事实以官方来源为准)