Nex-N2.6 的基准数据只有一批:厂商模型卡上的三项基准与一张内部可靠性表。没有 Artificial Analysis,没有 LiveBench,没有 LMArena——全部数字都来自 Nex-AGI 自己。本文把三项基准逐项拆开,说明哪一项是真胜出、哪两项输给了底座与对手,再把仅有的五条独立证据列出来。
模型卡的三基准表(以下全部为厂商自报,对手分数是 Nex-AGI 同场列出而非各家公布值):OSWorld 83.0(前代 82.2、底座 GLM-5.3-Flash 78.0、DeepSeek-V4.1-Flash 71.7),表内第一;Terminal-Bench 2.1 84.1(前代 82.7、底座 84.3、DeepSeek 82.7),低于自家底座 0.2 分;AutomationBench 45.7(前代 44.2、底座 48.8、DeepSeek 54.8),低于底座 3.1 分、低于 DeepSeek 9.1 分。三项里只有 OSWorld 是明确胜出,而且只比前代高 0.8 分—— headline 数字的真实含金量,要放在这个幅度里看。
模型卡另有一张内部可靠性评估(厂商自己的已知问题回放):推理重复率 N2.5-Pro 16.0%、GLM-5.3-Flash 6.0%、N2.6 1.6%;整体不重复率 91.0% / 96.2% / 97.8%;有效工具选择率(整体)82.2% / 85.3% / 100.0%;(有工具时)80.5% / 84.1% / 100.0%。这是后训练最拿得出手的成绩:重复问题基本修掉,工具选择在回放里全对。但要记住口径:这是厂商用自家已知问题做的回放,不是第三方测试——而 lininn.cn 的失败案例(见下节)恰恰发生在回放覆盖不到的真实长任务里。
模型卡原话:「以下结果由 Nex-AGI 团队为本次发布报告。分数取决于评估框架与设置。这些是模型级结果,不是 FP8 导出物的单独评估。」三句话,每句都重要:分数是厂商自报;分数随框架与设置变化;下载下来的 FP8 权重从未被独立测过。任何把 83.0 写成「开源权重跑出的分」的说法,都是错的。同样不要写的:单一吞吐/延迟数字——Hokai 称 80 tok/s、0.89 秒,OrcaRouter 称约 35 tok/s、p50 2.81 秒,两家差两倍多,本站不采纳。
截至 11 月 16 日,Artificial Analysis 没有 N2.6 的模型页,LiveBench 没有运行记录,LMArena 没有收录;Epoch AI 称尚无标准化分数。仅有的独立证据有五条:Plotly DataAnalyticsBench 38/43(lininn.cn,11 月 12 日),与底座 GLM-5.3-Flash 同分——后训练没有在这个榜上拉开差距;放在本站跟踪的同一榜上,Carbon 42/43、Hydrogen 43/43 满分,N2.6 排在两者之后。SMF Cold Iron:76.4%(120/157)(SMF Clearinghouse,11 月 12 日),该榜第 24 名,较前代 N2.5-Pro 的 51.6% 提升 24.8 分;但编码只有 11/30,17 个失败中有 14 个是 SyntaxError(含把中文破折号写入代码);单次运行、157 题小套件,且模型无法关闭思考,本次以 medium 档运行。GameBench 2:72.7(Low),95 个模型中第 22(llmbenchmark.ai,11 月 15 日),单一榜单、低档运行。hypeorcode:6 次运行,28 分 48 秒,$0.077,样本太小,无结论。lininn.cn 失败案例(11 月 12 日):第三方测试里,模型对一道数据分析题调用 1,670 次、耗时 2 小时 20 分钟,始终没有找到答案;账单 $10.19——这是目前最有力的批评数据点。
把短板集中列出来:Terminal-Bench 2.1 低于自家底座;AutomationBench 低于底座与 DeepSeek;OSWorld 的领先幅度对前代只有 0.8 分;无任何独立评分;FP8 导出物未经独立测试;Plotly 独立基准运行与底座打平;真实长任务里出现过 1,670 次调用无解的失败案例。这些短板不否定 83.0,但决定了 N2.6 的适用边界:计算机使用任务值得试,终端与业务流程任务未必是首选,长任务要设调用上限。
模型卡表内第一,高底座 5.0 分、高前代 0.8 分、高 DeepSeek-V4.1-Flash 11.3 分。但全部是厂商自报,无独立复现;且对前代的领先只有 0.8 分,含金量要放在这个幅度里看。
模型卡原话:分数是模型级结果,不是 FP8 导出物的单独评估。下载下来的 FP8 权重从未有过独立基准运行,83.0 不能读成导出物的分数。
没有。截至 11 月 16 日,Artificial Analysis、LiveBench、LMArena 均未收录 N2.6;Epoch AI 称尚无标准化分数。仅有的独立证据是 Plotly 38/43、SMF Cold Iron 76.4%、GameBench 2 72.7、hypeorcode 6 次运行与 lininn.cn 的失败案例。
参考来源:Hugging Face — nex-agi/Nex-N2.6 模型卡(三基准表与可靠性表) · lininn.cn — Plotly 38/43 与 1,670 次调用失败案例 · SMF Clearinghouse — Cold Iron 76.4% 与编码语法短板(本文为本站改写与整理,事实以模型卡与原始测评为准)