Nex-N2.6 的基準數據只有一批:廠商模型卡上的三項基準與一張內部可靠性表。沒有 Artificial Analysis,沒有 LiveBench,沒有 LMArena——全部數字都來自 Nex-AGI 自己。本文把三項基準逐項拆開,說明哪一項是真勝出、哪兩項輸給了底座與對手,再把僅有的五條獨立證據列出來。
模型卡的三基準表(以下全部爲廠商自報,對手分數是 Nex-AGI 同場列出而非各家公佈值):OSWorld 83.0(前代 82.2、底座 GLM-5.3-Flash 78.0、DeepSeek-V4.1-Flash 71.7),表內第一;Terminal-Bench 2.1 84.1(前代 82.7、底座 84.3、DeepSeek 82.7),低於自家底座 0.2 分;AutomationBench 45.7(前代 44.2、底座 48.8、DeepSeek 54.8),低於底座 3.1 分、低於 DeepSeek 9.1 分。三項裏只有 OSWorld 是明確勝出,而且只比前代高 0.8 分—— headline 數字的真實含金量,要放在這個幅度裏看。
模型卡另有一張內部可靠性評估(廠商自己的已知問題回放):推理重複率 N2.5-Pro 16.0%、GLM-5.3-Flash 6.0%、N2.6 1.6%;整體不重複率 91.0% / 96.2% / 97.8%;有效工具選擇率(整體)82.2% / 85.3% / 100.0%;(有工具時)80.5% / 84.1% / 100.0%。這是後訓練最拿得出手的成績:重複問題基本修掉,工具選擇在回放裏全對。但要記住口徑:這是廠商用自家已知問題做的回放,不是第三方測試——而 lininn.cn 的失敗案例(見下節)恰恰發生在回放覆蓋不到的真實長任務裏。
模型卡原話:「以下結果由 Nex-AGI 團隊爲本次發佈報告。分數取決於評估框架與設置。這些是模型級結果,不是 FP8 導出物的單獨評估。」三句話,每句都重要:分數是廠商自報;分數隨框架與設置變化;下載下來的 FP8 權重從未被獨立測過。任何把 83.0 寫成「開源權重跑出的分」的說法,都是錯的。同樣不要寫的:單一吞吐/延遲數字——Hokai 稱 80 tok/s、0.89 秒,OrcaRouter 稱約 35 tok/s、p50 2.81 秒,兩家差兩倍多,本站不採納。
截至 11 月 16 日,Artificial Analysis 沒有 N2.6 的模型頁,LiveBench 沒有運行記錄,LMArena 沒有收錄;Epoch AI 稱尚無標準化分數。僅有的獨立證據有五條:Plotly DataAnalyticsBench 38/43(lininn.cn,11 月 12 日),與底座 GLM-5.3-Flash 同分——後訓練沒有在這個榜上拉開差距;放在本站跟蹤的同一榜上,Carbon 42/43、Hydrogen 43/43 滿分,N2.6 排在兩者之後。SMF Cold Iron:76.4%(120/157)(SMF Clearinghouse,11 月 12 日),該榜第 24 名,較前代 N2.5-Pro 的 51.6% 提升 24.8 分;但編碼只有 11/30,17 個失敗中有 14 個是 SyntaxError(含把中文破折號寫入代碼);單次運行、157 題小套件,且模型無法關閉思考,本次以 medium 檔運行。GameBench 2:72.7(Low),95 個模型中第 22(llmbenchmark.ai,11 月 15 日),單一榜單、低檔運行。hypeorcode:6 次運行,28 分 48 秒,$0.077,樣本太小,無結論。lininn.cn 失敗案例(11 月 12 日):第三方測試裏,模型對一道數據分析題調用 1,670 次、耗時 2 小時 20 分鐘,始終沒有找到答案;賬單 $10.19——這是目前最有力的批評數據點。
把短板集中列出來:Terminal-Bench 2.1 低於自家底座;AutomationBench 低於底座與 DeepSeek;OSWorld 的領先幅度對前代只有 0.8 分;無任何獨立評分;FP8 導出物未經獨立測試;Plotly 獨立基準運行與底座打平;真實長任務裏出現過 1,670 次調用無解的失敗案例。這些短板不否定 83.0,但決定了 N2.6 的適用邊界:計算機使用任務值得試,終端與業務流程任務未必是首選,長任務要設調用上限。
模型卡表內第一,高底座 5.0 分、高前代 0.8 分、高 DeepSeek-V4.1-Flash 11.3 分。但全部是廠商自報,無獨立復現;且對前代的領先只有 0.8 分,含金量要放在這個幅度裏看。
模型卡原話:分數是模型級結果,不是 FP8 導出物的單獨評估。下載下來的 FP8 權重從未有過獨立基準運行,83.0 不能讀成導出物的分數。
沒有。截至 11 月 16 日,Artificial Analysis、LiveBench、LMArena 均未收錄 N2.6;Epoch AI 稱尚無標準化分數。僅有的獨立證據是 Plotly 38/43、SMF Cold Iron 76.4%、GameBench 2 72.7、hypeorcode 6 次運行與 lininn.cn 的失敗案例。
參考來源:Hugging Face — nex-agi/Nex-N2.6 模型卡(三基準表與可靠性表) · lininn.cn — Plotly 38/43 與 1,670 次調用失敗案例 · SMF Clearinghouse — Cold Iron 76.4% 與編碼語法短板(本文爲本站改寫與整理,事實以模型卡與原始測評爲準)