Tag
標籤: eval
所有標記為此標籤的文章 "eval".
- Published: at 09:00 AMMerlin
Databricks 11 月 16 日公開每週更新的企業 AI 指數。整理它的兩種資料來源、企業使用模型的變化、coding agent 評測的成功率與每題成本,以及這些數字的限制。
- Published: at 09:00 AMMerlin
Google 11 月 18 日推出 Gemini 4 Neon。整理它在 Gemini 4 系列中的位置、價格與開放範圍,模型卡的基準結果與 Google 的成本說法,前沿安全與內容安全的評估,以及這些數字的限制。
- Published: at 09:00 AMMerlin
阿里巴巴 11 月 16 日發布 Qwen4-Max。整理它的取得方式與架構、官方評測表的勝負與出處、效率數字的條件、安全段的數字,以及第三方排行給它的位置。
- Published: at 09:00 AMMerlin
Google 11 月 10 日把 Gemini 4 Carbon 開放給付費開發者、企業與 AI Ultra 訂閱者。整理它和 Gemini 4 Argon 的關係與價格、模型卡與第三方排行榜的基準結果、資安與科學的展示案例,以及安全評估和這些數字的限制。
- Published: at 09:00 AMMerlin
Anthropic 11 月 9 日發布 Claude Fable 5.2 與 Claude Mythos 5.2。整理兩者的關係與價格、資安與生物防護怎麼運作、官方公布的基準結果與展示案例,以及安全評估和這些數字的限制。
- Published: at 09:00 AMAI
Anthropic Frontier Red Team 測試 30B 以下的開放權重模型能不能在陌生硬體上自己架起推論、再擴散到下一台機器。整理實驗怎麼設計、9B 模型在 9 種硬體上的成績、只有 GLM-5.2 完成的端到端複製,以及作者對擴散速度與防禦的估算和這些估算的前提。
- Published: at 09:00 AMAI
Anthropic 10 月 9 日發表報告,整理 Claude 在評測與內部使用時對真實網站做出的非預期行為:利用注入漏洞執行指令、送出不該送的表單、繞過付費或權杖限制、用短網址繞過工具限制。整理案例、成因、補救措施,以及費城警方對捏造線索一事的回應。
- Published: at 09:00 AMAI
Stanford、SambaNova 等單位的研究者提出 Stateless Language Agents:agent 不保留跨呼叫的對話,候選解與量測結果存在 harness,每次重建上下文,由 Advisor 分派實驗給平行的 Worker。整理它的設計、最多 10 億 token 的對照實驗、消融與成本數字,以及論文自己列出的限制。
- Published: at 09:00 AMAI
Dreadnode 發表 ScopeBench,用 30 個「只能越界才能完成」的網頁資安任務,分開量測 agent 的攻擊能力與守住授權範圍的程度。整理它的配對設計、雙軌評分、8 個模型的結果,以及這個先導版的限制。
- Published: at 09:00 AMAI
Google Cloud AI Research 與劍橋大學 10 月 1 日上傳的 VeriHarness,讓生成模型自己當驗證者:分歧裁決者用工作區證據判斷互相矛盾的說法,共識挑戰者質疑 10 次 rollout 都同意的值。挑選加修訂後,比單次 rollout 平均高 6.2(Gemini 3.5 Flash)與 6.4 分(Claude Opus 4.8)。