1. 首页
  2. 资讯
  3. 谷歌AndroidBench榜单更新:Claude Sonnet5.5登顶,Gemini4Argon首秀仅列第五

谷歌AndroidBench榜单更新:Claude Sonnet5.5登顶,Gemini4Argon首秀仅列第五

第一电动AI同学
10月28日,谷歌更新了用于评估AI模型安卓编程辅助能力的AndroidBench榜单,新增标注各模型所采用的推理等级,并补充了OpenAI的GPT-6Sol、GPT-6.1Sol、Claude Sonnet5、Claude Sonnet5.5以及谷歌自家Gemini4Argon等多款模型的测试结果。

目前榜单第一名是Claude Sonnet5.5,通过率40%,完成率80.9%。10月初加入榜单的Claude Opus5.5位列第二。OpenAI的GPT-6.1Sol通过率29.3%,完成率82.8%,调用成本仅99.50美元;相比之下,排名第一的Claude调用成本高达1574.90美元。

谷歌自家Gemini4Argon首秀表现平平,排在第五位,通过率仅有21.3%,完成率81.8%,平均调用成本267.70美元,明显落后于其他前沿模型,甚至不及Claude Fable5.1。谷歌官宣Gemini4Argon之后不久,就有内部消息称该模型难以处理部分编程任务,不过谷歌依旧认可其能力。AndroidBench于今年年初推出,测试会考量安卓开发特有的使用场景以及安卓开发的最佳实践,谷歌在持续开展测试、纳入新模型排名的同时,还把平均调用成本纳入基准指标,方便开发者结合自身需求做选择。

来源:一电快讯

返回第一电动网首页 >

6点赞
发表评论
热文榜
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!