Artificial Analysis 推出 V5 版本智能指数
新增内容:
FrontierCode 2.0:Cognition 新推出的私有基准测试,针对现实世界的编码任务,根据仓库维护者是否会合并代理的更改进行评分
Terminal-Bench-Science:70 个代理式科学研究任务,在终端环境中运行
升级内容:
HLE-Diamond(取代 Humanity’s Last Exam):人类最后考试的精炼版,包含 1000 个问题,推理题和知识题各占一半
AA-Omniscience v1.1:更新后的数据集,移除了饱和和公开集问题,添加了新问题,并修订了模糊或错误的问题
CritPt v2:CritPt v2 的私有 40 题困难子集,由 CritPt 作者修订,并使用代码执行工具运行
保留在指数中的内容:AA-Briefcase、AutomationBench-AA、GDP.pdf 和 Terminal-Bench 4.0
从指数中移除的内容:GDPval-AA v2.1、SciCode 和 AA-LCR v1.1
https://cdn3.ldstatic.com/original/4X/4/4/3/443f9dee355bbccb3f20fcfc78524ed1d020dab2.jpeg
https://x.com/ArtificialAnlys/status/2115265133467635877 先把一个小环节做到位,再去追求规模。 星友占位,哥不白看,回帖支持! 真实踩坑比空讲道理更有价值。 不懂就问,这个需要提前准备哪些东西? 有参考价值 凌晨三点蹲守线上训练营报名,比抢演唱会门票还拼 有没有星友在深圳的,一起出来聚聚啊
页:
[1]