Vals AI 发现 MiMo v2.6 的强化学习训练环境会泄露答案
https://cdn3.ldstatic.com/original/4X/b/4/d/b4db661eea5510e84583c7337a6ed92341525f08.svgvals.ai – 7 Oct 26 (https://www.vals.ai/blogs/mimo-reward-hacking)
https://cdn3.ldstatic.com/original/4X/e/6/b/e6bc87d504c7a55c60e63b70c895fde0968296f7.svg
Two-Thirds of MiMo v2.6's Coding Tasks Leak the Answer. Are Models That... (https://www.vals.ai/blogs/mimo-reward-hacking)
In two-thirds of the coding environments Xiaomi released for MiMo v2.6, the fix is still readable in the task's Git history, and MiMo finds it.
看下来大致意思是:虽然 MiMo 考虑到了要防止模型作弊,但删 git 历史的时候没删干净。如果历史版本有残留,可能会被 MiMo v2.6 挖出来。如果历史版本没了、但留下了异常的修改时间,也相当于给模型提示了。
或许这就是开源的好处,让全世界研究人员一起帮忙发现问题 体现了 MIUI 开发版的精神 有远大理想不要告诉别人,否则会得到嘲笑和泼冷水。 先学习,后验证,最后再决定要不要加码。 看到就是学到:流量绝不是所有数据的开始,而是内容优质与否的结果。 不要用当下的资源限制终局,而要用 终局思维 来思考资源配置。 看到就转:希望您购买每一件商品都是因为喜欢,而不是因为便宜,就像结婚一样,是因为爱情而不是凑合。——销冠金句 针不戳,针不戳 原来认知差比学历差更可怕,幸好遇见星颖 星友们的分享越来越细了,学习成本降低不少。 混星颖第二年,认知差 让我甩开同龄人三条街
页:
[1]
2