“冷门事实记忆”反推闭源大模型参数量, 估算 GPT-5.5 约 9T、Claude Opus 4.7 约 4T
很有意思的研究~https://arxiv.org/pdf/2604.24827
https://cdn3.ldstatic.com/optimized/4X/1/3/a/13aac3797b2787c54b9ba681cdd3fec66e614564_2_256x500.jpeg
https://cdn3.ldstatic.com/optimized/4X/a/5/9/a59f3e006b3570cd410a4480fd42e8b2255d4122_2_409x500.png
https://cdn3.ldstatic.com/optimized/4X/6/d/3/6d3e919c6899a07cf60d73e4615c1380e5ac9a9e_2_690x449.png
原贴内容
闭源实验室都对模型规模讳莫如深，但他们其实藏不住模型"知道什么"。而模型知道什么，恰恰就是参数量的指标。
核心逻辑：推理能力可以靠蒸馏压缩到小模型里，事实知识不行。一个模型记得多少冷门事实，直接跟它的参数量挂钩。
知乎博主李博杰为这个写了一篇小论文，构建了一套叫 IKP（不可压缩知识探针）的数据集：1400 个问题、7 层稀有度，扔到 27 家厂商的 188 个模型上跑了一遍，只看事实准确率。
结果在 89 个公开参数的开源模型上，准确率 vs log(参数量) 的拟合 R=0.917，基本是一条直线。把闭源模型投影上去，规模就估出来了：
GPT-5.5 ≈ 9T
Claude Opus 4.7 ≈ 4T
GPT-5.4 ≈ 2.2T
Claude Sonnet 4.6 ≈ 1.7T
Gemini 2.5 Pro ≈ 1.2T
（90% 置信区间：0.3-3 倍规模）
页:
[1]