发现一篇很有意思的论文 https://arxiv.org/abs/2410.05229，v2 上没什么讨论。
论文质疑 GSM 评测指标的合理性，并通过一些 trick 来给原本的题目作出数值替换、加一些干扰子句，发现各大模型“推理”能力都显著下滑甚至砍半。
发现一篇很有意思的论文 https://arxiv.org/abs/2410.05229，v2 上没什么讨论。
论文质疑 GSM 评测指标的合理性，并通过一些 trick 来给原本的题目作出数值替换、加一些干扰子句，发现各大模型“推理”能力都显著下滑甚至砍半。
Select Language