GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models
OliverDD · oliverdding · 27 天前 · 1024 次点击发现一篇很有意思的论文 https://arxiv.org/abs/2410.05229，v2 上没什么讨论。
论文质疑 GSM 评测指标的合理性，并通过一些 trick 来给原本的题目作出数值替换、加一些干扰子句，发现各大模型“推理”能力都显著下滑甚至砍半。
目前尚无回复
Select Language