GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 551 days ago, the information mentioned may be changed or developed.

发现一篇很有意思的论文 https://arxiv.org/abs/2410.05229，v2 上没什么讨论。

论文质疑 GSM 评测指标的合理性，并通过一些 trick 来给原本的题目作出数值替换、加一些干扰子句，发现各大模型“推理”能力都显著下滑甚至砍半。

No Comments Yet