大模型对长文本的处理都是会分段的吗？

This topic created in 231 days ago, the information mentioned may be changed or developed.

最近在折腾一个对超长文本的 AI 总结，要求对目标信息进行提取然后归一化，但是输出的结果总是存在重复，严重怀疑是分段分别处理后归一化，然后没有整体归一化导致出现这种情况

或者说这本来就是大模型不擅长的领域？

2 replies • 2026-03-17 10:25:27 +08:00

ihciah

Mar 17 via iPad

这是超 context 然后被 truncated 了吧

cairnechen

Mar 17

@ihciah 超 context 直接 API 就报错了吧，虽然我说是超长文本，但是肯定没超过输入限制的