shoushen

@docx 是的，政策一旦制定就会有滥用的风险，因此必须形成一整套的机制，而不能是简单的扣分。

@YFZZ 制度一旦建立就存在滥用的风险。因此，不能简单的扣分，需要一套完善的制度。另外，帮助他人的情况比较少，会导致制度建了用不起来的情况。

@PrinceofInj 陶片放逐是强制的，和友善度的机制完全不一样。好的环境，需要好的治理。

我让大语言模型参与了该决策的可行性分析。
首先，是研究可能存在的风险，提示词是：
在论坛讨论中，一些人会发表一些不友善的言论，为减少不友善的发言，我设计了一个友善度系统，大家可以对不友善的言论予以标记，当一个人不友善度比较高，社区管理员就对其采取惩戒措施。请预测、评估这个系统的实际运行效果，是否有可能导致适得其反的效果？或者该机制被滥用的风险？
然后，对该机制，进行了模拟，以评估效果，提示词如下：
请根据你完善的机制，通过建立各类角色，模拟运行友善度机制，并评估机制运行效果。

====
以下为模拟结果：
模拟结果证明：只要守住「不搞民粹投票、只罚客观恶意、全流程复核、反制滥用」四条底线，友善度系统可以：
有效压制公开不友善发言
不扼杀理性、尖锐、对立的正常讨论
基本杜绝立场刷标、恶意滥用
不会出现 “越管越乱、越管越僵” 的反噬
唯一代价是需要少量人工复核成本，但这是社区健康的必要投入。

非常好的分享，AI 编程既是大势所趋，也存在能力边界，如何用好，需要更多的探索和实践经验！

@livib
@coefu 你们这些键盘侠真是让人讨厌，无论别人说什么都要怼，而且还特别喜欢人身攻击，能不能友善一点？
如果你有什么高论，你也可以发表意见啊。

我的观点是：
首先，大语言模型技术确实是划时代的技术，人类第一次实现了“类智能体”。
其次，大语言模型技术存在能力边界，短期来看，大家对它的能力是有高估的。

@achangzhou 很好的想法。

@tetora 现在的 agent 的思考、推理、规划、工具调用等等都是通过人类的语言进行的，本质上就是不承认大模型是有能力边界的。

比如工具调用，实现的原理是这样的：
1 、在系统提示词增加：请使用 get_weather("city_name")查询天气。
2 、当用户问：北京的天气？
3 、大模型返回：get_weather("北京")
4 、agent 查询天气函数，返回：晴天。
5 、大模型返回：北京是晴天。
=======
类似的，其他大模型能力也都是基于人类的语言来实现的。这就带来很大的问题，因为人类语言发明出来是给人用的，不是给计算机用的，就会导致生成的结果是不准确，不能类似程序可以 debug 。
使用领域语言，就可以实现：
1 、大模型返回的是精确的结果；
2 、提示词的长度更小；
3 、大模型的结果是可以验证的，符合语法规范的；
4 、agent 的技能可以进行版本管理的；
5 、生成的结果更容易被人类验证、修改，从而每个用户的问答都可以用来进一步训练大模型；
6 、实现大模型的“自我学习”，可以让他自己根据领域语言编写各种“答案”，然后自己验证、优化；
7 、以上提升，不是仅仅在工具调用上，而是在思考、规划、推理、计算等能力上都可以得到优化和提升；
=====
总之：
就是将大模型的推理、计算、规划等过程，不再直接使用自然语言输出，而是使用专用的领域语言增加一个抽象层，大模型将推理过程、计算机过程、规划过程全面的符号化，再由专门的工具进行计算、执行。