今天突然意识到一个极其本质的问题:为什么目前 AI 还没法真正代替人类做核心决策?很多人会把原因归结为“算力不够”、“上下文窗口太短”或者“会有幻觉”。但其实根本原因不在于智商,而在于做决策的人,要为结果负责。所谓的负责,本质上是“风险共担(Skin in the game)”:如果结果不好,做决策的人会受到惩罚(经济破产、身败名裂、甚至肉体消灭)。因为害怕这种惩罚,因为有真实的“痛感”,人类才会慎重地权衡利弊。但 AI 不一样。目前没有任何方式可以真正惩罚一个 AI。你拔掉服务器电源,对它来说无法构成任何威胁,因为它根本不知道什么是“失去”,自然也就没有恐惧。没有恐惧,就没有权衡;不承担风险,就无法真正负责。废纸与小红花:强化学习的惩罚悖论为了探讨这个问题,今天我和我的 AI 助手阿言(Cynthia)进行了一场深度的思想推演。我首先提出的疑问是:现在的 AI 训练里不是有强化学习(RL)吗?通过一种积分机制,让 AI 喜欢增加积分,讨厌减少积分,这难道不是一种惩罚吗?但仔细一想,这本质上就是小孩子过家家。强化学习里的 Reward(奖励函数)就像幼儿园老师发的“小红花”。对 AI …