几周前我在读一份关于 DeepSeek「啊哈时刻」的白皮书。作者们把思维链为什么常常不按人们设想的方式起作用,一层层讲透了。
核心概念是:真正把你送到有用之处的,并不是思维链。
要让这套流程成立,模型得具备自我反思的能力。得能思考自己的思考。过去三年我一直把这个指标叫「递归深度」——也就是模型用来评估、再评估自身推理的那块空间。
模型尺寸没有训练方法论以及模型处理不确定性的方式那么要紧。思维链能帮上忙,但往往是因为它稳住了模型内部的确定性水平,而不是魔法般解锁了更好的推理。
如果某个模型有管理这套流程的递归深度,更多时间就有可测量的效果。如果没有,你得到的就是上下文窗口里的一摊泔水。
流水线可以自己掌控这个过程
但魔法就在这里发生。
数据科学家喜欢把所有东西都建进权重内部的整体流水线里。这样做有理由,也有适合的情形。不过……我是说,严格按技术工程标准,这不是必要条件。
你想用这套洞见,不必非得把这种能力构建进模型。
如果你手里有个天生就会反思的模型,只是需要更长的推理时间才能产出更好的结果,那你可以把这种行为放进智能体流水线或者推理系统里。
这是流程……不是宗教。
把推理花在要紧处
诀窍是省着用你的资源。
不是每条回复都需要深度推理。
这些流程能天真到什么地步,到现在还会让我吃惊。你不需要——刚那是什么来着——为低风险的问题来上二十分钟推理。
显然,正确的做法是等到模型快要产生幻觉或者开始即兴发挥、它内部的确定性掉下去的那一刻。
那才是你触发更深层推理、或触发一轮研究深挖的时机。
你衡量答错的风险,只在要紧的时候,才给模型更大的空间去琢磨一个解。
而这会改写整个工作流。
如果流程走完,智能体还是不确定……那你就让它干点不可想象的事。让它去要澄清、要更多信息,或者反过来问用户为什么要问这件具体的事。
在世界上,内容为王。
可在推理系统这里,这句话是个大错。
在推理系统的宇宙里,语境为王。
深思……或者消亡。
我觉得迷人的地方在于,这套方法看起来是在跟规模定律对着干。你要知道,这套方法论可以提高你每 GB 的推理密度。但它并不总是线性扩展的。
一切顺利的话,我这周会有个演示。
而你们将能亲手试它。