这么说吧,你正在撞上的几件事,我已经绕着走了大概五年——有一些别人没想到、但该想到的数据集指标。
Token 节食不是答案,因为闯祸的不是 token 的数量。是操作的圈复杂度,是指令的清晰度。token 数目高未必引发迷糊,因为圈复杂度低。然而 token 数目小、圈复杂度高,就能。
接着一条观察。你注意过没有,有时候,一个 4b 模型能把 20b 或者 60b 耍得团团转?那要紧的从来不是参数量。这里,你该想的指标是推理带宽,或者递归深度。一个智能体,你能推它到多远,它才会自己折进去,进循环?
这两样你都得逐例对待。不存在放之每套系统皆准的铁律。
不过那个打扫房间的比喻给了我一个点子。要是智能体有个工具,能审自己的上下文,删掉一切它觉得干完活用不着的?你八成可以把它做成会话管理的一环。就在回合之间修订,跟你在自建客户端里做截断一个姿势?我感觉除了 Gpt-oss,这招哪儿都好使。
唉,算了。
只是我的一点想法。
去看论文!
爱你们!