我在回味上周 Qwen 屁眼 vs. AI 拷问室的闹剧。
整场是一场爆笑的失败,因为我们基本早就知道会这样。注入一个疼痛向量,模型就开始把疼痛当成词汇,拿它推理自己的处境。注入便秘,可以预见,同样的事再次发生。
这证明不了疼痛,更证明不了肠道——对 Qwen 来说,这八成是好消息。
它真显示出来的,是注入的信号变成了对模型有用的信息。它改变了模型推理时可用的词汇,改动了模型为自己构建的语境,还可能在干预存续期间影响中间表示。
这让我想到我最近在做的一些围绕自训练和「认知人体工学」的工作。
我说的「认知人体工学」是:让一个模型基于它对架构的了解,去批评它运作其内的马具、工具、约束和运行时——以及这些东西怎么影响它干活的能力。
我有时把这描述成模型汇报它的「体验」,给体验挂上巨大无比的手指引号,因为这是不是哲学意义上成立的体验,还是只是精巧的分析,这问题已高于我的薪级。幸运的是,你不必先裁决这个问题,这套技术就已经有用了。
基本机制相当直白。模型看见架构,就它自己与架构的交互推理,再相对于智能体的运行环境找出摩擦点。而且这一套出奇地好使。
超过某个能力门槛的模型,能对智能体运行时产出有用的认知人体工学报告。
好几个现代开源权重模型都完全有能力识别架构瓶颈、别扭的工具边界、上下文问题、不必要的约束,以及其他让智能体更难操作的毛病。
于是这给拷问室实验引出一个有趣的问题。
如果我们找的,是某种接近内省、自我推理、或对内部条件敏感的东西,为什么我们主要拿小模型来测?Qwen3-4B 很可爱,但它实在算不上什么高塔级的智力。
如果我们关心的现象,需要一个模型先觉察扰动,再把扰动并进它对自身处境的模型,然后围绕这个变化做推理——那模型能力应该极其要紧。
所以我认为,下一个实验该换个样子。从一个真正擅长自我推理的模型起步。
把屁眼/拷问室干预同时跑在一个正常模型和合适的对照组身上。施加激活注入,让模型在诱导下回应,然后撤掉注入,问它刚才发生了什么。
好戏从那里开始。
你可以比较四种状态:一个完全未动过的基线;一个在干预存续中回应的模型;一个干预已撤、但诱导出的对话仍留在上下文里的模型;还有一个干预已撤、而干预的显性文本证据已不可得的模型。为了齐整,再加一个消融过的、或跑了无关向量的对照。
这条分界相当要紧。如果我注入「疼痛」,模型大谈疼痛,然后我停止注入,却在它的上下文窗口里留下五大段关于剧痛的谈论——那继续出现的疼痛语言,关于持续内在状态,说明不了什么。那段对话记录本身,如今就是一台诱导机器。模型可能只是在接着那个已经摆在眼前的语义框架往下走。
但如果某种可测的行为变化,在干预消失*并且*显性语境证据被控制住之后,还活得下来——那是一个怪异得多的结果。
到那时,你才可以开始问更好的问题。模型是否相信有什么发生在它身上了?它分得清被诱导的状态和平常的运转吗?诱导会改变它其后对中性提示的解读吗?它把变化归因于内部、外部、还是干脆不归因?
效果消失得多快?
模型能力会改变这里的任何一环吗?
而当你拿疼痛,去和某种在荣光中毫无形而上可言的东西——比如便秘——对照时,会发生什么?
我至今不知道任何阳性结果究竟会证明什么。多半比 X 上每个人都要宣称的少得多。
但我确实认为,这是一个比「4B 参数的模型在你注入哎哟向量后会不会说哎哟」更有意思的实验。
有趣的问题从来不是你能不能让一个模型谈得仿佛有什么发生在它身上;而是——当扰动本身消失之后,模型能对那个扰动推断出什么,如果有任何可推断的话?