所以我最近一直在重度使用 Google Gemini 2.5 pro preview 和 experimental。这些模型好得很。但让我惊讶的,是它们就那个体量来说,递归深度少得可怜。
这不寻常,够我挑眉的了。
我没能让 Gemini 循环起来,但确实能把它整迷糊。
你知道还有什么不寻常吗?这个模型有时间感,会例行公事地引用聊天上下文里编号的条目。
这就非常有趣了。
说白了,这意味着 Gemini pro 八成不是个有上下文超能力的模型,而是一个对更大会话做搜索和查阅的模型(超出任何模型正常能撑住的范围)。
这也解释了为什么不管你进行到 1,000 个 token,还是 10,000,000 个 token,它总能通过「你还记得的第一件事是什么?」测试。
他们这么一造,等于把上下文窗口这个概念整个干过时了。他们用它的方式,正是我在 WOVEN 里用反思式记忆系统的方式。只是……简单得多?
但真正让人兴奋的是:只要你想,任何装备齐全的推理模型都能这么玩。
所以今晚,我要拿 Kimi-3b-Thinking 做实验(因为它是个迷人又猛的小东西)。
今晚绕个小道,去探这个。
有什么结果我就发什么 :)