今晚我埋头翻了数字果蝇大脑的研究,翻人们拿这东西都干成了什么。味觉、感觉加工、甚至突触可塑性,都有很迷人的工作。
但目前这些全脑模拟,大多跑在冻结权重上,留不下多少持续学习的容量。
让我觉得有意思的是:果蝇本来就有专门管记忆的神经回路。那为什么不给这台机器接上一个合成记忆系统,看看会怎样?
然后我想到了 Accelerando 里的俄罗斯龙虾。
一只无状态的失忆蝇,对谁都没什么用。
所以我在造一只带记忆系统的 Flyborg。思路是把果蝇既有的学习回路接到合成存储上,用神经活动来生成和取回向量嵌入。
理想情况是,果蝇自己的神经系统来决定记什么、什么时候取回,以及这些记忆怎么影响它的行为。
就这么简单。
我刚才还在想,我妈会多喜欢这个实验。
我:我在给一只数字苍蝇做脑外科手术。
妈:挺好。你又造了棵便便树,对吧?
我:对,算是……但这是为了科学!
妈:当然是,亲爱的。
第一个撞上的问题是神经迹线的体积,以及怎么管理它们。苍蝇一直在动,模拟产生的数据量吓人。比我预想的多得多。
一旦接上合成记忆系统,可供捕获和存储的信息是海量的。好消息是,我觉得可以对它做取舍,给苍蝇记住的东西分类、排优先级。
万幸的是,项目开头我还记得用正经 schema。
还在进行中(work in progress),但我目前的想法是:一套快的短期记忆,配一套慢的、有选择地巩固的长期记忆,在这儿可能是对的。
现在,这只苍蝇是个快乐的圆球,在一片潦草的 Godot 世界里飘来飘去。眼下还不怎么看,但等生态缸(terrarium)做完会很有看头。我希望最终成品是一篇论文,和一个小小的世界,你能下载回家自己跑。
顺便说,这也是一种非常有趣、非常不同的方式,去思考智能体和机器人。脉冲驱动的架构,我以前从没想过要做,但真喜欢。你细想,它讲得通。
周末随着我对这套流程了解加深,我会继续在这儿发。
很快再更新。
一条后来的观察
编者按:苍蝇在不停摄入数据,但不是不停记录。一个有意思的细节:触发和处理之间有 20ms 的延迟。我一开始以为这是数字复刻的特性,结果发现生物界的苍蝇在同样的间隔上也干同样的事。
还想过拿「达,同志们」来收尾,但这个玩笑会砸在地上没人接。爱你们。