我正在给一个客户工期很短的项目搭建一套新的语音智能体系统,并且刻意挑了复杂、具身的使用场景来做。其中有一个面向航空的智能体,可我买不起飞机,而且沙盒能教你的东西有限,教到某个程度它就开始对你撒谎了。
所以我买了辆便宜的退役军车队卡车。一辆二十年的雪佛兰 Avalanche,几乎没花钱。它不是我的主力车,所以我在家里拆线路,也没有人会不高兴的。它是那种几乎纯机械的老雪佛兰,永远跑不坏,也不会带着一堆没用的遥测数据往家里打电话。
思路是这样的:这里头很多有意思的部件在结构上是通用的。路线、内部结构、一层可弹性的 GPS,以及最重要的……加减传感器、然后看核心框架在变化之下到底有多稳的能力。
具身系统里的记忆
另一块让我兴奋的东西是语境管理。诀窍在于,系统要围绕一个足够强、会主动使用记忆系统的定制模型来搭,而不是把记忆当成检索拐杖来用。
选定的模型是 Gemma 27B 的微调版,带多模态能力。它是个聪明的模型,该有的基本盘都烤进去了。有语音,有图像处理,还有 MOE 架构,让它在量化配置下依然可用,token 流速快到视频不是硬需求。如果我追的是全自动驾驶,我会更在乎视频;但这里我更关心的是 LIDAR 差分和感知差分。
不像飞机或船,公路车有意思的地方在于它逼你推理的规则有多少。只要这东西在动,我就能查关键地点、对路牌做出反应、听无线电信号。这是个出奇丰富的约束空间。
语音、剧变与本地资源
到目前为止最大的痛点是 TTS 的变化速度。看到开源语音发展这么快让人兴奋,但也很让人晕头转向:辛苦攒出一个能跑的对话栈,三天后发现 NVIDIA 或者微软又甩出新库,把你的一部分工作直接作古。这事已经发生两次了。
好消息是框架本身是弹性的。到了这一步,适配主要意味着重训工具用的 LoRA,而不是重新思考整个系统。
还有资源这一面:全程脱离云端做这一切。硬件生态系统终于感觉成熟到可以让这变现实了,有平价的选项能靠一套 12V 系统活得相当滋润。
我很期待折腾天线、装摄像头、真正上手接线。
这会很好玩。
我已经等不及想看它从哪里坏。