那么这个周末我学到了什么?
🔴 Gemma 是个好模型,只是不适合这个项目。
想在 Spark 上保住多模态特性,是件徒劳的事。我几乎搭进去一整个周末才让这套技术栈跑起来,结果换来糖浆般的性能。感觉与其说是 Gemma 的问题,不如说是 Spark 的问题。这块硬件偏好 fp4 和 fp8,能容忍 fp16,但它从不假装自己是 TPU。
事后看,它大概从来就没打算当开发机,可我还是这么用了。
下一个候选是更稠密的,比如 Qwen3-VL-32B。我觉得能成,但可能得哄一哄,它才进入对的状态。
置信度评分
🟡 置信度评分是个好主意,但迭代成本是真的。
用纯文本 Gemma,要拿到稳定可靠的结果,推理步数从二十到五十不等。比我预想的重。模型本身依然利落,体感上比 Claude 或远程 DeepSeek 快,但这个开销很可观。这可能是流程问题,可能是结构问题,也可能两者都是。
声音克隆
🟢 声音克隆意外地可行。
用 Vibe Voice,我发现从合成的参考音频里克隆一个高质量音色,比我想的容易。性能仍有摩擦,因为这台机器上 fp16 推理很倔,但音质本身极其出色。我几乎能以接近实时的速度产出听感很好的音频片段。做实时 AI VoIP 还不够,但已经近到能和 ChatGPT 的语音模式掰掰手腕。这部分像是赢了。
图像技术栈
🔴 Flux2 复杂得没必要。
它是个裹着混凝土大衣的聪明系统。即使修剪过,它还是坚持要跑 Mistral 这类根本不必在场的工具集。
没有任何办法把它合并或瘦身。就它想干的事来说,不需要这么庞大。
我的目标之一,是一个能在自编排的迭代流程里精修多参考图合成的智能体,为电影或广告产出能用的分镜。我认为做得到,但 Flux 不是边缘推理的正确工具。
挖了一阵之后,Montage 看起来有戏。
把工具指令塞进 LoRA
🟢 用来放工具指令的 LoRA 真的有效。
把工具指令和系统提示过拟合进一个小 LoRA,效果出奇地好。它的行为更像把一种画风烧进权重,而不是传统微调。小、快、还不占上下文窗口。
绕了那么多调度技巧之后,它在传统意义上还算 LoRA 吗?大概不算。但重要的是,它解决了工具问题。
智能体需要访问成百上千个工具,现有架构撑不住。把工具行为压进权重里,方向是对的。训练日程和循环代码我这周发出来。
以上,是我这个快乐的小更新。