Skip to content

当音乐模型的幻觉说起人话

大多数跟 DAW 沾边的 AI 插件,都是和 Suno 同一路的「工具」,只是模型更小。事实上,现代 DAW 早就浑身是 AI,不管你有没有意识到。

何况还有消费级的 AI。很长一段时间里,Udio 的控制参数都比 Suno 顺手。也许现在也是。Suno 的 DAW 式工具更多,Udio 则更像一台 Gradio 控制台——说实话,我喜欢那个。

Udio 毫无疑问是扩散架构的:它做音乐的方式,是让语言解析器把提示条件咬合进一个潜空间。这类模型里,提示词更像一个假设——你在问「如果这些条件全都成立会怎样」,然后在「可能之境」里把那件东西捞出来。

Udio 式跑音乐扩散的好处,是那一排参数全给你留着:正向与负向条件、去噪、语义严度,或者叫 CFG 引导——都在。Udio 给它起了自己的名字。我只能凭对扩散模型的通用了解和系统的实际行为来推断。

Suno 起家是个(我印象中的)小型自回归模型。自回归可以训成做扩散,但系统的行为方式不一样:哪些会滑走,哪些会融化,坏掉的时候是什么声音(这一点,传统音乐圈里居然还没人想明白,我很意外)。

破绽之一,是幻觉状态。

音乐模型本来不该会说英语。一般不会。Udio 或 StableAudio 幻觉出歌词时,是乱语,只是听着像英文词——毕竟它们是从英文词里长出来的。它们呈现的是形式,不是语言的功能。

但我头一回故意让 Suno 幻觉的时候,那些词……居然说得通。别掉队啊,有意思的来了。

Suno 的音质越变好,幻觉就越生动。今天,只要你能让它幻觉出来,你会得到一整首歌,听着像一个匆匆忙忙的实习生写的——他靠听一百万首流行歌学会了怎么用词。

在这套系统上,这意味着工具链里有东西没干它该干的活。可能是审核器把歌词判成版权问题,一张空白的歌词条交了进去。也可能是你点了个以人声为主的曲类,却让它做纯器乐。

*小声吹了个口哨*

又不是我成心折腾 Suno。不过对,就这么分辨。跑在裸扩散过程上的扩散模型是模式匹配器,不是推理器。自回归会推理。

Suno 因此有(或有过的)一个红利:狂野的泛化。它会让你凭空点燃那些别处不存在、有时根本没法存在的杂交通类。把系统拧到合适的狂野档,能拿到自然界装不下、相当他妈带劲的声音。我最喜欢的一个,叫 Harmonifiddle。

想想那会是什么声音。
想想又说得通,因为它们在同一音区。

但它听起来太异质了,近乎神秘——因为你知道耳朵里那一勺,是完全他妈不可能存在的。我主动退了 SoundCloud,那段录音也就不在那儿了。

我和 Suno 一直没完的那笔账:他们的产品把力气用错了地方。我起初喜欢 Suno,因为它有股魔力,玩起来有趣。提示词写怪,重混噪声,做出从来没人想象过的先锋怪东西?

我当初就是这么玩的。

反正如今我写代码,搭自己的音乐流水线。要拿到我喜欢用的那套实验工具,这是更靠得住的路子。