底层补绘(underpainting)本质上是外扩补绘(outpainting)朝内翻。
不是把图像的边缘往外延,而是把可见构图底下应该存在的东西重建出来。你要是想想,这算一种手上戏法。
来说说我是怎么做的。
SAM 能给你掩码。它能把一张图拆成可用的碎块。但它并不真的理解场景。
掩码不是判断力。
这些层还经常以碎块形式出来。比如图里有一只猫,你多半不会得到一整块巨大的「猫」层。
一开始,挺烦人。
然后你发现这很有用。
这种拆分给你控制力:能推拉东西、调整倾斜、挪动对象,还能摆弄那些让过程变得好玩的、敦敦实实的艺术零件。
所以我们需要引入推理。
拆开与重建
先图像分成层,然后问一个还算靠谱的视觉语言模型(VLM)它看见了什么。VLM 识别对象,把它们归入前景、中景或背景,并给各层命名,让流水线的其余部分能用上。
层拆好、标好之后,你把凡是算作背景的部分单独拎出来,摊平到一块草稿板上。草稿板可以想成计算机内存里的一张假想图像,只在你处理它的时候存在。
走到这一步,你会得到一张漂亮的脏背景,上面带着洞。
缺失的区域、破损的纹理、边缘伪影、擦了一半的阴影:这些都在告诉模型,图像哪里需要修补。
好消息:这通常是一道容易的预测题。
顺着这些缝隙一路做局部重绘和外扩补绘,直到你对前景之下的世界有个更好的猜想。
然后你再把它拆开。
清掉残渣
第二轮才是 VLM 挣甜甜圈的地方。
你把原图、层数据包和重建出的背景候选一起摆给它看。
从这里开始,它能帮你揪出原始构图里仍然污染着背景的任何东西。
把残渣清掉。
再补一遍缝隙。
现在你快到了。这时候做到「大体干净」完全够格。干净只是说,背景能垫在会动的层后面,而看起来不像一个 Photoshop 犯罪现场。
重建交叠处
之后,凡是层和层相撞的地方,你重复同一套基本把戏。
一个对象压住另一个对象时,下层被挡住的部分就变成一道重建题。
你隔离可见的那块,推断缺了什么,在障碍物后面补上墨,再把场景作为相互独立、可以移动的层拼回去。
上层通常容易,因为底下藏的东西少。背景是难的那部分,因为整个幻象都驮在它背上。
这就是底层补绘。
它属于那种靠分割、视觉推理和生成式修补三方谈判达成的场景重建。
SAM 给你剪刀。
VLM 给你判断。
扩散模型给你颜料。
你的应用要干的活,是让这三者合作而不把整锅搅成汤,然后让一切看起来足够轻松,让用户连「这是怎么办到的、为什么会这样」都想不起来问。
创意 AI 应用就是一种这样的魔法。