有个用 Stable Diffusion 和 EbSynth 做视频的法子,相当有意思。只要我做对了,它该能提高稳定性,压低闪烁。
看起来它渲染真人的效果非常好。但我在想,要是把技法稍微调一调——加个游戏环境、加个会说话的虚拟形象——我大概能把它用在几乎任何动画风格上。
另一件我需要的事:更多 EbSynth 关键帧。4 张够撑 10 秒左右,可这数字让我觉得偏低。尤其要做更长的测试。不推到极限有什么好玩的。所以我在想……8 到 12 张关键帧?回头摆弄着看。
角色与采集流水线
我的进攻计划:编一个 talker 出片,配一份新的 Tilde Dawn 导出,把她转成 vrm。做 HDRP 那套,争取把碰撞体调通,给那身帅到炸的行头做布料物理,然后对着这个角色渲一条一分钟的视频,用我那点极简动捕本事。也就是脸、脖子和肩,手就不一定了——除非我真恨自己入骨。
整条线用 vseeface 路由,把 OSC 数据打进 Unity。到这一步为止的每一环我都证明过自己能做到,因为这套流程的每一步你都亲眼看过我做过。
那么,关于用 AI 渲染这个特定角色,我们已知什么?我们知道 Tilde 在 Stable Diffusion 里、对着我的 bod_positivity_v3 模型(sd 2.x)渲得非常漂亮。毕竟她本来就是训练数据的一部分。得把她从长期仓库里请出来,但我还留着。
选关键帧
下一步,从视频里抽 8 到 12 帧。必须包含角色做关键 blendshape 的画面,比如嘟嘴和 JawOpen。剩下的留给语境变化:转头,或角色俯仰左右看。拍的时候我会尽量不动头,走着瞧。
然后我把帧导出来——从 Blender 或 DaVinci Resolve。Blender 我熟到骨子里,DaVinci 半懂不懂,所以多半走 Blender 这条路。
实验渲染那一步
下一环节,未开垦的处女地。
选好帧之后,丢进图片编辑器,把这些帧拼成一张精灵图。
然后拿它们当 init,全部喂给 Stable Diffusion,对着一张法线贴图挂 ControlNet。
我见过的那几位用的是 Lineart 而非法线贴图,但我觉得法线贴图出的面部表情更稳,除了眨眼可能会怪。真怪的话,靠一点轻量合成应该能修,前提是做得非常小心。
因为这一切要交给一个用例极窄的程序化工具,所以帧必须尽可能精确。
反正接下来就是把图切开,给这些小崽子起好名,然后做我们做了一百遍的 EbSynth 那套,只是换新的去闪烁设置,哦嚯!
于是,全程最最第一步已经完成:从 cc4 导出 fbx,拖进 Blender 开一下,确认没导出任何坏掉的 shapekey。但就在刚才我意识到:凌晨 3 点,明天我还得找工作。
这周我肯定做这个。
晚安,我混乱的孩子们,我未知的探索者们。
我爱你们。