Skip to content

你的提示词过滤器保护不了任何人

让我至今缓不过来的一个事实是:Midjourney 明明站在图像和视频生成系统的最前沿,用的却还是 2022 年就搭好的那套提示词审核设计。按 AI 的时间算,这等于回头望向 1990 年。

到了今天,你根本不该再需要监控图像生成提示词了。

为什么?问得好。多谢你问了。

先说为什么你会觉得图像生成提示词需要审核。理由有一堆,还都挺正当。审核帮你稳稳待在法律边界内,让你享受那份甜美甜美的 Section 302 合规——以及一种安心:知道自己在守规矩,没有共谋滥用。

这是净收益。

但法律从来不够。所以下一件要想的事是责任。像应用商店、信用卡清算商这类平台,都在最低法律要求之外自有一套规矩。

而你想收到钱,就得陪他们玩。

那么……我为什么会对此有意见?

提示词审核漏掉了什么

来点技术的。

从一开始,提示词审核就有几个好玩的问题。

第一,蠢乎乎的模糊距离匹配,要么不够——要么又太过。

够简单,对吧?部署一个 LLM 流程,完事?

错。

只要你认真测这些系统,有一件事很快变清楚:部署一个 LLM 流程去审核生提示词,等于把你暴露 LLM 时本来就有的那一整套安全漏洞全打开。更糟的是——全世界一半的 AI 艺术家,正是这类注入的专家。

阴的东西也不少。我有个朋友特别擅长这个。我第一次放他测我的系统时,我差点哭出来。那大概是第一代或第二代 Space Judges 实现——我记不清了。

那还是在搞什么部署前训练的时间缩放和输入上下文之前,像我们现在这样。那时候,这些模型门户大开,我们只能靠提示工程独力解决。

我最终还是智取了他,但花了我两周和几百行代码。

图像生成器把 AI 的好多东西集中在一处演给你看。比如扩散模型的采样是怎么回事。你正常都要走固定数量的采样步,因为系统第一次就给你连贯输出有困难。这个数会随模型浮动——但它是个很说明问题的模式。

我们应该对一切都这么干。一体化的修正与精修回路,让所有东西闪闪发光。

好的提示词系统配评审团——一组走不同热度与创意设置的处理或评审步骤,再加一个做最终裁决的合成步骤。这能让你逼近判定一条提示词是否真的冒犯。

但严格从技术上讲……一条冒犯提示词就一定会生成冒犯图像吗?

不会。绝对不会。你指望不上。有时候,世界上最吓人的提示词会生成一张平淡无奇的鸭子水彩,而且没人知道为什么。步数太多?种子不对?机器对某个特定拼写错误或一摞词的理解方式?

模型的行为狂野。我们只能盼着它们狂野……得有条理。这是个随机过程。而在我看来,提示词审核多半只是场戏,演给你的信用卡清算商和应用商店看,好让他们心里舒坦。

够法庭用吗?我不知道。我不是法律专家。我觉得「故意」这条论证极其模糊。可我又懂什么?

就算一层扎实的提示词审核,也挡不住专家。至于真正的罪犯?他们只会去能为所欲为的地方。你八成碰不上他们几个。

当假阳性变成产品

再说创业者的心理。这帮人,唉。你告诉他们审核很重要,信用卡公司会因你没处理好而掀了他们的午餐?哦——还有 PCI 合规会自带一种友好的黑客?

他们把旋钮拧起来。一直。拧到底。

假阴性他们一个都受不了。假阳性呢?没问题。

新问题:你刚把所有亮闪闪的新用户全部吓跑。恭喜。

因为如果你以「安全」之名把旋钮拧过了头,你就不只是在筛边界案例——你在重写整片创作地貌。你在对用户说:我们不信任你,把歧义交给你不行。系统开始更频繁地失败。而——讽刺的是——这正是让 PCI 审计员更多疑的东西,不是更少。

与此同时,失败一多,用户就往山上跑。说实话吧:到了这个年头,图像生成基本上已经是商品服务。

而这一切,发生在我们还没谈真正的图像审核系统长什么样……或者你要它干什么之前。


那么,2025 年真正的图像审核系统该长什么样?

它看图像。

不看提示词。不看元数据。不看一个去年春天时就已过时的模型的词袋。你需要一个视觉-语言模型——一个真能看见输出、并推理它可能意味着什么的 VLM。

当然,元数据有用。存起来。建索引。喂进持久化存储。但别把它误当成你要审核的那个东西。

回路该这样跑:

  1. 提示词被发给图像生成器。

  2. 图像被生成。

  3. VLM 对输出做安全与质量评估。

  4. 图像没过审核,就修正提示词重新生成。过了,就交还给用户。

  5. 固定尝试次数后断开回路(三次通常够用)。

最棒的是什么?在这个流程另一端的人——那个付钱用你产品的人——几乎什么都看不见。

你已经把审核系统做成了事实上隐形的东西。你再也不用担心因为某个过度热心的过滤器把客户惹毛。

这么干还整个绕开了提示词注入。VLM 不需要看提示词,只需要看图像。更小的安全足迹,更低的 token 预算,更少的头疼事。

如果不差钱,Claude Opus-4 干这个很棒。但贵。幸好有一大堆开源选项能让你足够接近。

看看 Hugging Face 的 VLM 博客汇总:https://huggingface.co/blog/vlms-2025?utm_source=chatgpt.com

或者……你可以像 Midjourney。

「我们的 AI 审核员对这张图拿不准。」

那不是安全。那是规模化的合理推诿。

祝你好运。