Je suis toujours sidérée par le fait que Midjourney soit à la pointe des systèmes de génération d’images et de vidéos, mais qu’ils utilisent encore un design de modération de prompts conçu en 2022. À l’échelle de l’IA, c’est comme si on regardait en arrière vers 1990.
Aujourd’hui, on ne devrait plus avoir besoin de surveiller les prompts de génération d’images du tout.
Pourquoi ? Bonne question. Je suis ravie que vous la posiez.
Commençons par pourquoi vous pourriez penser vouloir modérer les prompts de génération d’images au départ. Il y a plein de bonnes raisons. La modération vous aide à rester prévisiblement dans les limites de la loi, vous offrant cette douce, très douce conformité à la Section 302 — et le confort de savoir que vous jouez selon les règles et que vous n’êtes pas complice d’abus.
C’est un gain net.
Mais la loi ne suffit jamais. La chose suivante à considérer, c’est la responsabilité. Les plateformes comme les app stores et les processeurs de cartes de crédit ont toutes leurs propres règles, bien au-delà des exigences légales minimales.
Et si vous voulez être payée, vous jouez leur jeu.
Maintenant... pourquoi est-ce que j’aurais un problème avec tout ça ?
Ce que la modération de prompts rate
Passons à la technique.
On a eu quelques problèmes amusants avec la modération de prompts dès le début.
D’abord, le bête matching par distance floue est soit insuffisant, soit beaucoup trop strict.
C’est simple, non ? On déploie un processus LLM et on s’est dit que c’était bon ?
FAUX.
Si vous testez ces trucs correctement, une chose devient vite claire : déployer un processus LLM pour modérer des prompts bruts ouvre tous les trous de sécurité habituels que vous avez déjà quand vous exposez des LLM. Et pire — la moitié des artistes IA dans le monde sont experts précisément dans ce genre d’injection.
Des trucs sournois, en plus. J’ai un ami qui est incroyable là-dedans. La première fois que je l’ai laissé tester l’un de mes systèmes, j’ai failli pleurer. C’était soit la première, soit la deuxième implémentation de Space Judges — je ne me rappelle plus.
C’était avant qu’on commence à faire des choses comme le time scaling et le contexte d’entrée pour l’entraînement pré-déploiement, comme on le fait maintenant. À l’époque, ces modèles étaient grands ouverts, et on devait compter uniquement sur le prompt engineering pour résoudre le problème.
J’ai fini par être plus maligne que lui, mais ça m’a pris deux semaines et des centaines de lignes de code.
Les générateurs d’images illustrent tellement de choses sur l’IA en un seul endroit. Comme le fonctionnement de l’échantillonnage dans les modèles de diffusion. On passe par un nombre défini d’étapes d’échantillonnage, normalement, parce que le système a du mal à donner un rendu cohérent du premier coup. Ça varie selon les modèles — mais c’est un schéma révélateur.
On devrait faire ça avec tout. Des boucles de correction et d’affinement intégrées qui font que tout devient étincelant.
Les bons systèmes de prompts fonctionnent avec des jurys — un groupe de processus ou d’étapes de révision avec différents réglages de température et de créativité, et une étape de synthèse pour une décision finale. Ça vous permettra de déterminer si un prompt est réellement offensant.
Mais en termes techniques stricts... est-ce qu’un prompt offensant générera toujours une image offensive ?
Non. Absolument pas. On ne peut pas compter là-dessus. Parfois, le prompt le plus effrayant au monde générera une aquarelle de canard sans intérêt, et personne ne sait pourquoi. Trop d’étapes ? Mauvais seed ? La façon dont la machine comprend une faute d’orthographe particulière ou un empilement de mots ?
Les modèles se comportent de manière sauvage. On espère juste qu’ils se comportent sauvagement... avec clarté. C’est un processus stochastique. Et à mon avis, la modération de prompts, c’est surtout du théâtre pour que votre processeur de cartes de crédit ou votre app store se sente mieux.
Est-ce que ça suffira devant un tribunal ? Je n’en sais rien. Je ne suis pas experte juridique. Je pense que l’argument de l’intention est extrêmement flou. Mais bon, qu’est-ce que j’en sais ?
Même une couche de modération de prompts solide ne vous protégera pas des experts. Et les vrais criminels ? Ils iront simplement là où ils peuvent s’en sortir. Vous n’en croiserez probablement pas beaucoup.
Quand les faux positifs deviennent le produit
Ensuite, il y a la psychologie des fondateurs de startups. Ces types, franchement. Vous leur dites que la modération est importante, et que les sociétés de cartes de crédit vont leur bouffer le déjeuner si ce n’est pas géré ? Oh—et que la conformité PCI s’accompagnera de sa propre sorte de hacking amical ?
Ils poussent le curseur. À fond.
Ils ne toléreront aucun faux négatif. Mais les faux positifs ? Aucun problème.
Nouveau problème : vous venez de faire fuir tous vos nouveaux utilisateurs tout brillants. Félicitations.
Parce que si vous poussez le cadran trop loin au nom de la « sécurité », vous ne filtrez pas seulement des cas limites—vous réécrivez tout le paysage créatif. Vous dites aux utilisateurs : On ne vous fait pas confiance avec l’ambiguïté. Le système commence à échouer plus souvent. Et—ironiquement—c’est le genre de chose qui rend les auditeurs PCI plus paranoïaques, pas moins.
Pendant ce temps, trop d’échecs et vos utilisateurs s’enfuient. Parce que soyons honnêtes : la génération d’images est pratiquement devenue un service banal à ce stade.
Et tout ça avant même qu’on parle de ce à quoi ressemble un vrai système de modération d’images... ou de pourquoi vous en voulez un.
Alors, à quoi ressemble un vrai système de modération d’images en 2025 ?
Il regarde l' image.
Pas le prompt. Pas les métadonnées. Pas un sac de mots provenant d’un modèle qui était déjà obsolète le printemps dernier. Il vous faut un modèle vision-langage—un VLM capable de réellement voir le rendu et de raisonner sur ce qu’il pourrait signifier.
Bien sûr, vos métadonnées sont utiles. Stockez-les. Indexez-les. Envoyez-les dans un stockage persistant. Mais ne les confondez pas avec la chose que vous essayez de modérer.
La boucle devrait fonctionner comme ça :
Le prompt est envoyé au générateur d’images.
L’image est générée.
Le VLM évalue le rendu pour la sécurité et la qualité de l’image.
Si l’image échoue à la modération, on corrige le prompt et on régénère. Si elle passe, on la renvoie à l’utilisateur.
On casse la boucle après un nombre fixe de tentatives (trois, c’est généralement suffisant).
Et le meilleur dans tout ça ? L’humain à l’autre bout—celui qui paie pour utiliser votre produit—ne voit presque jamais rien de tout ça.
Vous avez rendu votre système de modération effectivement invisible. Vous ne vous inquiétez plus d’aliéner vos clients à cause d’un filtre trop zélé.
Faire ça permet aussi de contourner entièrement l’injection de prompt. Le VLM n’a pas besoin de voir le prompt, juste l’image. Empreinte de sécurité réduite. Budget de tokens plus bas. Moins de migraines.
Si l’argent n’est pas un problème, Claude Opus-4 est top pour ça. Mais c’est cher. Heureusement, il y a des tonnes d’options open-source qui vous permettront d’arriver assez près du but.
Allez voir le récap des VLM sur le blog de Hugging Face : https://huggingface.co/blog/vlms-2025?utm_source=chatgpt.com
Ou alors... vous pourriez faire comme Midjourney.
"Notre modérateur IA a un doute sur cette image."
Ce n’est pas de la sécurité. C’est du déni plausible à grande échelle.
Bonne chance avec ça.