Alors, c’est quoi la peinture de bruit ?
C’est une méthode d’entrée adverse qui fonctionne encore sur la plupart des modèles de diffusion conventionnels.
On commence par une œuvre d’art abstrait faite main — un truc conçu avec des motifs sauvages, imprévisibles et une logique visuelle contradictoire. Les meilleures jouent avec vos yeux. Elles trompent votre cerveau en lui faisant croire qu’un signal se cache dans le chaos.
Ensuite, on balance ça à une machine et on attend que la magie opère.
Si on s’y prend bien, le denoiser dysfonctionne — et c’est magnifique. Le modèle se met à halluciner sauvagement, tirant des conclusions qui n’existent pas dans les données d’entraînement. C’est comme l’arithmétique : il doit y avoir un résultat pour chaque entrée, même si cette entrée pointe vers une adresse négative et inattendue dans l’espace latent.
C’est la première étape. Tordre une IA autour d’une entrée visuelle imprévue et inanticipée.
Le truc, c’est que ce n’est pas vraiment drôle si on ne couple pas ça avec un prompt incongruent qui étire déjà le modèle au-delà de ce qu’il devrait faire. C’est une chose de mettre le denoiser de travers, mais si on ne pousse pas le VAE jusqu’au bord de l’effondrement... c’est quoi l’intérêt ?
Bref. Le tout ensemble ?
On obtient de l’art.
On peut aussi faire ça avec de la musique.
Et voilà, vous comprenez la peinture de bruit.
À chaque fois que je teste une nouvelle instance de Stable Diffusion, je fais passer quelques peintures de bruit pour voir si ça se comporte correctement.