Encore un exemple de mon pipeline de peinture de bruit.
L’idée, c’est de partir d’une image peinte à la main ou d’un collage, mais de le concevoir de façon à brouiller les systèmes de classification et de débruitage d’un modèle de diffusion.
Celui-ci a été surtout dessiné à la main dans Krita, avec différentes brosses, cloné et inversé 3 fois sur la même toile via des calques, et avec un usage léger du filtre de détection de contours. Pour la texture, j’ai ajouté la photo d’un PC tout-en-un IBM de 1983, dont j’ai tracé les contours.
Une fois passé dans Stable Diffusion, c’était simple : seulement deux entrées et un workflow par défaut dans Automatic 1111. Automatic a encore son utilité quand on n’a pas besoin d’un setup de workflow complexe.
J’ai utilisé Juggernaut X pour le modèle, parce que sa façon d’être entraîné est fascinante.
Le combat de robots
Rendu :
D’abord le conditionnement du prompt, puis celui de l’image.
Le prompt en lui-même n’était pas compliqué. Juste assez pour situer le rendu dans le bon voisinage artistique. Aucun artiste classique n’a été cité nommément ici. Mais la clé de tout le processus, c’est le combat de robots.
Lors du traitement des entrées, l’idée est d’opposer le système de classification, le traitement du langage et le débruiteur, pour que les résultats soient imprévisibles d’une itération à l’autre. En pratique, ça rend le système plus fluide et flexible.
Du coup, l’essentiel de la perplexité doit se trouver dans l’image d’entrée elle-même.
À force d’en faire, on finit par sentir comment les variables s’articulent et quelles seront les tolérances pour chaque pièce, parce que l’image de bruit/blotter a ses propres résistances.
C’est là que réside le savoir-faire.
Réglages et affinement
Si je me souviens bien, j’ai fait fondre celui-ci avec l’algorithme DPM3, ou une variante. Et comme DPM3 résiste plus aux suggestions qu’Euler Ancestral (celui que j’utilise d’habitude pour ça), j’ai poussé le CFG et le débruitage plus haut que d’ordinaire. CFG autour de 15, et Denoise/blur vers 56 %.
Cette fois, seulement quatre candidats, mais deux étaient identiques, car je voulais voir ce qui se passait en passant le flou de 56 % à 61 %. Franchement, c’était quasiment pareil. DPM est capricieux.
La dernière étape a été l’affinement sémantique avec GPT-Image-2.5. Ça consiste à demander à ChatGPT des corrections et des retouches subtiles et ciblées sur la pièce.
Et voilà, mes enfants, comment on fabrique la soupe.
Je suis plutôt contente du résultat final.