J’ai mis au point un nouveau processus de prompting, plus interactif, et ça me pousse à m’interroger sur tout ce que ça signifie.
On en discute.
Tordre le bruit
Historiquement, le prompting a été la partie la moins importante de mon processus. J’écris un texte, généralement environ 130 mots, et je le plaque sur une œuvre que j’ai déjà créée, souvent dans l’idée de produire quelque chose de plus ou moins contrôlé en tordant le bruit.
Je suis arrivée à cette moyenne de 130 mots par tâtonnements, en me concentrant sur une approche par mots-clés pour comprendre ce qui marchait le mieux et obtenir les résultats voulus de la machine. Pour moi, le processus a été mathématique, parce que prompter revient à peser ses priorités personnelles face aux capacités de la machine, et à placer chaque élément au bon endroit, là où il agit correctement par rapport au poids du reste du prompt. Facile.
C’est globalement les mêmes mécanismes mentaux que pour l’écriture de chansons : on applique les règles du médium, puis on cherche ce qui déclenchera la réaction émotionnelle voulue, tout en respectant les contraintes du genre. Ici, l’analogie est que les bizarreries de l’IA sont essentiellement les contraintes du genre, même si la métaphore n’est pas tout à fait exacte.
Exploration et contrôle
Quand j’ai commencé ce projet en freelance, j’ai vite compris qu’ils voulaient quelque chose de plus proche d’un réalisme fantastique que ce que je fais d’habitude. Et ça me va. Je suis toujours flexible en tant qu’artiste, surtout quand on me demande des modifs. En fait, j’adore ça, parce que quand c’est bien fait, le feedback crée une boucle créative super intéressante où je ne suis plus la seule voix, et ça me plaît. Les collaborations, c’est la vie !
Mais ça pose deux problèmes intéressants à régler si je veux que ça s’intègre dans ce que je considère comme mon pipeline et mon workflow habituels. D’abord, ça implique de se focaliser beaucoup plus sur le prompting, ce qui n’est pas un mal, et d’aborder mon processus de peinture de bruit différemment pour produire des résultats plus prévisibles.
Voyez-vous, avec la peinture de bruit, je peux soit l’utiliser pour explorer, soit pour contrôler. Et la différence, du moins pour moi, réside dans la façon dont je gère la torsion. Les peintures de bruit contrôlées ont une texture différente. C’est plutôt comme une couverture jetée sur l’objet que j’essaie de créer : c’est plus lisse, plus flou par endroits, et là, on utilise des lignes comme indices plutôt que des textures étranges, car la tâche est différente.
Une texture étrange va tordre le prompt lors du paintover. Si on s’y prend bien, on peut transformer un prompt comme « un bouquet de fleurs » en un bouquet de fleurs en forme de main ou d’un autre objet. Un « portrait de femme » peut se transformer en sculpture sur un fond d’objets abstraits fluides et tordus.
Et ainsi de suite.
Selon votre variance, on peut arriver à des endroits intéressants.
Mais quand l’objectif est le contrôle... l’usage des lignes change, car elles tracent les détails et les angles, et suggèrent souvent la perspective. Les couleurs et leur intensité servent à définir la profondeur ou la texture. C’est dur à expliquer scientifiquement, parce que le processus varie pour chacun. Ça dépendra de votre modèle, de votre similarité sémantique (CFG) et du degré de flou que vous donnez à l’image d’entrée avec le réglage de débruitage. Tout ça compte énormément.
Aussi aléatoire que puisse paraître la peinture de bruit, il y a une logique et une raison derrière tout ça. Du moins quand on s’en sert pour subvertir et détourner le denoiser. Il existe d’autres manières, d’autres types et d’autres raisons d’utiliser des entrées adverses.
Rien n’est juste ou faux. Du moins, dans la mesure où rien n’est jamais tout à fait juste.
Et ça nous ramène à la première règle de l’IA créative : « Automatisez tout, sauf ce que vous aimez. »
C’est pour ça que l’expérimentation est cruciale.
Alors, quand je récupère un projet qui bouscule ma vision d’artiste, évidemment, mon premier réflexe est de me demander... « Quel genre de nouveau process complètement barré je peux imaginer pour me rapprocher des objectifs qu’on vise avec ce projet ? » D’un côté, c’est parce que les nouveaux processus sont un terrain fertile pour l’intuition créative. De l’autre, c’est parce que sans eux, l’art devient trop facile. L’ennui est l’ennemi de tout artiste, et la complaisance nourrit l’ennui.
Si jamais vous êtes sûre de vos compétences à un instant T, c’est soit que vous ne faites pas la bonne chose... soit que vous la faites mal.
Automatiser les prompts
Et ça nous ramène au prompting. À quoi ressemble une approche plus lourde sur le prompting pour une artiste comme moi, qui utilise généralement des processus conventionnels ou « traditionnels » comme point de départ ? Je me suis posé la question.
Ce qui m’a poussée dans cette direction, c’est en partie mes amis de chez RunDiffusion. Ils ont une bêta fermée pour un nouveau produit qui est plus qu’innovant, et ils m’ont demandé de le tester, de traquer les bugs, de faire de la QA générale. Et c’est vraiment cool. Je m’éclate complètement dans ce processus aussi.
Bref, je réfléchis au prompting, aux workflows itératifs et aux apps qui m’aideraient à atteindre cet état où je resculpte le réalisme en utilisant les mots contre la machine. Et je me dis que je pourrais utiliser ChatGPT comme voix de la raison.
Et, en m’y mettant, j’ai commencé à l’utiliser pour générer et réviser des prompts. Voilà comment ça marche.
- Avoir une discussion avec la machine sur les objectifs du processus.
- Générer des prompts très spécifiques.
- Utiliser ces prompts pour générer des images hors site avec le modèle de mon choix (j’en utilise plusieurs), et ajouter des étapes manuelles comme la peinture de bruit et l’inpainting si besoin.
- Réinjecter les images générées dans la machine, et approfondir la discussion.
- Rincer et recommencer à chaque round de retours client.
Une couche supplémentaire loin de la toile
Mais voilà le problème avec ce processus.
Pour moi, ça ne ressemble pas à de l’art. Du moins, pas en soi, si on oublie les étapes manuelles greffées à l’étape 3.
Normalement, quand on prompt, la relation avec le rendu est beaucoup plus directe. On lui donne des instructions, comme du code. Et on voit le résultat : ce qu’on lui a demandé de produire. Comme pour le code, les mots ne veulent pas toujours dire ce qu’on croit, et la machine vous prend fréquemment au pied de la lettre.
Mais là ? C’est presque comme un générateur de code. Un générateur de code très zélé, si vous voyez ce que je veux dire.
Il y a une étape supplémentaire, et on ne prend plus toutes les décisions granulaires.
On a l’impression de faire de l’édition, ou de la direction artistique, plutôt que d’avoir ce sentiment tactile qu’on a en tant qu’artiste quand on crée quelque chose seule. Encore une couche d’abstraction entre soi et la toile. C’est toujours un processus créatif, et la connexion spirituelle est toujours là parce qu’il y a des efforts et de la sueur, mais c’est moins concret que le prompting habituel.
Est-ce que ça rend le processus moins significatif ?
Je n’en suis pas si sûre.
Vous vous souvenez de la première règle de l’IA créative, non ?
« Automatisez tout, sauf ce que vous aimez. »
Automatisez tout, sauf ce que vous aimez
Et j’ai dû y réfléchir. Mais j’ai réalisé que le prompting n’est pas la partie de l’IA qui m’excite vraiment. En fait, dès que j’ai pu l’automatiser pour m’en débarrasser, je l’ai fait. Pour moi, ce qui est passionnant dans l’IA créative, c’est la correction de ligne, le dessin, la peinture, la déformation, la manipulation, le processus de subversion, le grand et puissant détournement.
Le processus ad hoc à l’étape 3, c’est là que ça devient concret pour moi ; c’est très contrôlé, on chipote, et j’adore ça. Cette partie-là est sans aucun doute de l’art au sens traditionnel.
Après, j’ai du respect pour ceux qui promptent bien. C’est une sorte de poésie, une forme de narration, et sans aucun doute une forme d’art valide en soi, avec ou sans machines pour le traiter. Je connais des gens qui font des choses que je considère toujours comme magiques. Surtout au niveau avancé.
J’aime bien contester la critique du « n’importe qui peut le faire », parce que ça se voit tout de suite quand quelqu’un fait du prompting avancé, et quand ce n’est pas le cas. Et j’ai l’impression que si les critiques de l’IA avaient l’œil artistique qu’ils s’imaginent avoir... ils s’en rendraient compte eux aussi. Ou alors ils le savent, mais ils ne l’admettront jamais.
C’est triste quand les gens laissent littéralement l’idéologie embrumer leur vision.
Alors je m’en fiche pas mal de ce qu’ils pensent.
Les analyses réductrices qui ne laissent aucune place au processus ou à la nuance ne sont pas vraiment des opinions valables pour commencer.
Mais la question qui me trotte dans le crâne maintenant, c’est : où est-ce que je m’arrête en tant qu’artiste... et où commence la machine ?
Est-ce que ça a une importance ?