L’underpainting, c’est en gros de l’outpainting tourné vers l’intérieur.
Au lieu d’étendre les bords d’une image, on essaie de reconstruire ce qui devrait exister sous la composition visible. Un genre de tour de passe-passe, si on y réfléchit.
Je vous montre comment je m’y prends.
SAM peut vous sortir des masques. Il peut décomposer une image en morceaux utilisables. Mais il ne comprend pas vraiment la scène.
Un masque n’est pas un jugement.
Ces calques ont aussi tendance à arriver en morceaux. Par exemple, si l’image contient un chat, vous n’aurez probablement pas un seul calque géant « chat ».
Au début, c’est agaçant.
Puis on réalise que c’est utile.
Ce découpage donne du contrôle : on peut pousser, tirer, ajuster l’inclinaison, déplacer des objets et jouer avec les gros morceaux d’art rigolos qui rendent le processus plaisant.
C’est là qu’on a besoin du raisonnement.
Séparer et reconstruire
On commence par séparer l’image en calques, puis on demande à un VLM raisonnablement fiable ce qu’il voit. Le VLM identifie les objets, les trie entre premier plan, second plan ou arrière-plan, et nomme les calques pour que le reste du pipeline puisse s’en servir.
Une fois les calques séparés et étiquetés, on isole tout ce qui compte comme arrière-plan et on aplatit ces morceaux sur un bloc-notes. Voyez le bloc-notes comme une image imaginaire en mémoire informatique qui n’existe que pendant qu’on travaille.
À cette étape, on obtient un arrière-plan bien sale avec des trous dedans.
Les zones manquantes, les textures brisées, les artefacts de bordure et les ombres à moitié effacées indiquent au modèle où l’image a besoin d’être réparée.
Bonne nouvelle : c’est généralement une prédiction facile.
Il suffit de faire de l’inpaint et de l’outpaint dans les interstices jusqu’à avoir une meilleure idée du monde sous le premier plan.
Ensuite, on démonte tout à nouveau.
Supprimer les restes
C’est lors de cette seconde passe que le VLM mérite ses donuts.
On lui montre l’image originale, le paquet de calques et le candidat d’arrière-plan reconstruit.
À partir de là, il peut vous aider à repérer tout élément de la composition originale qui contamine encore l’arrière-plan.
On vire ces restes.
On repeint les trous.
Là, on approche. « Presque propre », c’est parfaitement acceptable à ce stade. Propre signifie simplement que l’arrière-plan peut se placer derrière des calques mobiles sans ressembler à un crime Photoshop.
Reconstruire les chevauchements
Après ça, on répète la même astuce basique partout où les calques s’entrechoquent.
Quand un objet en chevauche un autre, la partie cachée de l’objet inférieur devient un problème de reconstruction.
On isole la partie visible, on déduit ce qui manque, on peint derrière l’obstruction, puis on remonte la scène sous forme de couches indépendantes et mobiles.
Les couches supérieures sont généralement plus simples parce qu’il y a moins de choses cachées dessous. Les arrière-plans, c’est là que ça se corse, car c’est eux qui portent toute l’illusion.
C’est ça, l’underpainting.
C’est une sorte de reconstruction de scène par négociation entre segmentation, raisonnement visuel et réparation générative.
SAM vous donne des ciseaux.
Le VLM vous donne le jugement.
La Diffusion vous donne la peinture.
Le boulot de votre app, c’est de les faire coopérer sans que tout finisse en soupe, puis de rendre ça assez fluide pour que l’utilisateur ne se demande jamais comment ni pourquoi ça a marché.
C’est ça qui fait que les apps d’IA créative sont une sorte de magie.