IA#6 – StableDiffusion sur mon Mac…

J’ai installé Stable Diffusion sur mon mac. Mauvaise idée… ou pas ?

En continuant mes expérimentations sur les IA génératives d’images, il y a un moment où l’installer en local est un processus incontournable.

Une école de patience.

Pourquoi installer en local ?

Bien sûr, il y a du pour et du contre…

Pour

Le premier avantage est bien sûr financier. Stable Diffusion étant opensource, l’installer sur sa machine permet de le faire tourner comme on veut, sans avoir de quota de nombre d’images, ni d’abonnement à payer.

Autre intérêt, l’absence de filtre NSFW. On entend par là des contenus Not Safe For Work. Incluant de la nudité, de la pornographie, de la violence… Certains filtres NSFW américains ne correspondent pas réellement à nos standards francophones, et nos références culturelles. Il arrive qu’un prompt soit « mal » interprété (épaules dénudées par exemples). Bref, je ne suis pas particulièrement intéressé par cet aspect, mais il semblerait que ce soit un argument majeur pour beaucoup…

Avantage, non des moindres, le fait de pouvoir travailler avec de nombreux modèles, et donc de nombreux styles d’images générées.

Voir potentiellement de créer les siens…

Et si on a une machine puissante, le fait d’aller plus vite. Voir d’envisager des traitements par lot, si on se lance dans du traitement intensif…

Contre

Machine puissante… le mot est lâché.

Donc, oui, il faut une machine puissante, avec une carte graphique qui dépote (NVidia RTX GPU 8GB à priori conseillée). Car les calculs étant intensifs (si, si) il est préférable de confier cela à une carte graphique, qui peut effectuer beaucoup plus de calculs en parallèle, entre autre avantages.

Autre aspect, la place disponible sur le disque dur. Non, pas pour mettre les images (encore que), mais surtout pour les modèles. Il faut compter 4Go environ pour le modèle « standards », et dans ces eaux là pour les autres (cela peut varier)

Alors c’est sûr…

Mais je suis joueur, alors j’ai joué !

Et donc ?

J’ai opté pour une installation de DiffusionBee, une app simple qui évite de mettre les mains dans la ligne de commande (ce qui ne me fait pas peur dans le principe), histoire de commencer.

Après de longs moments de téléchargement, je peux enfin tester!

Text To Image

Écrivons vite un prompt. Enfin, écrire… je l’ai copié/collé d’un site de prompt que j’étais en train de consulter en parallèle (je n’ai pas noté lequel).

Donc : « A crab which is mechanized, highly detailed with transformers art style and visuals« .

Environ 5 minutes plus tard, et après avoir entendu mon mac ventilé comme jamais) j’obtiens cette magnifique image (après l’avoir upscalé).

Cela me rappelle, il y a loooongtemps mes premières tentatives avec POV-Ray ou, après une journée de calcul (!), j’avais obtenu une sphère blanche sur un fond blanc. (que je n’ai pas gardé, mais ça devait ressemble à ceci)

Donc une image blanche. Oui, ça valait le coup de la mettre.

20 ans après (environ) j’obtiens l’inverse…

Peut être un réglage à caler, j’ai pour l’instant laissé tout par défaut.

Image To Image

Ici, il s’agit de lui donner une image à manger, pour qu’il en sorte quelque chose.

Donc, on part d’une photo de moi (à gauche, si), mon prompt devient « A man which is mechanized, highly detailed with transformers art style and visuals »

Comme souvent dans ces cas là, il s’agit plus de reprendre la posture générale. Pas trop mal.

On essaye d’ajouter un masque, et un coup de pinceau.

Là, j’ai fait l’inverse. Il faut peindre ce que l’on ne garde pas…

Bon, faut soigner la précision du pinceau violet sans doute… et ajuster les options, le prompt…

Inpainting

Il s’agit ici de remplacer/repeindre des parties d’une image (souvent une image des étapes précédentes), on va donc prendre une belle image de moi à la campagne.

Ok, c’est un montage grossier de moi sur une image générée par BlueWillow. Bref.

C’est le genre d’image où l’on s’attend à voir venir un dragon par la droite. Enfin, je trouve…

Et y ajouter un prompt, « a menacing dragon approaching, spitting flames« , et un coup de pinceau violet.

Le résultat est… comment dire…

En gros, mon mac c’est éteins après 10 minutes de traitement environ.

Du genre à m’acharner ?

Ben un peu quand même.

Donc, on reprend :

• il me conseille de fermer toutes les autres applis, ce que je n’ai pas fait. Ben oui, comment je fais mes captures écran, mon tournage vidéo (perdu à tout jamais).
• il est logique qu’il fonctionne avec des fichiers temporaires (je présume), donc je fais un grand coup de ménage sur l’ordi (j’ai quand même réussi à supprimer 60Go de trucs inutiles…)

Et on relance.

Tout d’abord le prompt du crabe.

C’est tout de suite mieux, ça ressemble un peu à un crabe mécanisé…

Ensuite, le dragon.

Ma tête a pris cher, mais un petit montage photoshop à l’ancienne pourrait sans doute la récupérer. Le dragon est quand à lui un peu loupé, mais un peu comme souvent quand on joue à Stable Diffusion. Un travail sur le prompt serait sans doute pas inutile…

J’ai également réussi à générer un portrait d’une cute blonde, aux épaules dénudées.

Pour être honnête, j’ai tenté d’en générer 4 d’un coup, mais 3 étaient des écrans noires (voir ci dessus).

J’ai l’impression que pour chaque bon résultat, il faut au préalable relancer l’ordi, et ne rien faire d’autre (ou sur une autre machine…)

En tout cas…

A suivre !