Stable Diffusion gratuit : tous les prompts et réglages utiles

Comment ça marche un modèle de diffusion comme Dall-E, Midjourney ou Stable Diffusion ? Et surtout comment les utiliser gratuitement sur PC, Mac ou Linux ? Patrice Ferlet (aka Metal3D), expert en machine learning nous aide à y voir plus clair dans tout ce bruit ;-).

Le tuto vidéo gratuit complet pour maîtriser Stable Diffusion

C’est quoi un modèle de diffusion ?

Midjourney, Dall-E, Stable Diffusion sont des modèles de diffusion entraînés sur des centaines de millions d’images.

On bruite l’image	On la débruite

Pour réussir à construire une image originale à partir d’un texte ou d’une autre image, on entraîne le modèle à bruiter, puis à débruiter l’image en l’alimentant de paramètres.

Quelques prompts Art, Photo, Design

Voici quelques prompts que m’a donné Patrice pour avoir des rendus sympas dans Stable Diffusion. Il faut les écrire en anglais et mettre tout ce qu’on ne veut pas voir dans des crochets (prompts négatifs). Ex: [out of frame, text, disfigured]

Stable Diffusion vs Midjourney

Stable Diffusion demande plus d’efforts pour produire des images de qualité que Midjourney, mais il présente l’avantage d’offrir plus de contrôle, de libertés et de fonctionnalités avancées : inpainting, outpainting, dreambooth pour mettre son prore visage de façon plus réaliste que l’image to image de Midjourney.

Midjourney / Img 2 Img	Stable Diffusion / Dreambooth

Stable Diffusion gratuit en local, mais pas mal de pré-requis

Pour utiliser gratuitement en local Stable Diffusion, il faut avoir une bonne carte graphique (avec 4Go de VRAM minimum), on recommande une GTX 2080 Ti minimum.

Patrice a une RTX 3060 6Go de VRAM et une RTX 3070 FE 8Go de mémoire. Chaque prompt lui prend 10 secondes. Moi, j’ai un Mac Mini avec une puce M1, chaque prompt me prend 5 minutes !!!

Pour installer Stable Diffusion sur Mac / PC, utilise Invoke Ai https://github.com/invoke-ai/InvokeAI/releases/latest

Il faut également avoir un token Huggin Face.

J’arrive a de meilleures performances sur mon Mac avec l’outil Diffusion Bee (image générée en 1 minute au lieu de 5 avec Invoke AI) qui ne nécessite pas de réglages avancées, ni d’installation en ligne de commande.

Stable Diffusion, en ligne, vraiment gratuit ?

Stability AI qui se charge d’entraîner le modèle de diffusion Stable Diffusion a mis en place une interface en ligne pour faire ses prompts quand bien même vous n’auriez pas une grosse configuration machine.

Il suffit de se créer un compte ici :
https://beta.dreamstudio.ai/

Et tu auras 100 crédits qui te permettront de réaliser 500 photos.

Exemple de création réalisée avec de l’image 2 image et de l’outpainting :

Est-ce qu’avec toutes ses ressources, tu arrives maintenant à utiliser correctement et gratuitement Stable Diffusion ? Partage-moi tes retours en commentaires ! Si tu bloques, je suis là pour t’aider.