Stable Diffusion : 5 conseils pour générer des prompts efficaces

À quoi sert un prompt dans Stable Diffusion ?

Qu’est-ce que Stable Diffusion ?

Stable Diffusion est un modèle d’IA générative développé depuis 2022 par l’université de Munich en collaboration avec les entreprises Runway et Stability AI. Il permet de générer des images photoréalistes à partir de descriptions sous forme de texte : on parle de text2image. 

Stable Diffusion a été entraîné sur un ensemble de plus de 2 milliards de données provenant des data-set en open source de LAION 5b, une ONG allemande créée par LAION.

Qu’est-ce qu’un prompt dans Stable Diffusion ?

Un prompt ou invite dans Stable Diffusion correspond à une consigne écrite dont le but est de donner des instructions suffisamment claires et précises pour que le modèle d’IA puisse générer une image pertinente.

De quoi Stable Diffusion XL Turbo est-il capable ? 

Avant de se lancer dans la création d’images avec une IA générative comme Stable Diffusion, il est nécessaire de bien comprendre ses limites, de façon à créer des prompts adaptés aux capacités du modèle choisi. 

Ces derniers reposent sur des algorithmes de machine learning poussées et évoluent très vite à raison d’une ou deux versions par an. 

Voici les principales évolutions techniques entre la première version Stable Diffusion XL 1.0 et la nouvelle version Stable Diffusion XL Turbo (SDXL Turbo) sortie fin novembre 2023 :

• des images en haute définition, intégrant plus de détails et un aspect vivant grâce à l’utilisation de réseaux adversoriels génératifs (GAN).
• L’usage d’une nouvelle technique appelée Distillation Adversarial de Diffusion (ADD), qui permet de générer des sorties text-to-image en une seule étape et en temps réel avec une fidélité d'échantillonnage très élevée.
• Une efficacité accrue en termes de temps de génération et de consommation d’énergie, avec une moyenne de 207 ms pour générer une image de format 512x512.

Comment créer un prompt efficace pour Stable Diffusion ?

Pour créer un prompt efficace pour Stable Diffusion, il convient de suivre un certain nombre de règles, dont certaines sont applicables à tous les modèles d’IA générative et d'autres qui sont plus spécifiques à Stable Diffusion.

Dans tous les cas, rédiger des invites efficaces est un art difficile pour lequel une formation professionnelle est nécessaire si vous souhaitez exploiter tout le potentiel des modèles d’IA. C’est pourquoi chez Jedha, nous proposons une formation au prompt engineering éligible au CPF, en présentiel sur 6 jours ou à distance sur 6 semaines.

‍

L’interface de Stable Diffusion XL Turbo

Conseil n°1 : vérifier la syntaxe dans Stable Diffusion

La syntaxe est un point essentiel dans la rédaction de prompt pour Stable Diffusion : vous devez toujours commencer votre consigne par le sujet avant de définir l'arrière-plan et les détails. Le tout doit être séparé par des virgules, de façon à ne pas perdre l’IA dans trop de détails.

Si vous débutez sur Stable Diffusion, nous vous conseillons d’être bref et concis dans votre écriture : en moyenne, nous vous conseillons d’écrire un prompt compris entre 10 et 60 mots.

Conseil n°2 : précisez les couleurs et l’éclairage

Dans la rédaction de votre prompt, il est important de définir la couleur générale dominante de l’image que vous avez en tête, qui permettra à Stable Diffusion d’ajuster sa palette dans le rendu qu’elle vous proposera.

L'éclairage, quoique plus complexe à appréhender, est un paramètre tout aussi essentiel que la couleur pour définir l'ambiance de votre image. Vous pouvez par exemple intégrer des nuances qui produiront un effet plus subtil avec un éclairage volumétrique ou paramétrique. Des mots clefs comme “sombre”, “lumineux” ou “au coucher du soleil” sont autant d'indications qui vous permettent de jouer sur l'atmosphère qui se dégage de l’image que vous cherchez à créer.

Conseil n°3 : utilisez des prompts négatifs

Un prompt négatif est une instruction donnée à l’IA qui indique ce que vous ne voulez pas voir dans l'image générée. Autrefois optionnelle, cette fonctionnalité est devenue très importante dans la nouvelle version de Stable Diffusion car elle vous donne une plus grande flexibilité dans la génération d’images et vous permet d’améliorer considérablement la qualité des images générées. Elle se rapproche beaucoup plus de ce que vous avez en tête !

Conseil n°4 : sélectionnez un mode ou un style prédéfini

Pour aider l’IA dans sa création, il est essentiel de définir un mode pour votre image, c'est-à-dire un ou plusieurs types de matériaux qui donnent un rendu esthétique particulier (peinture à l'huile, photographie…).

Le style artistique est lui bien différent et optionnel sur Stable Diffusion, car il est plus vague : impressionism, pop-art, comic, psycho, robotize ou realism sont les plus communs.

Conseil n°5 : ajustez le poids dans Stable Diffusion

Sur Stable Diffusion, il est possible d’accentuer ou de diminuer le poids de certains paramètres que vous définissez, de manière à apporter soit plus d’emphase, soit plus de nuance et de sobriété via la fonctionnalité IP-Adapter dans la fenêtre “Control Type” de l’interface. Vous pouvez choisir de faire varier ce chiffre en ajoutant des signes + ou - à la suite. Attention cependant, si vous forcez trop sur l’accentuation, la qualité du rendu produit par l’IA risque de s’en ressentir.

Pour vous donner une idée de la variation de ce paramètre sur le rendu final, voici un exemple issu du site Stable diffusion Art pour le prompt suivant :

“Photo of a ino woman in a race car with black hair and a black pilot outfit, morning time, desert”

‍

Quels sont les meilleurs Prompt Generator pour Stable Diffusion ?

Qu’est-ce qu’un générateur de prompts et pourquoi s’en servir ?

Un générateur de prompts est un outil disponible sur le web qui propose de générer des “prompts”, à savoir les instructions données aux logiciels d’IA générative comme Stable Diffusion. Cet outil également appelé prompt helper ou prompt builder vous permet de gagner du temps en créant des consignes optimisées, beaucoup plus rapidement et simplement.

Les meilleurs prompts builders pour Stable Diffusion

• Hugging Face : cette plateforme open-source franco-américaine donne accès à de puissants prompts generators pour vos images. Les modèles de prompts sont libres d’accès sur simple inscription, et la grande majorité sont testés et validés par la communauté.
• PromptoMANIA : un prompt helper pour créer des images sur-mesure destinés à tous les modèles d’IA generative comme Stable Diffusion. Vous y trouverez des paramètres avancés pour générer des dessins, des portraits plus ou moins réalistes ou encore des paysages originaux.
• PromptHero : cette plateforme devenue une référence dans le domaine se présente comme une bibliothèque de prompts triée par modèle d’IA. Si vous avez besoin d’inspiration, c’est PromptHero qu’il faut privilégier !

5 exemples de prompts pour Stable Diffusion

Si vous êtes à la recherche d’exemples de prompts, vous pouvez en trouver quelques-uns sur le site officiel de Stable Diffusion en cliquant directement sur les images en preview. Il est même possible de les copier directement depuis l’interface.

Prompt pour générer un logo

‍

‍

Prompt

Website logo named Hertz for social media in minimalist style in the best quality possible using solid colors like white, deep blue and black.

Style : Logo, Ratio d'aspect : 1:1, Taille : 1024 x 1024

Commentaire

L'image générée répond à la plupart des exigences, bien que le rendu final ne soit pas très original. Le logo est minimaliste et utilise bien les couleurs spécifiées, mais il n’a pas l’aspect soigné et professionnel requis pour un logo de site Web.

Prompt pour générer un portrait de femme

‍

Prompt

Modelshoot style, (extremely detailed CG unity 8k wallpaper) full body portrait of the most beautiful fitness girl in the world, (action scene), ((extreme close up)), beautiful fitness girl jogging in the forest, (running), ((tanned skin:1. 3)), (blush) long hair, (freckles:0. 75), detailed symmetrical face, (medium blonde hair:1. 2), (low ponytail hair), ((blue eyes)), reflective eyes, mascara, makeup, (red lipstick), (shiny lips), (white sclera), (strong jaw), prominent cheekbones, (sweat), detailed lighting, rim lighting, dramatic lighting, chiaroscuro, white sports bra, ((white top)), (fitness watch), ((black baseball hat)), ((yoga pants)), (pants), White sneakers, forest trail, (blue sky), white clouds, (muscles:1. 2), toned, legs, thighs, calves, (from side:1. 4), trending on ArtStation, trending on CGSociety, Intricate, High Detail, dramatic, professional majestic impressionism oil painting by Waterhouse, John Constable, Ed Blinkey, Atey Ghailan, Studio Ghibli, by Jeremy Mann, Greg Manchess, Antonio Moro, makoto shinkai kyoto, trending on artstation, trending on CGsociety.

Style : Portrait, Ratio d'aspect : 1.5, Taille : 2048 x 3072

Commentaire

Bien que le résultat soit satisfaisant, ce prompt n’est pas un bon exemple à suivre car il apparaît trop difficile à traiter pour Stable Diffusion. De nombreux critères ont été omis (yeux bleus, casquette de baseball…) et la rédaction à dû prendre bien trop de temps !

Prompt pour générer une image réaliste

‍

Prompt

A photo of a doctor scribbling notes on a desk. The patient is present in the background. The desk is messy and disorganized. The doctor looks frustrated.”

Style : Realistic photo, Ratio d'aspect : 1:1, Taille : 1024 x 1024

Commentaire

Cette image est de mauvaise qualité, car le prompt n’est pas optimisé. L’IA ne répond pas de façon pertinente aux instructions (pas de patient présent sur l’image) et génère même une confusion logique qui rend l’image incompréhensible (le médecin tient un stylo dans chacune de ses mains).

Un meilleur prompt aurait pu être : “A realistic photo of a doctor scribbling notes on a disorganized desk, while his patient waits in the background.”

Prompt pour générer une image de Science-fiction

‍

Prompt

Steampunk digital art of an inventor’s workshop, with intricate machines, gears, and steam engines.

Style : Sci-fi, Ratio d'aspect : 1:1, Taille : 1024 x 1024

Commentaire

Cette image appartient à l’univers Steampunk, une sous-catégorie du genre de la Science-fiction. Le thème a donc d’emblée été précisé (Steampunk), ainsi que le décor (atelier de l’inventeur). Des éléments de détail ont été ajoutés (machines, engrenages, moteurs à vapeur) afin de traduire au mieux l’atmosphère qui se dégage de la pièce.

Prompt pour générer une photo de style documentaire

‍

Prompt

‍Documentary-style photography of a bustling marketplace in Marrakech, with spices and textiles.

Style: Realistic photo, Ratio d'aspect: 1:1, Taille: 1024 x 1024

Commentaire

Cette image ressemble à une véritable photographie prise dont le style (documentaire) et le lieu (marché de Marrakech) a été précisé dans le prompt afin de bien définir le contexte de prise de vue. Des éléments réels ont été inclus (épices, textiles) de façon à capturer l'essence du lieu.

Conclusion

Voilà, désormais vous savez tout ce qu’il faut pour vous créer les meilleurs prompts sur Stable Diffusion. Si vous cherchez à maîtriser l’art du prompt engineering de manière plus poussée, nous vous invitons à suivre notre formation Prompt Engineer en 5 jours.

Vous pouvez télécharger le syllabus de nos formations pour connaître tous les cursus que nous proposons. Et si vous avez des questions à poser à nos équipes, sachez que vous pouvez participer gratuitement à nos Soirées Portes Ouvertes organisées chaque mercredi à 19h.

Questions fréquentes à propos de Stable Diffusion

Stable Diffusion vs Midjourney : quel générateur d’images utiliser ?

Stable Diffusion et Midjourney sont tous les deux des modèles d’IA performants pour générer des images de qualité, mais ils possèdent leurs spécificités. Si vous débutez dans ce domaine, Midjourney sera plus simple à prendre en main. Stable Diffusion est lui moins accessible mais possède plus d’options pour personnaliser les images à partir des prompts que vous proposez. Il faudra donc apprendre à bien maîtriser l’ensemble des fonctionnalités de ce modèle d’IA, en suivant par exemple une formation dédiée au prompt engineering comme celle de Jedha.

Stable Diffusion vs Dall-E : quel générateur d’images utiliser ?

Stable Diffusion et Dall-E sont des modèles d’IA très similaires, qui sont réputés pour pouvoir générer de multiples images. L’ergonomie de Stable Diffusion est souvent jugée meilleure que celle de ses concurrents, mais Dall-E permet lui de générer des images à partir de prompts directement depuis ChatGPT car il appartient aussi à la suite OpenAI. C’est très pratique si vous utilisez déjà ChatGPT au quotidien ! 

Où trouver les meilleurs prompts pour Stable Diffusion ?

Les meilleurs prompts pour Stable Diffusion sont ceux proposés sur le moteur de recherche de la base de données de Stable Diffusion, où plus de 12 millions de prompts sont répertoriés.

‍