Prompts pour Stable Diffusion : le guide complet

À quoi sert un prompt dans Stable Diffusion ?

Qu’est-ce que Stable Diffusion ?

Stable Diffusion est un modèle d’intelligence artificielle générative développé en 2022 par Stability AI en collaboration avec des chercheurs open-source et des entreprises comme Runway. Ce modèle, basé sur l’apprentissage profond, excelle dans la génération d’images photoréalistes à partir de descriptions textuelles, une technique communément appelée text-to-image.

La dernière version, Stable Diffusion 3.5, s’appuie sur des milliards d’images provenant des bases de données open-source comme LAION 5b, un dataset géré par l’ONG allemande LAION. Elle propose des améliorations significatives en termes de qualité, vitesse, et diversité des images générées.

Qu’est-ce qu’un prompt dans Stable Diffusion ?

Un prompt est une consigne écrite qui sert à guider Stable Diffusion dans la création d’images. Plus le prompt est précis et détaillé, plus le résultat généré correspondra à vos attentes. Stable Diffusion interprète les prompts pour générer des images qui respectent les instructions données, que ce soit pour le style artistique, les couleurs, ou les détails spécifiques de la scène.

Vous souhaitez maîtriser l’art du prompt engineering ? Grâce à notre formation en prompt engineering de 42 heures, vous apprendrez à rédiger des prompts efficaces et optimisés pour obtenir des résultats exceptionnels. Une opportunité idéale pour devenir un expert dans ce domaine rapidement !

De quoi Stable Diffusion 3.5 est-il capable ?

Avant de se lancer dans la création d’images avec une IA générative comme Stable Diffusion, il est important de bien comprendre les capacités et les limites du modèle choisi pour adapter vos prompts de manière optimale. Stable Diffusion continue d’évoluer rapidement, avec des mises à jour régulières qui apportent des améliorations significatives.

Voici les principales évolutions techniques entre les versions précédentes (notamment SDXL 1.0 et SDXL Turbo) et la dernière version Stable Diffusion 3.5, sortie en 2024 :

• Images en ultra-haute définition : Stable Diffusion 3.5 offre des détails encore plus précis et un rendu photoréaliste amélioré grâce à des algorithmes d’optimisation avancés, surpassant les précédentes versions.
• Polyvalence accrue : outre le text-to-image, le modèle prend désormais en charge des options comme l'inpainting (édition d’images existantes) et l'outpainting (extension d’images au-delà de leur cadre initial).
• Distillation Adversarial de Diffusion (ADD) : cette technique permet de générer des images de qualité en une seule étape, réduisant ainsi le temps de traitement tout en maintenant une fidélité exceptionnelle.
• Optimisation de la vitesse et de l'énergie : la génération d’images est environ 30 % plus rapide que les versions précédentes, avec une moyenne de 150 ms pour une image 512x512. Cela permet également de réduire considérablement la consommation énergétique lors de l’entraînement ou de l’utilisation du modèle.
• Personnalisation avancée : le modèle permet une gestion plus fine des paramètres, comme le contrôle de l'éclairage, des textures et des perspectives, tout en améliorant la cohérence stylistique des séries d'images.

Stable Diffusion 3.5 marque un tournant dans la génération d’images grâce à ses performances améliorées et ses nouvelles fonctionnalités.

Comment créer un prompt efficace pour Stable Diffusion ?

Pour créer un prompt efficace pour Stable Diffusion, il convient de suivre un certain nombre de règles, dont certaines sont applicables à tous les modèles d’IA générative et d'autres qui sont plus spécifiques à Stable Diffusion. Maîtriser les meilleures techniques de prompt est essentiel pour obtenir des résultats de haute qualité.

Dans tous les cas, rédiger des invites efficaces est un art difficile pour lequel une formation professionnelle est nécessaire si vous souhaitez exploiter tout le potentiel des modèles d’IA. C’est pourquoi chez Jedha, nous proposons une formation au prompt engineering éligible au CPF, en présentiel sur 6 jours ou à distance sur 6 semaines.

‍

Conseil n°1 : vérifier la syntaxe dans Stable Diffusion

La syntaxe est importante pour obtenir des résultats précis et cohérents avec Stable Diffusion. Commencez toujours votre prompt par le sujet principal, suivi de l'arrière-plan et des détails. Séparez chaque élément par des virgules pour éviter toute confusion pour l’IA.

Exemple :
"Un chat noir, assis sur un canapé rouge, dans une pièce éclairée par une lampe tamisée."

Astuce : si vous débutez, optez pour des prompts courts, entre 10 et 60 mots, et évitez de surcharger vos descriptions. Une écriture concise et claire produit souvent de meilleurs résultats.

Conseil n°2 : précisez les couleurs et l’éclairage

Les couleurs et l’éclairage influencent directement l’ambiance de l’image générée. Décrivez la couleur dominante et précisez les nuances pour guider l’IA.

Exemple :
"Une forêt mystérieuse sous une lumière bleuâtre, éclairée par une pleine lune, avec des ombres profondes."

Pour l'éclairage :

• Utilisez des termes comme “coucher de soleil”, “lumière diffuse” ou “ombres contrastées”.
• Pour des effets avancés, mentionnez des techniques spécifiques comme “éclairage volumétrique” ou “lumière paramétrique”.

Conseil n°3 : utilisez des prompts négatifs

Les prompts négatifs sont essentiels pour exclure des éléments indésirables. Ajoutez ce que vous ne voulez pas voir dans votre image pour un rendu plus précis.

Exemple :
"Une ville futuriste illuminée de néons, sans voitures ni passants."

Dans Stable Diffusion, les prompts négatifs s’utilisent facilement via l’interface et offrent une flexibilité accrue pour ajuster vos résultats. Notez que l’IA peut parfois mal interpréter des instructions négatives complexes, donc soyez clair et direct.

Conseil n°4 : sélectionnez un mode ou un style prédéfini

Stable Diffusion propose une large palette de modes et de styles pour enrichir vos créations :

• Modes artistiques : peinture à l'huile, dessin au crayon, aquarelle, etc.
• Styles prédéfinis : impressionisme, surréalisme, pop-art, futurisme…

Exemple :
"Une peinture à l’huile de style impressionniste représentant un champ de lavande au lever du soleil."

Ces options permettent d’orienter Stable Diffusion vers une esthétique particulière tout en gardant la flexibilité de personnalisation

Conseil n°5 : ajustez le poids dans Stable Diffusion

Stable Diffusion permet de modifier le poids de certains termes ou paramètres pour influencer leur importance dans l'image générée :

• Augmenter le poids : utilisez des parenthèses doubles ((...)) pour mettre l'accent sur un élément.
• Réduire le poids : utilisez des crochets [...] pour atténuer l’importance d’un élément.

Exemple :
"((Un dragon rouge)) dans un ciel orageux, [arc-en-ciel]."

L’outil IP-Adapter dans la section “Control Type” permet également d’ajuster ces paramètres visuellement dans l'interface. Cependant, évitez de pousser les valeurs à l’extrême pour ne pas compromettre la qualité du rendu.

Pour vous donner une idée de la variation de ce paramètre sur le rendu final, voici un exemple issu du site Stable diffusion Art pour le prompt suivant :

“Photo of a ino woman in a race car with black hair and a black pilot outfit, morning time, desert”

‍

Quels sont les meilleurs Prompt Generator pour Stable Diffusion ?

Qu’est-ce qu’un générateur de prompts et pourquoi s’en servir ?

Un générateur de prompts est un outil disponible sur le web qui propose de générer des “prompts”, à savoir les instructions données aux logiciels d’IA générative comme Stable Diffusion. Cet outil également appelé prompt helper ou prompt builder vous permet de gagner du temps en créant des consignes optimisées, beaucoup plus rapidement et simplement.

Les meilleurs prompts builders pour Stable Diffusion

• Hugging Face : cette plateforme open-source franco-américaine donne accès à de puissants prompts generators pour vos images. Les modèles de prompts sont libres d’accès sur simple inscription, et la grande majorité sont testés et validés par la communauté.
• PromptoMANIA : un prompt helper pour créer des images sur-mesure destinés à tous les modèles d’IA generative comme Stable Diffusion. Vous y trouverez des paramètres avancés pour générer des dessins, des portraits plus ou moins réalistes ou encore des paysages originaux.
• PromptHero : cette plateforme devenue une référence dans le domaine se présente comme une bibliothèque de prompts triée par modèle d’IA. Si vous avez besoin d’inspiration, c’est PromptHero qu’il faut privilégier !

5 exemples de prompts pour Stable Diffusion

Si vous êtes à la recherche d’exemples de prompts, vous pouvez en trouver quelques-uns sur le site officiel de Stable Diffusion en cliquant directement sur les images en preview. Il est même possible de les copier directement depuis l’interface.

Prompt pour générer un logo

‍

‍

Prompt

Website logo named Hertz for social media in minimalist style in the best quality possible using solid colors like white, deep blue and black.

Style : Logo, Ratio d'aspect : 1:1, Taille : 1024 x 1024

Commentaire

L'image générée répond à la plupart des exigences, bien que le rendu final ne soit pas très original. Le logo est minimaliste et utilise bien les couleurs spécifiées, mais il n’a pas l’aspect soigné et professionnel requis pour un logo de site Web.

Prompt pour générer un portrait de femme

‍

Prompt

Modelshoot style, (extremely detailed CG unity 8k wallpaper) full body portrait of the most beautiful fitness girl in the world, (action scene), ((extreme close up)), beautiful fitness girl jogging in the forest, (running), ((tanned skin:1. 3)), (blush) long hair, (freckles:0. 75), detailed symmetrical face, (medium blonde hair:1. 2), (low ponytail hair), ((blue eyes)), reflective eyes, mascara, makeup, (red lipstick), (shiny lips), (white sclera), (strong jaw), prominent cheekbones, (sweat), detailed lighting, rim lighting, dramatic lighting, chiaroscuro, white sports bra, ((white top)), (fitness watch), ((black baseball hat)), ((yoga pants)), (pants), White sneakers, forest trail, (blue sky), white clouds, (muscles:1. 2), toned, legs, thighs, calves, (from side:1. 4), trending on ArtStation, trending on CGSociety, Intricate, High Detail, dramatic, professional majestic impressionism oil painting by Waterhouse, John Constable, Ed Blinkey, Atey Ghailan, Studio Ghibli, by Jeremy Mann, Greg Manchess, Antonio Moro, makoto shinkai kyoto, trending on artstation, trending on CGsociety.

Style : Portrait, Ratio d'aspect : 1.5, Taille : 2048 x 3072

Commentaire

Bien que le résultat soit satisfaisant, ce prompt n’est pas un bon exemple à suivre car il apparaît trop difficile à traiter pour Stable Diffusion. De nombreux critères ont été omis (yeux bleus, casquette de baseball…) et la rédaction à dû prendre bien trop de temps !

Prompt pour générer une image réaliste

‍

Prompt

A photo of a doctor scribbling notes on a desk. The patient is present in the background. The desk is messy and disorganized. The doctor looks frustrated.”

Style : Realistic photo, Ratio d'aspect : 1:1, Taille : 1024 x 1024

Commentaire

Cette image est de mauvaise qualité, car le prompt n’est pas optimisé. L’IA ne répond pas de façon pertinente aux instructions (pas de patient présent sur l’image) et génère même une confusion logique qui rend l’image incompréhensible (le médecin tient un stylo dans chacune de ses mains).

Un meilleur prompt aurait pu être : “A realistic photo of a doctor scribbling notes on a disorganized desk, while his patient waits in the background.”

Prompt pour générer une image de Science-fiction

‍

Prompt

Steampunk digital art of an inventor’s workshop, with intricate machines, gears, and steam engines.

Style : Sci-fi, Ratio d'aspect : 1:1, Taille : 1024 x 1024

Commentaire

Cette image appartient à l’univers Steampunk, une sous-catégorie du genre de la Science-fiction. Le thème a donc d’emblée été précisé (Steampunk), ainsi que le décor (atelier de l’inventeur). Des éléments de détail ont été ajoutés (machines, engrenages, moteurs à vapeur) afin de traduire au mieux l’atmosphère qui se dégage de la pièce.

Prompt pour générer une photo de style documentaire

‍

Prompt

‍Documentary-style photography of a bustling marketplace in Marrakech, with spices and textiles.

Style: Realistic photo, Ratio d'aspect: 1:1, Taille: 1024 x 1024

Commentaire

Cette image ressemble à une véritable photographie prise dont le style (documentaire) et le lieu (marché de Marrakech) a été précisé dans le prompt afin de bien définir le contexte de prise de vue. Des éléments réels ont été inclus (épices, textiles) de façon à capturer l'essence du lieu.

Conclusion

Voilà, désormais vous savez tout ce qu’il faut pour vous créer les meilleurs prompts sur Stable Diffusion. Si vous cherchez à maîtriser l’art du prompt engineering de manière plus poussée, nous vous invitons à suivre notre formation Prompt Engineer en 5 jours.

Vous pouvez télécharger le syllabus de nos formations pour connaître tous les cursus que nous proposons. Et si vous avez des questions à poser à nos équipes, sachez que vous pouvez participer gratuitement à nos Soirées Portes Ouvertes organisées chaque jeudi à 18h.

Questions fréquentes à propos de Stable Diffusion

Stable Diffusion vs Midjourney : quel générateur d’images utiliser ?

Stable Diffusion et Midjourney sont deux modèles d’intelligence artificielle réputés pour générer des images de qualité exceptionnelle, mais leurs usages diffèrent en fonction de vos besoins.

• Midjourney est idéal pour les débutants ou ceux recherchant une interface simple et intuitive. Accessible via Discord ou une application web, il se distingue par sa capacité à créer des images artistiques et stylisées, avec une attention particulière portée aux textures et aux contrastes. Cependant, ses options de personnalisation sont limitées, ce qui le rend moins flexible que son concurrent.
• Stable Diffusion, en revanche, est conçu pour les utilisateurs plus expérimentés ou techniques. Son modèle open-source offre une personnalisation poussée, notamment avec des fonctionnalités avancées comme l'inpainting et l'outpainting. Stable Diffusion nécessite une configuration technique ou l’utilisation d’une plateforme comme Stable Assistant, mais il permet une liberté totale dans la création et le contrôle des prompts.

Il faudra donc apprendre à bien maîtriser l’ensemble des fonctionnalités de ce modèle d’IA, en suivant par exemple une formation dédiée pour devenir prompt engineer comme celle de Jedha.

Stable Diffusion vs Dall-E : quel générateur d’images utiliser ?

SStable Diffusion et DALL-E sont deux générateurs d'images qui se distinguent par leurs caractéristiques et leurs cas d’usage.

• Stable Diffusion est apprécié pour sa flexibilité grâce à sa nature open-source, permettant une personnalisation approfondie. Les utilisateurs peuvent l’exécuter localement ou via des plateformes tierces, offrant un large éventail de styles artistiques et d’options de personnalisation. Cependant, cette flexibilité peut nécessiter une expertise technique plus poussée.
• DALL-E 3, conçu par OpenAI, se distingue par son intégration directe dans ChatGPT et Bing Image Creator, ce qui facilite son utilisation pour les débutants. Il est idéal pour ceux qui recherchent une solution clé en main et une génération fidèle à des consignes complexes, notamment dans le cadre d’un usage quotidien de ChatGPT.

Où trouver les meilleurs prompts pour Stable Diffusion ?

Les meilleurs prompts pour Stable Diffusion sont ceux proposés sur le moteur de recherche de la base de données de Stable Diffusion, où plus de 12 millions de prompts sont répertoriés.