Utiliser 🧨 diffusers sur Hugging Face

Diffusers est la bibliothèque de référence pour les modèles de diffusion pré-entraînés de pointe, destinés à la génération d’images, d’audio et même de structures 3D de molécules. Que vous cherchiez une solution d’inférence simple ou que vous souhaitiez entraîner votre propre modèle de diffusion, Diffusers est une boîte à outils modulaire qui prend en charge les deux. La bibliothèque est conçue avec un accent mis sur l’utilisabilité plutôt que sur la performance, la simplicité plutôt que la facilité, et la personnalisation plutôt que l’abstraction.

Explorer Diffusers sur le Hub

Il existe plus de 10 000 pipelines compatibles diffusers sur le Hub, que vous pouvez trouver en filtrant à gauche de la page des modèles. Les systèmes de diffusion sont généralement composés de plusieurs éléments tels que l'encodeur de texte, le UNet, le VAE et le planificateur. Bien qu'ils ne soient pas des modèles autonomes, l'abstraction de pipeline facilite leur utilisation pour l'inférence ou l'entraînement.

Vous pouvez trouver des pipelines de diffusion pour de nombreuses tâches différentes :

• Générer des images à partir de prompts textuels en langage naturel (text-to-image).
• Transformation d'images à l'aide de prompts textuels en langage naturel (image-to-image).
• Générer des vidéos à partir de descriptions en langage naturel (text-to-video).

Vous pouvez tester les modèles directement dans le navigateur si vous souhaitez les essayer sans les télécharger, grâce aux widgets intégrés au navigateur !

Fichiers du dépôt Diffusers

Un dépôt de modèle Diffusers contient tous les sous-composants de modèle requis, tels que l'auto-encodeur variationnel pour l'encodage des images et le décodage des latents, l'encodeur de texte, le modèle transformer, et d'autres encore. Ces sous-composants sont organisés dans une structure multi-dossiers.

Chaque sous-dossier contient les poids et la configuration - le cas échéant - de chaque composant, de manière similaire à un modèle Transformers.

Les poids sont généralement stockés sous forme de fichiers safetensors et la configuration est généralement un fichier json contenant des informations sur l'architecture du modèle.

Utilisation de pipelines existants

Tous les pipelines diffusers sont prêts à l’emploi ! Pour lancer la génération, nous recommandons de toujours démarrer par le DiffusionPipeline :

from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0")

Si vous souhaitez charger un composant de pipeline spécifique, tel que le UNet, vous pouvez le faire en :

from diffusers import UNet2DConditionModel

unet = UNet2DConditionModel.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", subfolder="unet")

Partager vos pipelines et modèles

Toutes les classes de pipeline, classes de modèle et classes de planificateur sont entièrement compatibles avec le Hub. Plus précisément, elles peuvent être facilement chargées depuis le Hub à l'aide de la méthode from_pretrained() et partagées avec d'autres à l'aide de la méthode push_to_hub().

Pour plus de détails, veuillez consulter la documentation.

Ressources supplémentaires

• Bibliothèque Diffusers.
• Diffusers documentation.