TRL documentation
Tutoriels de la communauté
Premiers pas
Guides conceptuels
Trainers
Guides pratiques
Interface en ligne de commande (CLI)Entraînement à l'aide de JobsPersonnalisation de l'entraînementRéduire l'utilisation de la mémoireAccélérer l'entraînementDistribuer l’entraînementEntraînement sur AWS TrainiumEntraînement sur des GPU AMDEntraînement au-delà de 1 M de jetonsUtilisation de modèles entraînés
Intégrations
Exemples
API
Expérimental
Tutoriels de la communauté
Les tutoriels de la communauté sont créés par des membres actifs de la communauté Hugging Face qui souhaitent partager leurs connaissances et leur expertise avec les autres. Ils constituent un excellent moyen d'apprendre à connaître la bibliothèque et ses fonctionnalités, et de se familiariser avec les classes et modalités principales.
Modèles de langage
Tutoriels
| Tâche | Classe | Description | Auteur | Tutoriel | Colab |
|---|---|---|---|---|---|
| Apprentissage par renforcement | GRPOTrainer | Entraînement en ligne efficace avec GRPO et vLLM dans TRL | Sergio Paniego | Lien | |
| Apprentissage par renforcement | GRPOTrainer | Entraînement post-entraînement d'un LLM pour le raisonnement avec GRPO dans TRL | Sergio Paniego | Lien | |
| Apprentissage par renforcement | GRPOTrainer | Mini-R1 : Reproduire le « moment aha » de Deepseek R1, un tutoriel RL | Philipp Schmid | Lien | |
| Apprentissage par renforcement | GRPOTrainer | RL sur LLaMA 3.1-8B avec GRPO et les optimisations Unsloth | Andrea Manzoni | Lien | |
| Ajustement par instructions | SFTTrainer | Fine-tuning des LLM Google Gemma au format ChatML avec QLoRA | Philipp Schmid | Lien | |
| Génération structurée | SFTTrainer | Ajustement fin de Llama-2-7B pour générer des catalogues de produits persans au format JSON à l'aide de QLoRA et PEFT | Mohammadreza Esmaeilian | Lien | |
| Optimisation des préférences | DPOTrainer | Aligner Mistral-7b à l'aide de l'optimisation directe des préférences (Direct Preference Optimization) pour l'alignement sur les préférences humaines | Maxime Labonne | Lien | |
| Optimisation des préférences | experimental.orpo.ORPOTrainer | Fine-tuning de Llama 3 avec ORPO combinant l’instruction tuning et l’alignement des préférences | Maxime Labonne | Lien | |
| Ajustement par instructions | SFTTrainer | Comment affiner les LLM ouverts en 2025 avec Hugging Face | Philipp Schmid | Lien | |
| Raisonnement au niveau de l'étape | GRPOTrainer | Apprentissage par renforcement supervisé (SRL) pour le raisonnement étape par étape avec vLLM | Deepak Swaminathan | Lien |
Vidéos
| Tâche | Titre | Auteur | Vidéo |
|---|---|---|---|
| Ajustement par instructions | Fine-tuning de modèles d'IA ouverts à l'aide de Hugging Face TRL | Wietse Venema | ![]() |
| Ajustement par instructions | Comment affiner un smol-LM avec Hugging Face, TRL et le jeu de données smoltalk | Mayurji | ![]() |
⚠️ Deprecated features notice for "How to fine-tune a smol-LM with Hugging Face, TRL, and the smoltalk Dataset" (click to expand)
Le tutoriel utilise deux fonctionnalités obsolètes :
SFTTrainer(..., tokenizer=tokenizer): utilisez plutôtSFTTrainer(..., processing_class=tokenizer), ou omettez-le simplement (il sera inféré à partir du modèle).setup_chat_format(model, tokenizer): utilisezSFTConfig(..., chat_template_path="Qwen/Qwen3-0.6B"), oùchat_template_pathspécifie le modèle dont vous souhaitez copier le modèle de discussion.
Modèles de vision et de langage
Tutoriels
| Tâche | Classe | Description | Auteur | Tutoriel | Colab |
|---|---|---|---|---|---|
| QA visuel | SFTTrainer | Fine-tuning de Qwen2-VL-7B pour la question-réponse visuelle sur le jeu de données ChartQA | Sergio Paniego | Lien | |
| QA visuel | SFTTrainer | Fine-tuning de SmolVLM avec TRL sur un GPU grand public | Sergio Paniego | Lien | |
| Description SEO | SFTTrainer | Fine-tuning de Qwen2-VL-7B pour générer des descriptions optimisées pour le SEO à partir d'images | Philipp Schmid | Lien | |
| QA visuel | DPOTrainer | PaliGemma 🤝 Direct Preference Optimization | Merve Noyan | Lien | |
| QA visuel | DPOTrainer | Fine-tuning de SmolVLM à l'aide de l'optimisation directe des préférences (DPO) avec TRL sur un GPU grand public | Sergio Paniego | Lien | |
| Détection d'objets | SFTTrainer | Fine-tuning d'un VLM pour le Grounding de détection d'objets avec TRL | Sergio Paniego | Lien | |
| QA visuel | DPOTrainer | Ajustement fin d'un modèle de vision-langage avec TRL en utilisant MPO | Sergio Paniego | Lien | |
| Apprentissage par renforcement | GRPOTrainer | Post-entraînement d'un VLM pour le raisonnement avec GRPO à l'aide de TRL | Sergio Paniego | Lien |
Modèles de langage pour la parole
Tutoriels
| Tâche | Classe | Description | Auteur | Tutoriel |
|---|---|---|---|---|
| Texte en parole | GRPOTrainer | Entraînement post-entraînement d'un modèle de langage vocal avec GRPO à l'aide de TRL | Steven Zheng | Lien |
Contribuer
Si vous avez un tutoriel que vous souhaitez ajouter à cette liste, veuillez ouvrir une PR pour l’ajouter. Nous l’examinerons et la fusionnerons si elle est pertinente pour la communauté.
Update on GitHub
