TRL documentation

Tutoriels de la communauté

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Tutoriels de la communauté

Les tutoriels de la communauté sont créés par des membres actifs de la communauté Hugging Face qui souhaitent partager leurs connaissances et leur expertise avec les autres. Ils constituent un excellent moyen d'apprendre à connaître la bibliothèque et ses fonctionnalités, et de se familiariser avec les classes et modalités principales.

Modèles de langage

Tutoriels

TâcheClasseDescriptionAuteurTutorielColab
Apprentissage par renforcementGRPOTrainerEntraînement en ligne efficace avec GRPO et vLLM dans TRLSergio PaniegoLienOpen In Colab
Apprentissage par renforcementGRPOTrainerEntraînement post-entraînement d'un LLM pour le raisonnement avec GRPO dans TRLSergio PaniegoLienOpen In Colab
Apprentissage par renforcementGRPOTrainerMini-R1 : Reproduire le « moment aha » de Deepseek R1, un tutoriel RLPhilipp SchmidLienOpen In Colab
Apprentissage par renforcementGRPOTrainerRL sur LLaMA 3.1-8B avec GRPO et les optimisations UnslothAndrea ManzoniLienOpen In Colab
Ajustement par instructionsSFTTrainerFine-tuning des LLM Google Gemma au format ChatML avec QLoRAPhilipp SchmidLienOpen In Colab
Génération structuréeSFTTrainerAjustement fin de Llama-2-7B pour générer des catalogues de produits persans au format JSON à l'aide de QLoRA et PEFTMohammadreza EsmaeilianLienOpen In Colab
Optimisation des préférencesDPOTrainerAligner Mistral-7b à l'aide de l'optimisation directe des préférences (Direct Preference Optimization) pour l'alignement sur les préférences humainesMaxime LabonneLienOpen In Colab
Optimisation des préférencesexperimental.orpo.ORPOTrainerFine-tuning de Llama 3 avec ORPO combinant l’instruction tuning et l’alignement des préférencesMaxime LabonneLienOpen In Colab
Ajustement par instructionsSFTTrainerComment affiner les LLM ouverts en 2025 avec Hugging FacePhilipp SchmidLienOpen In Colab
Raisonnement au niveau de l'étapeGRPOTrainerApprentissage par renforcement supervisé (SRL) pour le raisonnement étape par étape avec vLLMDeepak SwaminathanLienOpen In Colab

Vidéos

TâcheTitreAuteurVidéo
Ajustement par instructionsFine-tuning de modèles d'IA ouverts à l'aide de Hugging Face TRLWietse Venema
Ajustement par instructionsComment affiner un smol-LM avec Hugging Face, TRL et le jeu de données smoltalkMayurji
⚠️ Deprecated features notice for "How to fine-tune a smol-LM with Hugging Face, TRL, and the smoltalk Dataset" (click to expand)

Le tutoriel utilise deux fonctionnalités obsolètes :

  • SFTTrainer(..., tokenizer=tokenizer) : utilisez plutôt SFTTrainer(..., processing_class=tokenizer), ou omettez-le simplement (il sera inféré à partir du modèle).
  • setup_chat_format(model, tokenizer) : utilisez SFTConfig(..., chat_template_path="Qwen/Qwen3-0.6B"), où chat_template_path spécifie le modèle dont vous souhaitez copier le modèle de discussion.

Modèles de vision et de langage

Tutoriels

TâcheClasseDescriptionAuteurTutorielColab
QA visuelSFTTrainerFine-tuning de Qwen2-VL-7B pour la question-réponse visuelle sur le jeu de données ChartQASergio PaniegoLienOpen In Colab
QA visuelSFTTrainerFine-tuning de SmolVLM avec TRL sur un GPU grand publicSergio PaniegoLienOpen In Colab
Description SEOSFTTrainerFine-tuning de Qwen2-VL-7B pour générer des descriptions optimisées pour le SEO à partir d'imagesPhilipp SchmidLienOpen In Colab
QA visuelDPOTrainerPaliGemma 🤝 Direct Preference OptimizationMerve NoyanLienOpen In Colab
QA visuelDPOTrainerFine-tuning de SmolVLM à l'aide de l'optimisation directe des préférences (DPO) avec TRL sur un GPU grand publicSergio PaniegoLienOpen In Colab
Détection d'objetsSFTTrainerFine-tuning d'un VLM pour le Grounding de détection d'objets avec TRLSergio PaniegoLienOpen In Colab
QA visuelDPOTrainerAjustement fin d'un modèle de vision-langage avec TRL en utilisant MPOSergio PaniegoLienOpen In Colab
Apprentissage par renforcementGRPOTrainerPost-entraînement d'un VLM pour le raisonnement avec GRPO à l'aide de TRLSergio PaniegoLienOpen In Colab

Modèles de langage pour la parole

Tutoriels

TâcheClasseDescriptionAuteurTutoriel
Texte en paroleGRPOTrainerEntraînement post-entraînement d'un modèle de langage vocal avec GRPO à l'aide de TRLSteven ZhengLien

Contribuer

Si vous avez un tutoriel que vous souhaitez ajouter à cette liste, veuillez ouvrir une PR pour l’ajouter. Nous l’examinerons et la fusionnerons si elle est pertinente pour la communauté.

Update on GitHub