Accelerate documentation
Journalisation
Premiers pas
Tutoriels
AperçuAjouter Accelerate à votre codeProcessus d'exécutionEntraînement sur TPULancement des scripts AccelerateLancement de l'entraînement distribué depuis Jupyter Notebooks
Guides pratiques
Accelerate
Commencez ici !Estimateur de mémoire du modèleQuantification de modèleSuiveurs d'expérimentationsProfilerPoint de contrôleDépannageExemple Zoo
Entraînement
Accumulation de gradientsLocal SGDEntraînement en basse précision (FP8)DeepSpeedUtiliser plusieurs modèles avec DeepSpeedCrochets de communication DDPFully Sharded Data ParallelMegatron-LMAmazon SageMakerGPU Apple M1Intel CPUIntel GaudiCompilation
Inférence
Concepts et fondamentaux
Mécanisme interne d'AccelerateCharger de grands modèles en mémoireComparaison des performances entre différentes configurations distribuéesExécuter et différer des tâchesSynchronisation des gradientsFSDP et DeepSpeedFSDP1 vs FSDP2Parallélisme de contexteParallélisme de séquenceMéthodes d'entraînement à basse précisionEntraînement sur des TPU
Référence
AccélérateurClasses avec étatLa ligne de commandeDataLoaders, Optimizers, SchedulersTraceurs d'expérimentationLanceursUtilitaires DeepSpeedJournalisationTravailler avec de grands modèlesGestionnaires de kwargsFP8Fonctions et classes utilitairesUtilitaires Megatron-LMUtilitaires de parallélisme de données entièrement fragmentées
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Journalisation
Consultez le guide de dépannage ou l’exemple ci-dessous pour apprendre à utiliser le journaliseur d’Accelerate.
accelerate.logging.get_logger
< source >( name: strlog_level: str | None = None )
Retourne un logging.Logger pour name capable de gérer le multiprocessing.
Si un journal doit être appelé sur tous les processus, passez main_process_only=False. Si un journal doit être appelé sur tous les processus et dans l'ordre, passez également in_order=True.
Exemple :
>>> from accelerate.logging import get_logger
>>> from accelerate import Accelerator
>>> logger = get_logger(__name__)
>>> accelerator = Accelerator()
>>> logger.info("My log", main_process_only=False)
>>> logger.debug("My log", main_process_only=True)
>>> logger = get_logger(__name__, log_level="DEBUG")
>>> logger.info("My log")
>>> logger.debug("My second log")
>>> array = ["a", "b", "c", "d"]
>>> letter_at_rank = array[accelerator.process_index]
>>> logger.info(letter_at_rank, in_order=True)