Transformers documentation

Kernels pour l'entraînement

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Kernels pour l'entraînement

Les noyaux personnalisés ciblent des opérations spécifiques, telles que les multiplications de matrices, l’attention et la normalisation, afin de les exécuter plus rapidement. La fusion de plusieurs opérations en un seul noyau réduit l’utilisation de la bande passante mémoire en limitant le nombre de lectures et d’écritures dans la mémoire GPU, et diminue le surcoût de lancement par opération.

Kernels du Hub

Le Hub héberge des noyaux communautaires que vous pouvez charger avec KernelConfig. Passez la configuration à kernel_config dans from_pretrained(). Une fois le noyau chargé, il est actif pour l’entraînement. Consultez le guide Chargement des noyaux pour toutes les options disponibles.

from transformers import AutoModelForCausalLM, KernelConfig

kernel_config = KernelConfig(
    kernel_mapping={
        "RMSNorm": "kernels-community/liger-kernels:LigerRMSNorm",
    }
)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    use_kernels=True,
    kernel_config=kernel_config,
)

Liger

Liger Kernel fusionne des couches telles que RMSNorm, RoPE, SwiGLU, CrossEntropy et FusedLinearCrossEntropy en un seul noyau Triton. Il est compatible avec FlashAttention, FSDP et DeepSpeed, et améliore le débit d’entraînement multi-GPU tout en réduisant l’utilisation de la mémoire, ce qui rend les vocabulaires, tailles de lot et longueurs de contexte plus importants plus réalisables.

pip install liger-kernel

Définissez use_liger_kernel=True dans TrainingArguments pour appliquer les noyaux de Liger aux couches de modèle correspondantes.

Consultez la page patching pour obtenir la liste complète des modèles pris en charge.

from transformers import TrainingArguments

training_args = TrainingArguments(
    ...,
    use_liger_kernel=True
)

Pour contrôler les couches à patcher, passez liger_kernel_config sous forme de dictionnaire. Les options disponibles varient selon le modèle et incluent : rope, swiglu, cross_entropy, fused_linear_cross_entropy, rms_norm, etc.

from transformers import TrainingArguments

training_args = TrainingArguments(
    ...,
    use_liger_kernel=True,
    liger_kernel_config={
        "rope": True,
        "cross_entropy": True,
        "rms_norm": False,
        "swiglu": True,
    }
)

Étapes suivantes

  • Consultez le guide Backends d'attention pour plus de détails sur les noyaux tels que FlashAttention qui réduisent l'utilisation de la mémoire.
  • Consultez le guide torch.compile pour apprendre à compiler le passage avant et le passage arrière de votre étape d'entraînement complète.
Update on GitHub