Transformers documentation
Kernels pour l'entraînement
Kernels pour l'entraînement
Les noyaux personnalisés ciblent des opérations spécifiques, telles que les multiplications de matrices, l’attention et la normalisation, afin de les exécuter plus rapidement. La fusion de plusieurs opérations en un seul noyau réduit l’utilisation de la bande passante mémoire en limitant le nombre de lectures et d’écritures dans la mémoire GPU, et diminue le surcoût de lancement par opération.
Kernels du Hub
Le Hub héberge des noyaux communautaires que vous pouvez charger avec KernelConfig. Passez la configuration à kernel_config dans from_pretrained(). Une fois le noyau chargé, il est actif pour l’entraînement. Consultez le guide Chargement des noyaux pour toutes les options disponibles.
from transformers import AutoModelForCausalLM, KernelConfig
kernel_config = KernelConfig(
kernel_mapping={
"RMSNorm": "kernels-community/liger-kernels:LigerRMSNorm",
}
)
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-0.6B",
use_kernels=True,
kernel_config=kernel_config,
)Liger
Liger Kernel fusionne des couches telles que RMSNorm, RoPE, SwiGLU, CrossEntropy et FusedLinearCrossEntropy en un seul noyau Triton. Il est compatible avec FlashAttention, FSDP et DeepSpeed, et améliore le débit d’entraînement multi-GPU tout en réduisant l’utilisation de la mémoire, ce qui rend les vocabulaires, tailles de lot et longueurs de contexte plus importants plus réalisables.
pip install liger-kernel
Définissez use_liger_kernel=True dans TrainingArguments pour appliquer les noyaux de Liger aux couches de modèle correspondantes.
Consultez la page patching pour obtenir la liste complète des modèles pris en charge.
from transformers import TrainingArguments
training_args = TrainingArguments(
...,
use_liger_kernel=True
)Pour contrôler les couches à patcher, passez liger_kernel_config sous forme de dictionnaire. Les options disponibles varient selon le modèle et incluent : rope, swiglu, cross_entropy, fused_linear_cross_entropy, rms_norm, etc.
from transformers import TrainingArguments
training_args = TrainingArguments(
...,
use_liger_kernel=True,
liger_kernel_config={
"rope": True,
"cross_entropy": True,
"rms_norm": False,
"swiglu": True,
}
)Étapes suivantes
- Consultez le guide Backends d'attention pour plus de détails sur les noyaux tels que FlashAttention qui réduisent l'utilisation de la mémoire.
- Consultez le guide torch.compile pour apprendre à compiler le passage avant et le passage arrière de votre étape d'entraînement complète.