Accelerate documentation
概述
入门指南
教程
操作指南
Accelerate
训练
梯度累积本地 SGD低精度(FP8)训练DeepSpeed使用 DeepSpeed 搭配多个模型DDP 通信钩子完全分片数据并行Megatron-LMAmazon SageMakerApple M1 GPUIntel CPUIntel Gaudi编译
推理
概念与基础
Accelerate 的内部机制将大型模型加载到内存中比较不同分布式配置下的性能执行和延迟任务梯度同步FSDP 与 DeepSpeedFSDP1 与 FSDP2上下文并行序列并行低精度训练方法在 TPU 上进行训练
参考
概述
欢迎使用 Accelerate 教程!这些入门指南将帮助你快速上手使用 Accelerate。 你将学习如何修改代码以使其与 API 无缝协作,如何正确启动脚本, 以及更多内容!
这些教程假设您具备一些 Python 基础知识,并熟悉 PyTorch 框架。
如果您对 Accelerate 有任何疑问,欢迎加入我们的论坛并向社区提问。
Update on GitHub