Accelerate documentation
インストール
はじめに
チュートリアル
ハウツーガイド
Accelerate
学習
勾配の累積Local SGD低精度 (FP8) トレーニングDeepSpeedDeepSpeedで複数のモデルを使用するDDP通信フックFully Sharded Data ParallelMegatron-LMAmazon SageMakerApple M1 GPUIntel CPUIntel Gaudiコンパイル
推論
コンセプトと基礎
Accelerate の内部メカニズム大規模モデルをメモリに読み込む分散環境間のパフォーマンス比較ジョブの実行と遅延勾配の同期FSDPとDeepSpeedFSDP1とFSDP2コンテキスト並列性シーケンス並列性低精度トレーニング手法TPUでのトレーニング
リファレンス
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
インストール
開始前に、環境のセットアップ、適切なパッケージのインストール、および Accelerate の設定が必要です。Accelerate は Python 3.11+ でテストされています。
Accelerate は pypi と conda、および GitHub で利用できます。それぞれのインストール手順の詳細は以下の通りです:
pip
pypi から Accelerate をインストールするには、次のコマンドを実行します。
pip install accelerate
conda
Accelerateは、condaでもインストールできます:
conda install -c conda-forge accelerate
ソース
毎日、まだリリースされていない新機能が追加されています。それらを自分で試すには、GitHubリポジトリからインストールしてください:
pip install git+https://github.com/huggingface/accelerate
ライブラリへの貢献に取り組んでいる場合、またはソースコードを操作してコードの実行中にライブの結果を確認したい場合は、リポジトリのローカルにクローンしたバージョンから編集可能なバージョンをインストールできます。
git clone https://github.com/huggingface/accelerate
cd accelerate
pip install -e .設定
インストール後、現在のシステムがトレーニング用にどのように設定されているかに基づいて、Accelerate を設定する必要があります。 そのために、以下のコマンドを実行し、表示される質問に答えてください:
accelerate config
DeepSpeedの設定やTPUでの実行などのオプションを含まない最小限の設定を書き出すには、以下を素早く実行できます:
python -c "from accelerate.utils import write_basic_config; write_basic_config(mixed_precision='fp16')"Accelerate は利用可能な GPU の最大数を自動的に使用し、混合精度モードを設定します。
設定が正しく設定されていることを確認するには、次のコマンドを実行します:
accelerate env以下に出力の例を示します。これは、1台のマシン上の2つのGPUを、混合精度を使用せずに記述しています。
- `Accelerate` version: 1.2.0.dev0
- Platform: Linux-6.8.0-47-generic-x86_64-with-glibc2.35
- `accelerate` bash location: /home/zach/miniconda3/envs/accelerate/bin/accelerate
- Python version: 3.10.13
- Numpy version: 1.26.4
- PyTorch version (GPU?): 2.5.1+cu124 (True)
- PyTorch XPU available: False
- PyTorch NPU available: False
- PyTorch MLU available: False
- PyTorch MUSA available: False
- System RAM: 187.91 GB
- GPU type: NVIDIA GeForce RTX 4090
- `Accelerate` default config:
- compute_environment: LOCAL_MACHINE
- distributed_type: MULTI_GPU
- mixed_precision: no
- use_cpu: False
- debug: False
- num_processes: 2
- machine_rank: 0
- num_machines: 1
- gpu_ids: all
- rdzv_backend: static
- same_network: True
- main_training_function: main
- enable_cpu_affinity: False
- downcast_bf16: no
- tpu_use_cluster: False
- tpu_use_sudo: False
- tpu_env: []