Accelerate documentation
Accelerateをコードに追加する
Accelerateをコードに追加する
各分散学習フレームワークには独自の仕組みがあり、PyTorchの学習コードや学習環境に合わせて適応させるには、多くのカスタムコードを書く必要があります。Accelerateは、各フレームワークの具体的な詳細を学ぶことなく、これらの分散学習フレームワークと対話するための親しみやすい方法を提供します。Accelerateがこれらの詳細を処理してくれるため、学習コードに集中し、あらゆる分散学習環境にスケールさせることができます。
このチュートリアルでは、既存のPyTorchコードをAccelerateで適応させ、分散システムでのトレーニングを簡単に開始する方法を学びます。基本的なPyTorchのトレーニングループ(modelやoptimizerなどのトレーニング対象がすでに設定済みであることを前提としています)から始め、段階的にAccelerateを統合していきます。
device = "cuda"
model.to(device)
for batch in training_dataloader:
optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss.backward()
optimizer.step()
scheduler.step()Accelerator
Acceleratorは、Accelerateで動作するようにコードを適応させるためのメインクラスです。このクラスは、使用している分散セットアップ(異なるプロセスの数やハードウェアの種類など)を把握しています。また、PyTorchコードをあらゆる分散学習環境で動作させるために必要な多くのメソッドへのアクセスを提供し、デバイス間でのプロセスの管理と実行を行います。
そのため、スクリプトでは常に Accelerator インスタンスのインポートと作成から始めるべきです。
from accelerate import Accelerator
accelerator = Accelerator()Accelerator は、PyTorch オブジェクトをどのデバイスに移動すべきかを把握しているため、この処理は Accelerate に委ねることをお勧めします。
- device = "cuda"
+ device = accelerator.device
model.to(device)PyTorchオブジェクトの準備
次に、PyTorchオブジェクト(モデル、オプティマイザー、スケジューラーなど)を分散学習用に準備する必要があります。prepare()メソッドは、トレーニング構成に合わせてモデルを適切なコンテナ(シングルGPUやマルチGPUなど)に配置し、オプティマイザーとスケジューラーをAccelerateのAcceleratedOptimizerおよびAcceleratedSchedulerに適合させ、プロセス間でシャーディング可能な新しいデータローダーを作成します。
Accelerate は、
torch.optim.Optimizerなどの対応する PyTorch クラスを継承したオブジェクトのみを準備します。
PyTorchオブジェクトは、送信されたのと同じ順序で返されます。
model, optimizer, training_dataloader, scheduler = accelerator.prepare(
model, optimizer, training_dataloader, scheduler
)トレーニングループ
最後に、Accelerate の DataLoader クラスが自動的に適切なデバイスに配置するため、トレーニングループ内の入力とターゲットに対する to(device) の呼び出しを削除してください。また、通常の backward() パスではなく、Accelerate の backward() メソッドを使用してください。このメソッドは勾配をスケーリングし、分散設定(DeepSpeed や Megatron など)に応じて適切な backward() メソッドを使用します。
- inputs = inputs.to(device)
- targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
- loss.backward()
+ accelerator.backward(loss)すべてをまとめると、新しいAccelerateの学習ループは次のようになります!
from accelerate import Accelerator
accelerator = Accelerator()
device = accelerator.device
model, optimizer, training_dataloader, scheduler = accelerator.prepare(
model, optimizer, training_dataloader, scheduler
)
for batch in training_dataloader:
optimizer.zero_grad()
inputs, targets = batch
outputs = model(inputs)
loss = loss_function(outputs, targets)
accelerator.backward(loss)
optimizer.step()
scheduler.step()トレーニング機能
Accelerateには、gradient accumulation、gradient clipping、mixed precision trainingなど、トレーニング実行を改善するためにスクリプトに追加できる追加機能があります。これらの3つの機能について見ていきましょう。
勾配の蓄積
勾配の蓄積(Gradient accumulation)を使用すると、重みの更新を行う前に複数のバッチにわたって勾配を蓄積することで、より大きなバッチサイズでの学習が可能になります。これは、メモリ制限を回避するために有用です。Accelerate でこの機能を有効にするには、Accelerator クラスで gradient_accumulation_steps パラメータを指定し、スクリプトに accumulate() コンテキストマネージャーを追加します。
+ accelerator = Accelerator(gradient_accumulation_steps=2)
model, optimizer, training_dataloader = accelerator.prepare(model, optimizer, training_dataloader)
for input, label in training_dataloader:
+ with accelerator.accumulate(model):
predictions = model(input)
loss = loss_function(predictions, label)
accelerator.backward(loss)
optimizer.step()
scheduler.step()
optimizer.zero_grad()勾配クリッピング
Gradient clippingは「勾配の爆発」を防ぐための技術であり、Accelerateでは以下を提供しています:
- 勾配を最小値と最大値にクリップするためにclipgrad_value()を使用します
- 勾配を特定の値に正規化するためのclipgrad_norm()
混合精度
Mixed precisionは、fp16(半精度)のような低精度のデータ型を使用して勾配を計算することで、トレーニングを高速化します。Accelerateで最適なパフォーマンスを得るためには、損失をモデル内で計算する必要があります(Transformersのモデルのように)。モデルの外側で行われる計算は、フル精度で実行されるためです。
Acceleratorで使用する混合精度の型を設定し、autocast()コンテキストマネージャーを使用して、値を指定されたデータ型に自動的にキャストします。
Accelerate は自動混合精度を有効にします。したがって、backward() がすでにスケーリングを処理している損失以外の混合精度演算が存在する場合にのみ、autocast() が必要です。
+ accelerator = Accelerator(mixed_precision="fp16")
+ with accelerator.autocast():
loss = complex_loss_function(outputs, target)保存と読み込み
Accelerate は、トレーニングが完了した後にモデルを保存および読み込むこともできます。また、トレーニングの再開に役立つ可能性があるモデルとオプティマイザーの状態を保存することもできます。
モデル
すべてのプロセスが完了したら、モデルを保存する前に、prepare() メソッドが分散学習用の適切なインターフェースにモデルをラップしたため、unwrap_model() メソッドでモデルをアンラップしてください。モデルをアンラップしないと、モデルのステートディクショナリを保存した際に、より大きなモデル由来の潜在的な追加レイヤーも保存されてしまい、ベースモデルに重みを再度読み込めなくなります。
モデルのステートディクトリーをアンラップして保存するには、save_model() メソッドを使用してください。このメソッドは、モデルをシャードされたチェックポイントやsafetensors形式で保存することもできます。
accelerator.wait_for_everyone() accelerator.save_model(model, save_directory)
Transformersライブラリのモデルについては、from_pretrainedメソッドで再読み込みできるように、save_pretrainedメソッドでモデルを保存してください。
from transformers import AutoModel unwrapped_model = accelerator.unwrap_model(model) unwrapped_model.save_pretrained( "path/to/my_model_directory", is_main_process=accelerator.is_main_process, save_function=accelerator.save, ) model = AutoModel.from_pretrained("path/to/my_model_directory")
重みをロードするには、まずunwrap_model()メソッドを使用してモデルをアンラップし、その後で重みをロードしてください。モデルのパラメータはすべてテンソルへの参照であるため、これによりmodelの内部に重みがロードされます。
unwrapped_model = accelerator.unwrap_model(model)
path_to_checkpoint = os.path.join(save_directory,"pytorch_model.bin")
unwrapped_model.load_state_dict(torch.load(path_to_checkpoint))safe_serialization=True を設定すると、モデルは safetensor 形式で保存されます。
accelerator.wait_for_everyone()
accelerator.save_model(model, save_directory, max_shard_size="1GB", safe_serialization=True)シャード化されたチェックポイントまたはsafetensor形式のチェックポイントを読み込むには、load_checkpoint_in_model()メソッドを使用します。このメソッドにより、チェックポイントを特定のデバイスに読み込むことができます。
load_checkpoint_in_model(unwrapped_model, save_directory, device_map={"":device})状態
学習中、現在のモデル、オプティマイザー、乱数生成器、場合によっては学習率スケジューラーの状態を保存し、同じスクリプトで復元できるようにしたい場合があります。状態の保存と読み込みを行うために、スクリプトにsave_state()メソッドとload_state()メソッドを追加する必要があります。
save_state() を通じた状態の保存先と保存方法のさらなるカスタマイズには、ProjectConfiguration クラスを使用します。例えば、automatic_checkpoint_naming が有効な場合、各保存されたチェックポイントは Accelerator.project_dir/checkpoints/checkpoint_{checkpoint_number} に保存されます。
保存・読み込みの対象とする他のステートフルな項目は、register_for_checkpointing() メソッドに登録する必要があります。このメソッドに渡して保存するすべてのオブジェクトには、load_state_dict と state_dict 関数が必要です。
Update on GitHub
torchdata>=0.8.0がインストールされている場合、DataLoaderConfiguration にuse_stateful_dataloader=Trueを追加で渡すことができます。これにより、Accelerate の DataLoader クラスにload_state_dictとstate_dict関数が拡張され、Accelerator.save_stateおよびAccelerator.load_stateがモデルを永続化する際に、学習データセットのどこまで読み取ったかを追跡するようになります。