Accelerate

Accelerateは、わずか4行のコードを追加するだけで、同じPyTorchコードをあらゆる分散構成で実行できるようにするライブラリです。要するに、大規模なトレーニングと推論を、シンプルで効率的、かつ柔軟に実現します。

+ from accelerate import Accelerator
+ accelerator = Accelerator()

+ model, optimizer, training_dataloader, scheduler = accelerator.prepare(
+     model, optimizer, training_dataloader, scheduler
+ )

  for batch in training_dataloader:
      optimizer.zero_grad()
      inputs, targets = batch
      inputs = inputs.to(device)
      targets = targets.to(device)
      outputs = model(inputs)
      loss = loss_function(outputs, targets)
+     accelerator.backward(loss)
      optimizer.step()
      scheduler.step()

torch_xla と torch.distributed を基盤として構築された Accelerate が複雑な処理を処理するため、これらのプラットフォームに対応するためのカスタムコードを書く必要はありません。既存のコードベースを DeepSpeed を活用するように変換し、fully sharded data parallelism を実行し、混合精度トレーニングの自動サポートを実現できます!

このプロセスをよりよく理解するために、チュートリアルをぜひご覧ください。

このコードは、AccelerateのCLIインターフェースを通じて、任意のシステムで起動できます。

accelerate launch {my_script.py}

チュートリアル

Accelerateの基本的な使い方について学び、その操作に慣れましょう。Accelerateを初めてお使いの方は、ここから始めてください！

ハウツーガイド

特定の目標を達成するための実践的なガイドです。Accelerate を使って実際の問題をどのように解決するかを学ぶために、これらのガイドをご覧ください。

概念的なガイド

分散学習やDeepSpeedにおける、微妙なニュアンスや落とし穴を回避するための重要なトピックの理解を深めるための、高レベルな説明。

リファレンス

Accelerateのクラスとメソッドの動作に関する技術的な説明です。

Update on GitHub