Accelerate documentation

Accelerate

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Accelerate

Accelerate là một thư viện cho phép chạy cùng một mã PyTorch trên bất kỳ cấu hình phân phối nào chỉ bằng cách thêm bốn dòng mã! Tóm lại, huấn luyện và suy luận ở quy mô lớn trở nên đơn giản, hiệu quả và linh hoạt.

+ from accelerate import Accelerator
+ accelerator = Accelerator()

+ model, optimizer, training_dataloader, scheduler = accelerator.prepare(
+     model, optimizer, training_dataloader, scheduler
+ )

  for batch in training_dataloader:
      optimizer.zero_grad()
      inputs, targets = batch
      inputs = inputs.to(device)
      targets = targets.to(device)
      outputs = model(inputs)
      loss = loss_function(outputs, targets)
+     accelerator.backward(loss)
      optimizer.step()
      scheduler.step()

Được xây dựng trên torch_xla và torch.distributed, Accelerate đảm nhận phần việc nặng nhọc, giúp bạn không cần viết bất kỳ mã tùy chỉnh nào để thích ứng với các nền tảng này. Chuyển đổi các mã nguồn hiện có để sử dụng DeepSpeed, thực hiện fully sharded data parallelism và có hỗ trợ tự động cho huấn luyện độ chính xác hỗn hợp!

Để hiểu rõ hơn về quy trình này, hãy chắc chắn xem qua Các bài hướng dẫn!

Mã này sau đó có thể được khởi chạy trên bất kỳ hệ thống nào thông qua giao diện CLI của Accelerate:

accelerate launch {my_script.py}
Update on GitHub