Accelerate documentation
Accelerate
Accelerate
Accelerate là một thư viện cho phép chạy cùng một mã PyTorch trên bất kỳ cấu hình phân phối nào chỉ bằng cách thêm bốn dòng mã! Tóm lại, huấn luyện và suy luận ở quy mô lớn trở nên đơn giản, hiệu quả và linh hoạt.
+ from accelerate import Accelerator
+ accelerator = Accelerator()
+ model, optimizer, training_dataloader, scheduler = accelerator.prepare(
+ model, optimizer, training_dataloader, scheduler
+ )
for batch in training_dataloader:
optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
+ accelerator.backward(loss)
optimizer.step()
scheduler.step()Được xây dựng trên torch_xla và torch.distributed, Accelerate đảm nhận phần việc nặng nhọc, giúp bạn không cần viết bất kỳ mã tùy chỉnh nào để thích ứng với các nền tảng này.
Chuyển đổi các mã nguồn hiện có để sử dụng DeepSpeed, thực hiện fully sharded data parallelism và có hỗ trợ tự động cho huấn luyện độ chính xác hỗn hợp!
Để hiểu rõ hơn về quy trình này, hãy chắc chắn xem qua Các bài hướng dẫn!
Mã này sau đó có thể được khởi chạy trên bất kỳ hệ thống nào thông qua giao diện CLI của Accelerate:
accelerate launch {my_script.py}Học các kiến thức cơ bản và làm quen với việc sử dụng Accelerate. Bắt đầu tại đây nếu bạn đang dùng Accelerate lần đầu tiên!
Hướng dẫn thực hành giúp bạn đạt được một mục tiêu cụ thể. Hãy xem các hướng dẫn này để tìm hiểu cách sử dụng Accelerate để giải quyết các vấn đề thực tế.
Giải thích ở mức cao nhằm xây dựng sự hiểu biết sâu sắc hơn về các chủ đề quan trọng, chẳng hạn như tránh những sắc thái tinh tế và các bẫy thường gặp trong huấn luyện phân tán và DeepSpeed.
Mô tả kỹ thuật về cách các lớp và phương thức của Accelerate hoạt động.