Accelerate documentation

Checkpointing

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Checkpointing

Khi huấn luyện một mô hình PyTorch với Accelerate, bạn thường sẽ muốn lưu và tiếp tục một trạng thái huấn luyện. Việc này đòi hỏi phải lưu và nạp mô hình, optimizer, các bộ tạo RNG, và GradScaler. Bên trong Accelerate có hai hàm tiện ích để thực hiện điều này một cách nhanh chóng:

  • Sử dụng save_state() để lưu tất cả những gì đã đề cập ở trên vào một vị trí thư mục
  • Sử dụng load_state() để tải mọi thứ đã được lưu từ save_state trước đó

Để tùy chỉnh thêm vị trí và cách lưu trạng thái thông qua save_state(), có thể sử dụng lớp ProjectConfiguration. Ví dụ, nếu automatic_checkpoint_naming được bật, mỗi checkpoint được lưu sẽ nằm tại Accelerator.project_dir/checkpoints/checkpoint_{checkpoint_number}.

Cần lưu ý rằng các trạng thái này được kỳ vọng xuất phát từ cùng một script huấn luyện, không nên lấy từ hai script riêng biệt.

  • Bằng cách sử dụng register_for_checkpointing(), bạn có thể đăng ký các đối tượng tùy chỉnh để được lưu trữ hoặc tải tự động từ hai hàm trước đó, miễn là đối tượng có chức năng state_dict và load_state_dict. Điều này có thể bao gồm các đối tượng như trình lập lịch tốc độ học (learning rate scheduler).

Dưới đây là một ví dụ ngắn gọn sử dụng checkpointing để lưu và nạp lại trạng thái trong quá trình huấn luyện:

from accelerate import Accelerator
import torch

accelerator = Accelerator(project_dir="my/save/path")

my_scheduler = torch.optim.lr_scheduler.StepLR(my_optimizer, step_size=1, gamma=0.99)
my_model, my_optimizer, my_training_dataloader = accelerator.prepare(my_model, my_optimizer, my_training_dataloader)

# Register the LR scheduler
accelerator.register_for_checkpointing(my_scheduler)

# Save the starting state
accelerator.save_state()

device = accelerator.device
my_model.to(device)

# Perform training
for epoch in range(num_epochs):
    for batch in my_training_dataloader:
        my_optimizer.zero_grad()
        inputs, targets = batch
        inputs = inputs.to(device)
        targets = targets.to(device)
        outputs = my_model(inputs)
        loss = my_loss_function(outputs, targets)
        accelerator.backward(loss)
        my_optimizer.step()
    my_scheduler.step()

# Restore the previous state
accelerator.load_state("my/save/path/checkpointing/checkpoint_0")

Khôi phục trạng thái của DataLoader

Sau khi khôi phục từ một checkpoint, có thể cũng mong muốn khôi phục từ một điểm cụ thể trong DataLoader đang hoạt động nếu trạng thái được lưu trong giữa một epoch. Bạn có thể sử dụng skip_first_batches() để làm điều này.

from accelerate import Accelerator

accelerator = Accelerator(project_dir="my/save/path")

train_dataloader = accelerator.prepare(train_dataloader)
accelerator.load_state("my_state")

# Assume the checkpoint was saved 100 steps into the epoch
skipped_dataloader = accelerator.skip_first_batches(train_dataloader, 100)

# After the first iteration, go back to `train_dataloader`

# First epoch
for batch in skipped_dataloader:
    # Do something
    pass

# Second epoch
for batch in train_dataloader:
    # Do something
    pass
Update on GitHub