Accelerate documentation
Checkpointing
Checkpointing
Khi huấn luyện một mô hình PyTorch với Accelerate, bạn thường sẽ muốn lưu và tiếp tục một trạng thái huấn luyện. Việc này đòi hỏi phải lưu và nạp mô hình, optimizer, các bộ tạo RNG, và GradScaler. Bên trong Accelerate có hai hàm tiện ích để thực hiện điều này một cách nhanh chóng:
- Sử dụng save_state() để lưu tất cả những gì đã đề cập ở trên vào một vị trí thư mục
- Sử dụng load_state() để tải mọi thứ đã được lưu từ
save_statetrước đó
Để tùy chỉnh thêm vị trí và cách lưu trạng thái thông qua save_state(), có thể sử dụng lớp ProjectConfiguration. Ví dụ, nếu automatic_checkpoint_naming được bật, mỗi checkpoint được lưu sẽ nằm tại Accelerator.project_dir/checkpoints/checkpoint_{checkpoint_number}.
Cần lưu ý rằng các trạng thái này được kỳ vọng xuất phát từ cùng một script huấn luyện, không nên lấy từ hai script riêng biệt.
- Bằng cách sử dụng register_for_checkpointing(), bạn có thể đăng ký các đối tượng tùy chỉnh để được lưu trữ hoặc tải tự động từ hai hàm trước đó,
miễn là đối tượng có chức năng
state_dictvàload_state_dict. Điều này có thể bao gồm các đối tượng như trình lập lịch tốc độ học (learning rate scheduler).
Dưới đây là một ví dụ ngắn gọn sử dụng checkpointing để lưu và nạp lại trạng thái trong quá trình huấn luyện:
from accelerate import Accelerator
import torch
accelerator = Accelerator(project_dir="my/save/path")
my_scheduler = torch.optim.lr_scheduler.StepLR(my_optimizer, step_size=1, gamma=0.99)
my_model, my_optimizer, my_training_dataloader = accelerator.prepare(my_model, my_optimizer, my_training_dataloader)
# Register the LR scheduler
accelerator.register_for_checkpointing(my_scheduler)
# Save the starting state
accelerator.save_state()
device = accelerator.device
my_model.to(device)
# Perform training
for epoch in range(num_epochs):
for batch in my_training_dataloader:
my_optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = my_model(inputs)
loss = my_loss_function(outputs, targets)
accelerator.backward(loss)
my_optimizer.step()
my_scheduler.step()
# Restore the previous state
accelerator.load_state("my/save/path/checkpointing/checkpoint_0")Khôi phục trạng thái của DataLoader
Sau khi khôi phục từ một checkpoint, có thể cũng mong muốn khôi phục từ một điểm cụ thể trong DataLoader đang hoạt động nếu trạng thái được lưu trong giữa một epoch. Bạn có thể sử dụng skip_first_batches() để làm điều này.
from accelerate import Accelerator
accelerator = Accelerator(project_dir="my/save/path")
train_dataloader = accelerator.prepare(train_dataloader)
accelerator.load_state("my_state")
# Assume the checkpoint was saved 100 steps into the epoch
skipped_dataloader = accelerator.skip_first_batches(train_dataloader, 100)
# After the first iteration, go back to `train_dataloader`
# First epoch
for batch in skipped_dataloader:
# Do something
pass
# Second epoch
for batch in train_dataloader:
# Do something
pass