PEFT documentation
MonteCLoRA (Monte Carlo Low-Rank Adaptation)
MonteCLoRA (Monte Carlo Low-Rank Adaptation)
Đây là một biến thể của LoRA và do đó mọi thứ có thể thực hiện được với LoRA đều áp dụng cho phương pháp này, trừ khi có ghi chú khác trên trang này.
MonteCLoRA bọc một adapter LoRA tiêu chuẩn với một module biến phân nhỏ, lấy các mẫu Monte Carlo của các nhiễu ngẫu nhiên đặt lên ma trận A của LoRA trong quá trình huấn luyện. Cụ thể, nó học các tham số biến phân (một hiệp phương sai dựa trên Wishart, một số hạng nhiễu đa biến chuẩn cho từng mẫu, và một trọng số Dirichlet trên các mẫu) và cộng nhiễu trung bình kết quả vào lora_A ở mỗi lần truyền tiến. Một số hạng KL-divergence + entropy được thêm vào loss huấn luyện để neo các tham số biến phân này vào một tiên nghiệm hợp lý. Ở thời điểm suy luận, bộ lấy mẫu bị vô hiệu hóa và MonteCLoRA hoạt động giống hệt một adapter LoRA thông thường, do đó không có chi phí suy luận thêm hay tham số thêm để gộp. Để xem phương pháp đầy đủ, hãy xem https://huggingface.co/papers/2411.04358.
Bạn có thể cân nhắc sử dụng MonteCLoRA khi:
- Bạn đang tinh chỉnh trên một bộ dữ liệu nhỏ hoặc nhiễu và muốn có sự chuẩn hóa mạnh hơn so với LoRA thông thường. Việc trung bình Monte Carlo và số hạng KL cùng nhau đóng vai trò như một bộ chuẩn hóa theo phong cách Bayesian.
- Bạn muốn cải thiện hiệu chỉnh độ bất định / tính bền vững của adapter mà không phải trả thêm chi phí ở thời điểm suy luận (cơ chế biến phân chỉ dùng trong huấn luyện).
- LoRA thuần đang bị overfitting và việc giảm
rhoặc tănglora_dropoutlà chưa đủ.
Có thể bạn không cần MonteCLoRA khi bạn có một bộ dữ liệu lớn, sạch và vanilla LoRA đã huấn luyện ổn định — trong trường hợp đó, các tham số biến phân bổ sung chủ yếu chỉ làm tăng chi phí huấn luyện mà không mang lại nhiều lợi ích.
Để bật MonteCLoRA, hãy truyền một MontecloraConfig vào LoraConfig:
from peft import LoraConfig, MontecloraConfig
monteclora_config = MontecloraConfig(
num_samples=8, # number of Monte Carlo samples per forward pass
sample_scaler=1e-4, # magnitude of the variational perturbation
kl_loss_weight=1e-5, # weight of the KL term added to the training loss
)
config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=["q_proj", "v_proj"],
monteclora_config=monteclora_config,
)Trong quá trình huấn luyện, bạn phải cộng thêm tổn thất điều chỉnh biến phân vào tổn thất của tác vụ. Cách đơn giản nhất là gọi LoraModel._get_monteclora_loss() trên LoraModel cơ bản:
task_loss = ... # standard loss returned by your model
monteclora_loss = model._get_monteclora_loss() # 0.0 if MonteCLoRA is not used
total_loss = task_loss + monteclora_loss
total_loss.backward()Nếu bạn huấn luyện với Trainer của HF, bạn chỉ cần trộn peft.helpers.MontecloraTrainerMixin vào, thành phần này sẽ thực hiện việc đó cho bạn trong compute_loss:
from transformers import Trainer
from peft.helpers import MontecloraTrainerMixin
class MontecloraTrainer(MontecloraTrainerMixin, Trainer):
passMột ví dụ hoạt động hoàn chỉnh có sẵn tại examples/monteclora_finetuning.
API
MonteCloraConfig
lớp peft.MontecloraConfig
< source >( num_samples: int = 8use_entropy: bool = Falsedirichlet_prior: float = 0.1sample_scaler: float = 0.0001kl_loss_weight: float = 1e-05buffer_size: int = 150 )
Tham số
- num_samples (
int) — Số lượng mẫu Monte Carlo cần lấy cho mỗi lần truyền trực tiếp. Giá trị cao hơn thường cho phép huấn luyện mượt mà hơn và ước lượng độ bất định tốt hơn, nhưng làm tăng mức sử dụng tính toán và bộ nhớ. Hãy giảm giá trị này nếu quá trình huấn luyện quá chậm hoặc bị giới hạn về bộ nhớ; tăng giá trị này nếu huấn luyện ổn định và bạn muốn trung bình hóa Monte Carlo mạnh hơn. - use_entropy (
bool) — Có thêm một số hạng điều chỉnh entropy để giữ cho các trọng số Monte Carlo không bị thu gọn về một mẫu duy hay không. Bật tùy chọn này nếu bạn quan sát thấy trình lấy mẫu trở nên rất nhọn hoặc muốn điều chỉnh mạnh hơn; tắt nó đi để mô phỏng LoRA tiêu chuẩn sát hơn. - dirichlet_prior (
float) — Tham số concentration cho prior Dirichlet trên trọng số mẫu/chuyên gia. Giá trị lớn hơn sẽ đẩy các trọng số gần đều hơn (điều chuẩn hóa mạnh hơn, ít thưa hơn), trong khi các giá trị dương nhỏ hơn khuyến khích các trọng số thưa hơn, nhọn hơn. Tăng lên nếu trình lấy mẫu bị overfit; giảm xuống (nhưng giữ > 0) nếu nó quá bảo thủ. - sample_scaler (
float) — Hệ số tỷ lệ tổng thể cho các nhiễu được lấy mẫu áp dụng lên trọng số LoRA. Tăng giá trị này sẽ làm cho nhiễu Monte Carlo mạnh hơn (nhiều điều chỉnh và khám phá hơn, nhưng cũng gây bất ổn trong quá trình huấn luyện); giảm giá trị này sẽ đưa hành vi lại gần với LoRA tất định tiêu chuẩn. Đặt giá trị này rất gần 0 sẽ phần lớn vô hiệu hóa tác dụng của Monteclora. - kl_loss_weight (
float) — Trọng số của thành phần KL-divergence giữa phân phối biến thiên và tiên nghiệm của nó. Giá trị lớn hơn sẽ nhấn mạnh hơn vào việc khớp với tiên nghiệm (điều chuẩn hóa mạnh hơn, có thể dẫn đến underfitting); giá trị nhỏ hơn sẽ dựa nhiều hơn vào likelihood của dữ liệu (điều chuẩn hóa yếu hơn, có thể dẫn đến overfitting). Hãy điều chỉnh tham số này nếu bạn nhận thấy Monteclora đang điều chuẩn hóa quá mức hoặc không đủ cho adapter. - buffer_size (
int) — Kích thước của bộ đệm nội bộ được sử dụng bởi bộ lấy mẫu Monte Carlo (ví dụ: để lưu trữ các thống kê gần đây). Các giá trị lớn hơn có thể ổn định các tham số biến phân ước lượng được với chi phí là thêm bộ nhớ; hãy giảm giá trị này nếu bạn bị hạn chế về bộ nhớ.
Đây là lớp cấu hình con để lưu trữ cấu hình cho Monteclora (Monte Carlo Low-Rank Adaptation). Monteclora đưa suy luận biến thiên vào LoRA bằng cách thêm lấy mẫu Monte Carlo vào trọng số của adapter.
Trong thực tế, bạn có thể xem Monteclora như việc thêm các nhiễu ngẫu nhiên, được học, lên trên các trọng số LoRA để đạt được một adapter được hiệu chuẩn tốt hơn và được điều chuẩn tốt hơn. Các tham số dưới đây cho phép bạn đánh đổi giữa tính ổn định, cường độ điều chuẩn và chi phí tính toán.