PEFT documentation

Adaptasi Rank Rendah Terdekomposisi Bobot (DoRA)

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Adaptasi Rank Rendah Terdekomposisi Bobot (DoRA)

Ini adalah varian dari LoRA, sehingga semua yang mungkin dilakukan dengan LoRA berlaku untuk metode ini kecuali dinyatakan lain di halaman ini.

Teknik ini menguraikan pembaruan bobot menjadi dua bagian, yaitu magnitudo dan arah. Arah ditangani oleh LoRA normal, sedangkan magnitudo ditangani oleh parameter yang dapat dipelajari secara terpisah. Hal ini dapat meningkatkan kinerja LoRA, terutama pada rank rendah. Untuk informasi lebih lanjut tentang DoRA, lihat https://huggingface.co/papers/2402.09353.

from peft import LoraConfig

config = LoraConfig(use_dora=True, ...)

Jika sebagian dari model atau adapter DoRA di-offload ke CPU, Anda dapat memperoleh peningkatan kecepatan yang signifikan dengan mengorbankan sedikit overhead VRAM sementara (ephemeral) dengan menggunakan ephemeral_gpu_offload=True di config.runtime_config.

from peft import LoraConfig, LoraRuntimeConfig

config = LoraConfig(use_dora=True, runtime_config=LoraRuntimeConfig(ephemeral_gpu_offload=True), ...)

Sebuah PeftModel dengan adapter DoRA juga dapat dimuat dengan flag ephemeral_gpu_offload=True menggunakan metode from_pretrained maupun metode load_adapter.

from peft import PeftModel

model = PeftModel.from_pretrained(base_model, peft_model_id, ephemeral_gpu_offload=True)

Optimasi

DoRA dioptimalkan (menghitung lebih cepat dan menggunakan lebih sedikit memori) untuk model dalam mode evaluasi, atau ketika dropout diatur ke 0. Kami menggunakan kembali hasil dasar pada saat-saat tersebut untuk mendapatkan percepatan. Menjalankan dora finetuning dengan CUDA_VISIBLE_DEVICES=0 ZE_AFFINITY_MASK=0 time python examples/dora_finetuning/dora_finetuning.py --quantize --lora_dropout 0 --batch_size 16 --eval_step 2 --use_dora pada 4090 dengan gradient accumulation diatur ke 2 dan max step ke 20 menghasilkan observasi berikut:

Tanpa OptimasiDengan Optimasi
waktu runtime pelatihan (detik)359.7298279.2676
sampel pelatihan per detik1.7792.292
langkah pelatihan per detik0.0560.072

Selain itu, kinerja waktu eksekusi DoRA dapat ditingkatkan lebih lanjut dengan menggunakan konteks helper DoraCaching. Hal ini mengharuskan model berada dalam mode eval:

from peft.helpers import DoraCaching

model.eval()
with DoraCaching():
    output = model(inputs)

Untuk meta-llama/Llama-3.1-8B, skrip benchmark caching DoRA menunjukkan bahwa, dibandingkan dengan LoRA:

  • DoRA tanpa caching membutuhkan waktu 139% lebih lama
  • DoRA tanpa caching membutuhkan 4% lebih banyak memori
  • DoRA dengan caching membutuhkan waktu 17% lebih lama
  • DoRA dengan caching membutuhkan 41% lebih banyak memori

Dengan demikian, caching dapat membuat inferensi dengan DoRA jauh lebih cepat, tetapi juga membutuhkan memori yang jauh lebih besar. Idealnya, jika kasus penggunaan mengizinkan, cukup gabungkan adapter DoRA untuk menghindari overhead memori dan waktu eksekusi.

Catatan

  • Saat ini, DoRA hanya mendukung lapisan embedding, linear, dan Conv2d.
  • DoRA memperkenalkan overhead yang lebih besar daripada LoRA murni, sehingga disarankan untuk menggabungkan bobot untuk inferensi, lihat LoraModel.merge_and_unload().
  • DoRA seharusnya dapat bekerja dengan bobot yang dikuantisasi menggunakan bitsandbytes (“QDoRA”). Namun, masalah telah dilaporkan saat menggunakan QDoRA dengan DeepSpeed Zero2.
Update on GitHub