PEFT documentation
LoKr
LoKr

Low-Rank Kronecker Product (LoKr) adalah metode varian LoRA yang mengaproksimasi matriks bobot besar dengan dua matriks ber-rank rendah dan menggabungkannya menggunakan Kronecker product. LoKr juga menyediakan matriks ber-rank rendah ketiga yang opsional untuk memberikan kontrol yang lebih baik selama fine-tuning. Dengan mengekspresikan matriks pembaruan bobot sebagai dekomposisi dari Kronecker product, yang membentuk matriks blok, LoKr mampu mempertahankan rank dari matriks bobot asli. Ukuran matriks-matriks yang lebih kecil ini ditentukan oleh rank atau r -nya. Manfaat lain dari Kronecker product adalah bahwa ia dapat divektorisasi dengan menumpuk kolom-kolom matriks. Hal ini dapat mempercepat proses karena Anda menghindari rekonstruksi penuh ∆W.
Abstrak dari makalah tersebut adalah:
Model generatif teks-ke-gambar telah menarik perhatian besar karena kemampuannya menghasilkan gambar berkeandalan tinggi dari prompt teks. Di antara model-model tersebut, Stable Diffusion menonjol sebagai model open-source terkemuka di bidang yang berkembang pesat ini. Namun, kompleksitas dalam fine-tuning model-model ini menimbulkan berbagai tantangan, mulai dari integrasi metodologi baru hingga evaluasi yang sistematis. Untuk mengatasi masalah-masalah ini, makalah ini memperkenalkan LyCORIS Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion, sebuah pustaka open-source yang menawarkan beragam metodologi fine-tuning untuk Stable Diffusion. Selain itu, kami menyajikan kerangka kerja yang komprehensif untuk penilaian sistematis terhadap berbagai teknik fine-tuning. Kerangka kerja ini menggunakan serangkaian metrik yang beragam dan menyelidiki berbagai aspek fine-tuning, termasuk penyesuaian hiperparameter dan evaluasi dengan berbagai jenis prompt di berbagai kategori konsep. Melalui pendekatan yang komprehensif ini, pekerjaan kami memberikan wawasan penting mengenai efek halus dari parameter fine-tuning, menjembatani kesenjangan antara penelitian terkini dan penerapan praktis.
Penggunaan
from peft import LoKrConfig, get_peft_model
config = LoKrConfig(
r=16,
alpha=16,
target_modules=["query", "value"],
module_dropout=0.1,
modules_to_save=["classifier"],
)
model = get_peft_model(model, config)
model.print_healthcheck()Ikhtisar benchmark
API
LoKrConfig
kelas peft.LoKrConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory>r: int = 8alpha: int = 8rank_dropout: float = 0.0module_dropout: float = 0.0use_effective_conv2d: bool = Falsedecompose_both: bool = Falsedecompose_factor: int = -1rank_dropout_scale: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Noneinit_weights: Union[bool, Literal['lycoris']] = Truelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = None )
Parameter
- r (
int) — Rank LoKr. - alpha (
int) — Parameter alpha untuk penskalaan LoKr. - rank_dropout (
float) — Probabilitas dropout untuk dimensi rank selama pelatihan. - module_dropout (
float) — Probabilitas dropout untuk menonaktifkan modul LoKr selama pelatihan. - use_effective_conv2d (
bool) — Gunakan parameter dekomposisi efektif untuk Conv2d (dan Conv1d) dengan ksize > 1 (“Proposition 3” dari paper FedPara). - decompose_both (
bool) — Lakukan dekomposisi rank pada matriks produk kronecker kiri. - decompose_factor (
int) — Faktor dekomposisi produk Kronecker. - rank_dropout_scale (‘bool) —
Apakah akan menskalakan rank dropout selama pelatihan, defaultnya
False. - target_modules (
Optional[Union[List[str], str]]) — Nama-nama modul yang akan diterapkan adapter-nya. Jika ini ditentukan, hanya modul dengan nama yang ditentukan yang akan diganti. Saat meneruskan string, pencocokan regex akan dilakukan. Saat meneruskan daftar string, pencocokan persis akan dilakukan atau diperiksa apakah nama modul diakhiri dengan salah satu string yang diteruskan. Jika ini ditentukan sebagai ‘all-linear’, maka semua modul linear/Conv1D akan dipilih, kecuali lapisan output. Jika ini tidak ditentukan, modul akan dipilih sesuai dengan arsitektur model. Jika arsitekturnya tidak diketahui, error akan dilempar — dalam hal ini, Anda harus menentukan modul target secara manual. - exclude_modules (
Optional[Union[List[str], str]]) — Nama-nama modul yang tidak akan diterapkan adapter. Saat melewatkan string, pencocokan regex akan dilakukan. Saat melewatkan daftar string, pencocokan persis akan dilakukan atau diperiksa apakah nama modul berakhiran dengan salah satu string yang dilewatkan. - init_weights (
bool) — Apakah akan melakukan inisialisasi bobot adapter. Nilai defaultnya adalahTrue. Gunakan “lycoris” untuk menginisialisasi bobot dengan gaya repositori LYCORIS. MengirimkanFalsetidak disarankan. - layers_to_transform (
Union[List[int], int]) — Indeks layer yang akan ditransformasi. Jika daftar int yang dilewatkan, adapter akan diterapkan pada indeks layer yang ditentukan dalam daftar ini. Jika satu integer yang dilewatkan, transformasi akan diterapkan pada layer di indeks ini. - layers_pattern (
Optional[Union[List[str], str]]) — Nama pola layer, hanya digunakan jikalayers_to_transformberbeda dariNone. Ini harus menargetkannn.ModuleListdari model, yang sering disebut'layers'atau'h'. - rank_pattern (
dict) — Pemetaan dari nama layer atau ekspresi regexp ke rank yang berbeda dari rank default yang ditentukan olehr. Sebagai contoh,{'^model.decoder.layers.0.encoder_attn.k_proj': 16}. - alpha_pattern (
dict) — Pemetaan dari nama layer atau ekspresi regexp ke alphas yang berbeda dari alpha default yang ditentukan olehalpha. Sebagai contoh,{'^model.decoder.layers.0.encoder_attn.k_proj': 16}. - modules_to_save (
Optional[List[str]]) — Daftar modul selain lapisan adapter yang akan diatur sebagai dapat dilatih dan disimpan dalam checkpoint akhir.
Kelas konfigurasi dari LoKrModel.
LoKrModel
kelas peft.LoKrModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
Parameter
- model (
torch.nn.Module) — Model tempat lapisan tuner adapter akan dilampirkan. - config (LoKrConfig) — Konfigurasi model LoKr.
- adapter_name (
str) — Nama adapter, secara default"default". - low_cpu_mem_usage (
bool,optional, defaults toFalse) — Membuat bobot adapter kosong pada perangkat meta. Berguna untuk mempercepat proses pemuatan.
Mengembalikan
torch.nn.Module
Model LoKr.
Membuat model Low-Rank Kronecker Product dari model pretrained. Metode aslinya dijelaskan sebagian di https://huggingface.co/papers/2108.06098 dan di https://huggingface.co/papers/2309.14859 Implementasi saat ini banyak meminjam dari https://github.com/KohakuBlueleaf/LyCORIS/blob/eb460098187f752a5d66406d3affade6f0a07ece/lycoris/modules/lokr.py
Contoh:
>>> from diffusers import StableDiffusionPipeline
>>> from peft import LoKrConfig, get_peft_model
>>> config_te = LoKrConfig(
... r=8,
... alpha=32,
... target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
... rank_dropout=0.0,
... module_dropout=0.0,
... init_weights=True,
... )
>>> config_unet = LoKrConfig(
... r=8,
... alpha=32,
... target_modules=[
... "proj_in",
... "proj_out",
... "to_k",
... "to_q",
... "to_v",
... "to_out.0",
... "ff.net.0.proj",
... "ff.net.2",
... ],
... rank_dropout=0.0,
... module_dropout=0.0,
... init_weights=True,
... use_effective_conv2d=True,
... )
>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)Atribut:
- model (
~torch.nn.Module) — Model yang akan diadaptasi. - peft_config (LoKrConfig): Konfigurasi model LoKr.