PEFT documentation

Polytropon

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Polytropon

Polytropon, “envanterinde” çeşitli farklı LoRA adaptörleri bulunan çok görevli bir modeldir. Model, belirli bir görev için en iyi modül alt kümesini seçmek üzere envanterdeki adaptörlerin doğru kombinasyonunu, bir yönlendirme işlevi aracılığıyla öğrenir. PEFT, Polytropon için Multi-Head Adapter Routing (MHR)’i de destekler; bu yöntem, adaptör başlarını daha ince bir şekilde birleştirerek yönlendirme işlevini geliştirir ve üzerine inşa eder. Adaptör başları ayrık bloklara ayrılmış olup her biri için farklı bir yönlendirme işlevi öğrenilir; bu da daha fazla ifade gücü sağlar.

Çok Görevli Öğrenmede Modüler Becerilerin Birleştirilmesi
Görevler Arası Genelgeleştirmede Çok Başlı Adaptör Yönlendirme

Makalenin özeti şudur:

Modüler bir tasarım, sinirsel modellerin bilgiyi farklı boyutlarına ayırıp yeniden birleştirmesini ve yeni görevlere daha sistematik bir şekilde genelleme yapmasını teşvik eder. Bu çalışmada, her görevin (potansiyel olarak küçük) bir envanterdeki gizli ayrık becerilerin bir alt kümesiyle ilişkili olduğunu varsayıyoruz. Buna karşılık, beceriler parametrik olarak verimli (seyrek / düşük rütbeli) model parametrisasyonlarına karşılık gelir. Bu parametrisasyonları ve bir görev-beceri atama matrisini birlikte öğrenerek, her görev için ağ, aktif becerilerin parametrelerinin ortalaması olarak örneklenir. Becerilerin görevler arasında anlamlı olmayan yumuşak bölünmelerini teşvik etmek için, Hint Büfe Süreci (Indian Buffet Process) önceli ve iki kademeli öğrenme oranı gibi bir dizi indüktif önyargı üzerinde deneyler yapıyoruz. Gizli beceri modelimizi iki ana ayar üzerinde değerlendiriyoruz: 1) BabyAI platformunun 8 seviyesinde temellendirilmiş talimat takibi için çoklu görev pekiştirmeli öğrenme; ve 2) CrossFit, 160 NLP görevinden oluşan bir referans noktası üzerinde, önceden eğitilmiş metinden-metne üretici modellerin az örnekli uyarlama. Tamamen paylaşılan, görev özelinde veya koşullu olarak üretilen parametrelere sahip ve bilgi görevler arasında iç içe geçmiş olan taban çizgilerine kıyasla, ağın modüler tasarımının pekiştirmeli öğrenmede örnek verimliliğini ve denetimli öğrenmede az örnekli genellemeyi önemli ölçüde artırdığını buluyoruz. Ayrıca, görevlerin açık bir hiyerarşisini sağladığı için ayrık becerilerin yorumlanabilirliğe nasıl yardımcı olduğunu gösteriyoruz.

Önce eğitim yapmadan yönlendirmeyi denemek isterseniz, Arrow LoRA varyantını inceleyebilirsiniz.

API

PolyConfig

sınıf peft.PolyConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 8target_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = Noneinit_weights: bool = Truepoly_type: Literal['poly'] = 'poly'n_tasks: int = 1n_skills: int = 4n_splits: int = 1 )

Parametreler

  • r (int) — Poly'deki her Lora'nın dikkat boyutu.
  • target_modules (Union[List[str],str]) — Poly'nin uygulanacağı modüllerin adları.
  • exclude_modules (Optional[Union[List[str], str]]) — Uyarlamanın (adapter) uygulanmaması istenen modüllerin adları. Bir dize geçirildiğinde, bir regex eşleşmesi yapılır. Bir dize listesi geçirildiğinde, tam bir eşleşme yapılır veya modül adının, geçirilen dizelerden herhangi biriyle sonlanıp sonlanmadığı kontrol edilir.
  • modules_to_save (List[str]) — Poly katmanları dışında, eğitilebilir olarak ayarlanacak ve nihai checkpoint'te kaydedilecek modüllerin listesi
  • init_weights (bool) — Poly ağırlıklarının başlatılmasının yapılıp yapılmayacağını belirtir.
  • poly_type (Literal["poly"]) — Kullanılacak Poly modülü varyantı. Şu anda yalnızca “poly” desteklenmektedir.
  • n_tasks (int) — Çoklu görev senaryosundaki görev sayısı.
  • n_skills (int) — Her Poly katmanındaki beceri (LoRA) sayısı.
  • n_splits (int) — Bir Poly katmanındaki her LoRA içindeki bölme sayısı. 1'den büyük bir değer, Multi-Head Routing (MHR) kullanımını gösterir.

Bu, bir PolyModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır.

PolyModel

sınıf peft.PolyModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

Update on GitHub