PEFT documentation
Polytropon
Polytropon
Polytropon, “envanterinde” çeşitli farklı LoRA adaptörleri bulunan çok görevli bir modeldir. Model, belirli bir görev için en iyi modül alt kümesini seçmek üzere envanterdeki adaptörlerin doğru kombinasyonunu, bir yönlendirme işlevi aracılığıyla öğrenir. PEFT, Polytropon için Multi-Head Adapter Routing (MHR)’i de destekler; bu yöntem, adaptör başlarını daha ince bir şekilde birleştirerek yönlendirme işlevini geliştirir ve üzerine inşa eder. Adaptör başları ayrık bloklara ayrılmış olup her biri için farklı bir yönlendirme işlevi öğrenilir; bu da daha fazla ifade gücü sağlar.
Makalenin özeti şudur:
Modüler bir tasarım, sinirsel modellerin bilgiyi farklı boyutlarına ayırıp yeniden birleştirmesini ve yeni görevlere daha sistematik bir şekilde genelleme yapmasını teşvik eder. Bu çalışmada, her görevin (potansiyel olarak küçük) bir envanterdeki gizli ayrık becerilerin bir alt kümesiyle ilişkili olduğunu varsayıyoruz. Buna karşılık, beceriler parametrik olarak verimli (seyrek / düşük rütbeli) model parametrisasyonlarına karşılık gelir. Bu parametrisasyonları ve bir görev-beceri atama matrisini birlikte öğrenerek, her görev için ağ, aktif becerilerin parametrelerinin ortalaması olarak örneklenir. Becerilerin görevler arasında anlamlı olmayan yumuşak bölünmelerini teşvik etmek için, Hint Büfe Süreci (Indian Buffet Process) önceli ve iki kademeli öğrenme oranı gibi bir dizi indüktif önyargı üzerinde deneyler yapıyoruz. Gizli beceri modelimizi iki ana ayar üzerinde değerlendiriyoruz: 1) BabyAI platformunun 8 seviyesinde temellendirilmiş talimat takibi için çoklu görev pekiştirmeli öğrenme; ve 2) CrossFit, 160 NLP görevinden oluşan bir referans noktası üzerinde, önceden eğitilmiş metinden-metne üretici modellerin az örnekli uyarlama. Tamamen paylaşılan, görev özelinde veya koşullu olarak üretilen parametrelere sahip ve bilgi görevler arasında iç içe geçmiş olan taban çizgilerine kıyasla, ağın modüler tasarımının pekiştirmeli öğrenmede örnek verimliliğini ve denetimli öğrenmede az örnekli genellemeyi önemli ölçüde artırdığını buluyoruz. Ayrıca, görevlerin açık bir hiyerarşisini sağladığı için ayrık becerilerin yorumlanabilirliğe nasıl yardımcı olduğunu gösteriyoruz.
Makalenin özeti şudur:
Görevler arası genelleme için parametre-verimli ince ayar (PEFT), test görevlerine az örnekli uyarlama yapılmadan önce, çok görevli bir eğitim kümesinde ön-eğitim adaptörleri oluşturmayı içerir. Polytropon [Ponti et al., 2023] (Poly), hem ön-eğitim hem de az örnekli uyarlama sırasında her görev için bir (değişken boyutlu) adaptör alt kümesini seçen bir adaptör envanteri ve bir yönlendirme fonksiyonunu birlikte öğrenir. Bu makalede, yönlendirmenin başarısındaki rolünü inceliyor ve bulgularımıza dayalı yeni varyantlar tasarlıyoruz. Öncelikle, daha ince taneli yönlendirmenin daha fazla ifade gücü sağladığı sezgiseline dayanıyoruz. Bu nedenle, adaptör parametrelerinin alt kümelerini birleştiren ve karşılaştırılabilir bir parametre bütçesi altında Poly'den daha iyi performans gösteren MHR'yi (Multi-Head Routing) öneriyoruz; yalnızca yönlendirme fonksiyonunu ince ayarlayıp adaptörleri ince ayarlamayarak (MHR-z), aşırı parametre verimliliğiyle rekabetçi performans elde ediyoruz. İkinci olarak, Poly/MHR performansının, daha önce varsayıldığı gibi adaptör yeniden birleştirmesini ve yerel uyarlama kolaylaştıran modüler indüktif önyargılardan ziyade, daha iyi çok görevli optimizasyonun bir sonucu olduğunu buluyoruz. Gerçekte, MHR'nin diğer tüm yöntemlerden daha yüksek görevler arası gradyan hizalaması sergilediğini buluyoruz. Bunun, yönlendirmenin yalnızca çok görevli ön-eğitim sırasında kritik olduğu anlamına geldiğinden, az örnekli uyarlama sırasında yönlendirmeyi ortadan kaldıran ve ön-eğitimli adaptörlerin ortalamasını ince ayarlayan MHR-mu'yu öneriyoruz. Bu, MHR-mu'yu tek adaptör ince ayarı için etkili bir yöntem olarak konumlandırır..
Önce eğitim yapmadan yönlendirmeyi denemek isterseniz, Arrow LoRA varyantını inceleyebilirsiniz.
API
PolyConfig
sınıf peft.PolyConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 8target_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = Noneinit_weights: bool = Truepoly_type: Literal['poly'] = 'poly'n_tasks: int = 1n_skills: int = 4n_splits: int = 1 )
Parametreler
- r (
int) — Poly'deki her Lora'nın dikkat boyutu. - target_modules (
Union[List[str],str]) — Poly'nin uygulanacağı modüllerin adları. - exclude_modules (
Optional[Union[List[str], str]]) — Uyarlamanın (adapter) uygulanmaması istenen modüllerin adları. Bir dize geçirildiğinde, bir regex eşleşmesi yapılır. Bir dize listesi geçirildiğinde, tam bir eşleşme yapılır veya modül adının, geçirilen dizelerden herhangi biriyle sonlanıp sonlanmadığı kontrol edilir. - modules_to_save (
List[str]) — Poly katmanları dışında, eğitilebilir olarak ayarlanacak ve nihai checkpoint'te kaydedilecek modüllerin listesi - init_weights (bool) — Poly ağırlıklarının başlatılmasının yapılıp yapılmayacağını belirtir.
- poly_type (
Literal["poly"]) — Kullanılacak Poly modülü varyantı. Şu anda yalnızca “poly” desteklenmektedir. - n_tasks (
int) — Çoklu görev senaryosundaki görev sayısı. - n_skills (
int) — Her Poly katmanındaki beceri (LoRA) sayısı. - n_splits (
int) — Bir Poly katmanındaki her LoRA içindeki bölme sayısı. 1'den büyük bir değer, Multi-Head Routing (MHR) kullanımını gösterir.
Bu, bir PolyModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır.
PolyModel
sınıf peft.PolyModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )