PEFT documentation

Configurações e modelos de PEFT

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Configurações e modelos de PEFT

O tamanho considerável dos grandes modelos pré-treinados de hoje — que comumente possuem bilhões de parâmetros — apresenta um desafio significativo de treinamento, pois exigem mais espaço de armazenamento e mais poder computacional para processar todos esses cálculos. Você precisará de acesso a GPUs ou TPUs potentes para treinar esses grandes modelos pré-treinados, o que é caro, não amplamente acessível a todos, não ecologicamente sustentável e não muito prático. Os métodos PEFT abordam muitos desses desafios. Existem vários tipos de métodos PEFT (soft prompting, decomposição de matrizes, adaptadores), mas todos se concentram na mesma coisa: reduzir o número de parâmetros treináveis. Isso torna mais acessível treinar e armazenar grandes modelos em hardware de consumo.

A biblioteca PEFT foi projetada para ajudar você a treinar rapidamente modelos grandes em GPUs gratuitas ou de baixo custo, e neste tutorial, você aprenderá como configurar uma configuração para aplicar um método PEFT a um modelo base pré-treinado para treinamento. Uma vez que a configuração PEFT esteja configurada, você pode usar qualquer framework de treinamento que preferir (a classe Trainer do Transformers, Accelerate, um loop de treinamento personalizado do PyTorch).

Configurações do PEFT

Saiba mais sobre os parâmetros que você pode configurar para cada método PEFT na página de referência da API correspondente.

Uma configuração armazena parâmetros importantes que especificam como um determinado método PEFT deve ser aplicado.

Por exemplo, veja a seguinte LoraConfig para aplicar LoRA e a PromptEncoderConfig para aplicar p-tuning (esses arquivos de configuração já estão serializados em JSON). Sempre que você carrega um adaptador PEFT, é uma boa ideia verificar se há um arquivo adapter_config.json associado, que é obrigatório.

LoraConfig
PromptEncoderConfig
{
  "base_model_name_or_path": "facebook/opt-350m", #base model to apply LoRA to
  "bias": "none",
  "fan_in_fan_out": false,
  "inference_mode": true,
  "init_lora_weights": true,
  "layers_pattern": null,
  "layers_to_transform": null,
  "lora_alpha": 32,
  "lora_dropout": 0.05,
  "modules_to_save": null,
  "peft_type": "LORA", #PEFT method type
  "r": 16,
  "revision": null,
  "target_modules": [
    "q_proj", #model modules to apply LoRA to (query and value projection layers)
    "v_proj"
  ],
  "task_type": "CAUSAL_LM" #type of task to train model on
}

Você pode criar sua própria configuração para treinamento inicializando um LoraConfig.

from peft import LoraConfig, TaskType

lora_config = LoraConfig(
    r=16,
    target_modules=["q_proj", "v_proj"],
    task_type=TaskType.CAUSAL_LM,
    lora_alpha=32,
    lora_dropout=0.05
)

Modelos PEFT

Com uma configuração PEFT em mãos, você pode aplicá-la a qualquer modelo pré-treinado para criar um PeftModel. Escolha entre qualquer um dos modelos de última geração da biblioteca Transformers, um modelo personalizado e até mesmo novas arquiteturas de transformers não suportadas.

Para este tutorial, carregue um modelo base facebook/opt-350m para fazer o ajuste fino.

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("facebook/opt-350m")

Use a função get_peft_model() para criar um PeftModel a partir do modelo base facebook/opt-350m e do lora_config que você criou anteriormente.

from peft import get_peft_model

lora_model = get_peft_model(model, lora_config)
lora_model.print_healthcheck()

Ao chamar get_peft_model(), o modelo base será modificado in-place. Isso significa que, ao chamar get_peft_model() em um modelo que já foi modificado da mesma forma anteriormente, esse modelo será ainda mais alterado. Portanto, se você deseja modificar sua configuração PEFT após ter chamado get_peft_model() antes, primeiro é necessário descarregar o modelo com unload() e, em seguida, chamar get_peft_model() com sua nova configuração. Alternativamente, você pode reinitializar o modelo para garantir um estado novo e não modificado antes de aplicar uma nova configuração PEFT.

Agora você pode treinar o PeftModel com o framework de treinamento de sua preferência! Após o treinamento, você pode salvar seu modelo localmente com save_pretrained() ou enviá-lo para o Hub com o método push_to_hub.

# save locally
lora_model.save_pretrained("your-name/opt-350m-lora")

# push to Hub
lora_model.push_to_hub("your-name/opt-350m-lora")

Para carregar um PeftModel para inferência, você precisará fornecer o PeftConfig usado para criá-lo e o modelo base do qual ele foi treinado.

from peft import PeftModel, PeftConfig

config = PeftConfig.from_pretrained("ybelkada/opt-350m-lora")
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path)
lora_model = PeftModel.from_pretrained(model, "ybelkada/opt-350m-lora")

Por padrão, o PeftModel é configurado para inferência, mas, se você quiser treinar o adaptador um pouco mais, pode definir is_trainable=True.

lora_model = PeftModel.from_pretrained(model, "ybelkada/opt-350m-lora", is_trainable=True)

O método PeftModel.from_pretrained() é a maneira mais flexível de carregar um PeftModel, pois não importa qual framework de modelo foi usado (Transformers, timm, um modelo PyTorch genérico). Outras classes, como AutoPeftModel, são apenas um wrapper conveniente em torno do PeftModel base, e facilitam o carregamento de modelos PEFT diretamente do Hub ou localmente, onde os pesos PEFT estão armazenados.

from peft import AutoPeftModelForCausalLM

lora_model = AutoPeftModelForCausalLM.from_pretrained("ybelkada/opt-350m-lora")

Dê uma olhada na referência da API AutoPeftModel para saber mais sobre as classes AutoPeftModel.

Próximas etapas

Com a configuração PeftConfig adequada, você pode aplicá-la a qualquer modelo pré-treinado para criar um PeftModel e treinar modelos grandes e poderosos mais rapidamente em GPUs de livre disponibilidade! Para saber mais sobre configurações e modelos PEFT, o guia a seguir pode ser útil:

Update on GitHub