PEFT documentation
Métodos de ajuste fino eficientes en parámetros
Métodos de ajuste fino eficientes en parámetros
Los métodos PEFT entrenan el menor número posible de parámetros, buscando un rendimiento comparable al del ajuste fino completo. Al ser menos expresivos, no se garantiza el mismo rendimiento. A cambio, se utiliza menos memoria, a menudo menos cómputo, y se obtienen características como el intercambio rápido entre adaptadores de expertos y un menor olvido del conocimiento previo.
Dar consejos generales para entrenar modelos grandes es difícil, pero para los modelos generativos, especialmente los modelos de lenguaje, puedes seguir estos pasos:
- use prompting (por ejemplo, ejemplos few-shot en el prompt) para ver si el modelo ya es capaz de realizar la tarea. Si el modelo resuelve tu problema, ¡genial! Ahora puedes usar métodos basados en prompts para aprender el prompt y ahorrar tokens valiosos.
- Si los métodos basados en prompts no son suficientes, puede utilizar ajuste por capas y métodos de adaptadores. Estos métodos son generalmente más expresivos que los basados en prompts y se acercan más al ajuste completo.
- Asegúrate de medir la retención del conocimiento ya aprendido, ya que cada paso de ajuste fino puede provocar el olvido de conocimientos previos.
La suite de comparación de métodos PEFT tiene como objetivo ofrecer una visión general de la mayoría de los métodos implementados en benchmarks y modelos seleccionados.
No todos los métodos de PEFT son iguales y existen diferencias entre sus capacidades:
- Cuantización: no todos los métodos admiten modelos base cuantizados
- Características: no todas las características son compatibles con todos los métodos (p. ej., múltiples adaptadores, inferencia con adaptadores mixtos, fusión/desfusión)
- Tipos de capas: las capas lineales están generalmente soportadas, pero no todos los métodos de adaptador admiten capas de incrustación (importante para extender el vocabulario) ni capas convolucionales (importante para algunos modelos de imagen).
- Tiempo de ejecución: los métodos de PEFT generalmente añaden una sobrecarga de tiempo de ejecución, pero parte de ella puede mitigarse (p. ej., fusionando los pesos del adaptador)
Métodos basados en prompts
El prompting prepara un modelo preentrenado congelado para una tarea específica de bajo nivel mediante la inclusión de un texto de prompt que describe la tarea o incluso demuestra un ejemplo de la misma. Con el prompting, puedes evitar entrenar por completo un modelo separado para cada tarea de bajo nivel y, en su lugar, utilizar el mismo modelo preentrenado congelado. Esto es mucho más sencillo, ya que puedes usar el mismo modelo para varias tareas diferentes, y es significativamente más eficiente entrenar y almacenar un conjunto más pequeño de parámetros de prompt que entrenar todos los parámetros del modelo.
Existen dos categorías de métodos de prompting:
- los prompts duros son prompts de texto creados manualmente con tokens de entrada discretos; la desventaja es que requiere mucho esfuerzo crear un buen prompt
- los *soft prompts* son tensores aprendibles que se concatenan con las incrustaciones de entrada y que pueden optimizarse para un conjunto de datos; la desventaja es que no son legibles para humanos, ya que no se corresponden con las incrustaciones de una palabra real
La biblioteca PEFT admite varios tipos de métodos de prompting (p-tuning, prefix tuning, prompt tuning, …); consulte el índice para obtener una lista completa de los métodos de soft prompt. Si le interesa aplicar estos métodos a otras tareas y casos de uso, ¡eche un vistazo a nuestra colección de notebooks!
Tener cierto conocimiento del proceso general de entrenamiento de un modelo de lenguaje causal sería muy útil y te permitiría centrarte en los métodos de soft prompting. Si eres nuevo en el tema, te recomendamos que primero eches un vistazo a la guía de Causal language modeling en la documentación de Transformers. Cuando estés listo, vuelve y comprueba lo fácil que es integrar PEFT en tu entrenamiento.
Ajuste por capas
Layer Tuning agrupa los métodos que se dirigen específicamente a un tipo de capa o a un aspecto concreto de una capa; por ejemplo, LayerNorm Tuning solo afecta a las capas LayerNorm y TrainableTokens solo afecta a tokens específicos en la matriz de embeddings. Esto contrasta con los métodos basados en prompts, que trabajan con la entrada del modelo, o con los métodos de adaptadores, que extienden los pesos existentes y son generalmente más independientes del tipo de capa, dirigiéndose a capas lineales o convolucionales.
Métodos de adaptador
Los métodos de adaptador pueden verse como formas de añadir matrices relativamente pequeñas y entrenables a modelos existentes para el ajuste fino. El objetivo es introducir pocos parámetros entrenables para orientar el modelo grande hacia la tarea que requiere ajuste fino, ahorrando recursos, como memoria o capacidad de cálculo.
Una forma popular de implementar adaptadores es insertar matrices entrenables más pequeñas que son una descomposición de rango bajo de la disposición del peso adaptado, para ahorrar memoria. Existen varias formas diferentes de expresar la matriz de pesos como una descomposición de rango bajo, pero Low-Rank Adaptation (LoRA) es el método más común. La biblioteca PEFT admite varias otras variaciones de esta formulación: algunas son variantes directas de LoRA y están documentadas bajo LoRA, mientras que otras son lo suficientemente diferentes como para considerarse métodos propios, como Low-Rank Hadamard Product (LoHa), Low-Rank Kronecker Product (LoKr) y Adaptive Low-Rank Adaptation (AdaLoRA). Si te interesa aplicar estos métodos a otras tareas y casos de uso, como la segmentación semántica o la clasificación de tokens, ¡echa un vistazo a nuestra colección de notebooks!
LoRA es uno de los métodos PEFT más populares y un buen punto de partida si apenas estás comenzando con PEFT. Originalmente se desarrolló para modelos de lenguaje de gran escala, pero es un método de entrenamiento enormemente popular para modelos de difusión debido a su eficiencia y eficacia.
Los adaptadores de bajo rango son solo una de las posibles formulaciones de adaptadores; PEFT implementa muchos otros tipos de adaptadores. Por ejemplo, los métodos de Fine-Tuning Ortogonal (OFT, BOFT, …) utilizan descomposiciones ortogonales de los pesos del adaptador para lograr un tamaño reducido. Métodos como MiSS dividen las matrices en fragmentos y comparten estos fragmentos para ahorrar memoria. IA3 introduce vectores aprendidos que reescalan las activaciones de clave, valor y feed-forward.
Update on GitHub