Este modelo se publicó en HF papers el 25-06-2021 y se contribuyó a Hugging Face Transformers el 13-03-2024.

Pyramid Vision Transformer V2 (PVTv2)

Resumen

El modelo PVTv2 se propuso en PVT v2: Improved Baselines with Pyramid Vision Transformer de Wenhai Wang, Enze Xie, Xiang Li, Deng-Ping Fan, Kaitao Song, Ding Liang, Tong Lu, Ping Luo y Ling Shao. Como una variante mejorada de PVT, evita los embeddings de posición, apoyándose en cambio en la información posicional codificada mediante relleno con ceros y embeddings de parches superpuestos. Esta falta de dependencia de los embeddings de posición simplifica la arquitectura y permite ejecutar la inferencia a cualquier resolución sin necesidad de interpolarlos.

La estructura del codificador PVTv2 se ha implementado con éxito para lograr puntuaciones de vanguardia en Segformer para segmentación semántica, GLPN para profundidad monocular y Panoptic Segformer para segmentación panóptica.

PVTv2 pertenece a una familia de modelos denominados transformers jerárquicos, que realizan adaptaciones en las capas de transformer para generar mapas de características multiescala. A diferencia de la estructura columnal de Vision Transformer (ViT), que pierde el detalle fino, los mapas de características multiescala se conocen por preservar este detalle y mejorar el rendimiento en tareas de predicción densa. En el caso de PVTv2, esto se logra generando tokens de parches de imagen mediante convolución 2D con núcleos superpuestos en cada capa del codificador.

Las características multiescala de los transformers jerárquicos permiten reemplazarlos fácilmente por los modelos de backbone de visión por computadora tradicionales, como ResNet, en arquitecturas más grandes. Tanto Segformer como Panoptic Segformer demostraron que las configuraciones que utilizan PVTv2 como backbone superaron consistentemente a las que emplean backbones de ResNet de tamaño similar.

Otra característica potente de PVTv2 es la reducción de la complejidad en las capas de autoatención, denominada Spatial Reduction Attention (SRA), que utiliza capas de convolución 2D para proyectar los estados ocultos a una resolución más pequeña antes de aplicarles las consultas, mejorando la $O(n^2)$ complejidad de la autoatención a $O(n^2/R)$, donde $R$ es la proporción de reducción espacial (sr_ratio, también conocida como tamaño del kernel y stride en la convolución 2D).

SRA se introdujo en PVT y es el método de reducción de la complejidad de la atención predeterminado utilizado en PVTv2. Sin embargo, PVTv2 también introdujo la opción de utilizar un mecanismo de autoatención con complejidad lineal relacionada con el tamaño de la imagen, al que llamaron “Linear SRA”. Este método utiliza el promedio de agrupación (average pooling) para reducir los estados ocultos a un tamaño fijo que es invariante a su resolución original (aunque esto es inherentemente más pérdida que el SRA regular). Esta opción se puede habilitar estableciendo linear_attention en True en PVTv2Config.

Resumen del artículo

Recientemente, los Transformers han mostrado avances prometedores en visión por computadora. En este trabajo, presentamos nuevas líneas base mejorando el Pyramid Vision Transformer original (PVT v1) mediante la adición de tres diseños, que incluyen (1) una capa de atención de complejidad lineal, (2) incrustación de parches superpuestos y (3) una red feed-forward convolucional. Con estas modificaciones, PVT v2 reduce la complejidad computacional de PVT v1 a lineal y logra mejoras significativas en tareas fundamentales de visión, como clasificación, detección y segmentación. Cabe destacar que el PVT v2 propuesto logra un rendimiento comparable o superior al de trabajos recientes como Swin Transformer. Esperamos que este trabajo facilite la investigación de vanguardia en Transformers para visión por computadora. El código está disponible en https://github.com/whai362/PVT.

Este modelo fue aportado por FoamoftheSea. El código original se puede encontrar aquí.

Consejos de uso

• PVTv2 es un modelo transformer jerárquico que ha demostrado un rendimiento potente en la clasificación de imágenes y en otras múltiples tareas, y se utiliza como columna vertebral para la segmentación semántica en Segformer, la estimación de profundidad monocular en GLPN y la segmentación panóptica en Panoptic Segformer, mostrando de forma consistente un rendimiento superior al de configuraciones similares de ResNet.

• Los transformers jerárquicos como PVTv2 logran una eficiencia superior en datos y parámetros con datos de imagen en comparación con las arquitecturas puramente transformer, al incorporar elementos de diseño de las redes neuronales convolucionales (CNN) en sus codificadores. Esto crea una arquitectura que combina lo mejor de ambos mundos, infundiendo en la red los sesgos inductivos útiles de las CNN, como la equivalencia a la traslación y la localidad, mientras se aprovechan los beneficios de la respuesta dinámica a los datos y la modelización de relaciones globales proporcionados por el mecanismo de autoatención de los transformers.

• PVTv2 utiliza embeddings de parches superpuestos para crear mapas de características multiescala, que se enriquecen con información de ubicación mediante relleno con ceros y convoluciones por profundidad.

• Para reducir la complejidad en las capas de atención, PVTv2 realiza una reducción espacial en los estados ocultos mediante una convolución 2D con paso (SRA) o un promedio de tamaño fijo (Linear SRA). Aunque es inherentemente más pérdida, Linear SRA ofrece un rendimiento impresionante con una complejidad lineal con respecto al tamaño de la imagen. Para usar Linear SRA en las capas de autoatención, establezca linear_attention=True en PvtV2Config.

• PvtV2Model es el codificador jerárquico de transformadores (también conocido frecuentemente como Mix Transformer o MiT en la literatura). PvtV2ForImageClassification añade una cabeza de clasificador simple en la parte superior para realizar clasificación de imágenes. PvtV2Backbone se puede utilizar con el sistema AutoBackbone en arquitecturas más grandes como Deformable DETR.

• Los pesos preentrenados en ImageNet para todos los tamaños de modelo se pueden encontrar en el hub.

  La mejor manera de empezar con PVTv2 es cargar el punto de control preentrenado con el tamaño que elijas usando AutoModelForImageClassification:

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForImageClassification


model = AutoModelForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0", device_map="auto")
image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

Para usar PVTv2 como columna vertebral para arquitecturas más complejas como DeformableDETR, puede usar AutoBackbone (este modelo necesitaría ajuste fino, ya que está reemplazando la columna vertebral en el modelo preentrenado y se inicializa con pesos aleatorios):

import requests
import torch
from PIL import Image

from transformers import AutoConfig, AutoImageProcessor, AutoModelForObjectDetection


model = AutoModelForObjectDetection.from_config(
    config=AutoConfig.from_pretrained(
        "SenseTime/deformable-detr",
        backbone_config=AutoConfig.from_pretrained("OpenGVLab/pvt_v2_b5"),
    ),
)

image_processor = AutoImageProcessor.from_pretrained("SenseTime/deformable-detr")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

Rendimiento de PVTv2 en ImageNet-1K según el tamaño del modelo (B0-B5):

PvtV2Config

>>> from transformers import PvtV2Model, PvtV2Config

>>> # Initializing a pvt_v2_b0 style configuration
>>> configuration = PvtV2Config()

>>> # Initializing a model from the OpenGVLab/pvt_v2_b0 style configuration
>>> model = PvtV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PvtForImageClassification

>>> from transformers import AutoImageProcessor, PvtV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
>>> model = PvtV2ForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

PvtModel