Transformers documentation
DepthPro
Este modelo se publicó en HF papers el 2024-10-02 y se contribuyó a Hugging Face Transformers el 2025-02-10.
DepthPro
Resumen
El modelo DepthPro fue propuesto en Depth Pro: Sharp Monocular Metric Depth in Less Than a Second por Aleksei Bochkovskii, Amaël Delaunoy, Hugo Germain, Marcel Santos, Yichao Zhou, Stephan R. Richter, Vladlen Koltun.
DepthPro es un modelo de base para la estimación monocular métrica de profundidad en cero ejemplos, diseñado para generar mapas de profundidad de alta resolución con un notable nitidez y detalles finos. Emplea una arquitectura basada en un Vision Transformer (ViT) multiescala, en la que las imágenes se submuestrean, se dividen en parches y se procesan utilizando un codificador Dinov2 compartido. Las características a nivel de parche extraídas se fusionan, se remuestrean y se refinan utilizando una etapa de fusión similar a DPT, lo que permite una estimación precisa de la profundidad.
El resumen del artículo es el siguiente:
Presentamos un modelo de base para la estimación monocular de profundidad métrica en modo zero-shot. Nuestro modelo, Depth Pro, sintetiza mapas de profundidad de alta resolución con un nitidez sin precedentes y detalles de alta frecuencia. Las predicciones son métricas, con escala absoluta, sin depender de la disponibilidad de metadatos como las intrínsecas de la cámara. Y el modelo es rápido, generando un mapa de profundidad de 2,25 megapíxeles en 0,3 segundos en una GPU estándar. Estas características se habilitan gracias a una serie de contribuciones técnicas, que incluyen un transformer de visión multiescala eficiente para predicción densa, un protocolo de entrenamiento que combina conjuntos de datos reales y sintéticos para lograr una alta precisión métrica junto con un trazado fino de bordes, métricas de evaluación dedicadas para la precisión de bordes en los mapas de profundidad estimados y una estimación del largo focal de vanguardia a partir de una sola imagen. Experimentos extensos analizan decisiones de diseño específicas y demuestran que Depth Pro supera al trabajo previo en múltiples dimensiones.
DepthPro Outputs. Taken from the official code. Este modelo fue aportado por geetu040. El código original se puede encontrar aquí.
Consejos de uso
El modelo DepthPro procesa una imagen de entrada mediante un primer paso de reducción de escala en múltiples niveles y la división de cada versión escalada en parches. A continuación, estos parches se codifican utilizando un codificador de parches Dinov2 basado en un Vision Transformer (ViT) compartido, mientras que la imagen completa se procesa mediante un codificador de imagen separado. Las características de parche extraídas se fusionan en mapas de características, se interpolan y se combinan utilizando un decodificador similar a DPT para generar la estimación final de profundidad. Si está habilitado, un codificador adicional de Campo de Visión (FOV) procesa la imagen para estimar el campo de visión de la cámara, lo que contribuye a la precisión de la profundidad.
import requests
import torch
from PIL import Image
from transformers import DepthProForDepthEstimation, DepthProImageProcessor
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)
image_processor = DepthProImageProcessor.from_pretrained("apple/DepthPro-hf")
model = DepthProForDepthEstimation.from_pretrained("apple/DepthPro-hf", device_map="auto")
inputs = image_processor(images=image, return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model(**inputs)
post_processed_output = image_processor.post_process_depth_estimation(
outputs, target_sizes=[(image.height, image.width)],
)
field_of_view = post_processed_output[0]["field_of_view"]
focal_length = post_processed_output[0]["focal_length"]
depth = post_processed_output[0]["predicted_depth"]
depth = (depth - depth.min()) / depth.max()
depth = depth * 255.
depth = depth.detach().cpu().numpy()
depth = Image.fromarray(depth.astype("uint8"))Arquitectura y configuración
DepthPro architecture. Taken from the original paper. El modelo DepthProForDepthEstimation utiliza un DepthProEncoder para codificar la imagen de entrada y un FeatureFusionStage para fusionar las características de salida del codificador.
El DepthProEncoder utiliza además dos codificadores:
patch_encoder- La imagen de entrada se escala con múltiples proporciones, tal como se especifica en la configuración
scaled_images_ratios. - Cada imagen escalada se divide en patches más pequeños de tamaño
patch_sizecon áreas de solapamiento determinadas porscaled_images_overlap_ratios. - Estos parches son procesados por el
patch_encoder
- La imagen de entrada se escala con múltiples proporciones, tal como se especifica en la configuración
image_encoder- La imagen de entrada también se reescala a
patch_sizey se procesa medianteimage_encoder
- La imagen de entrada también se reescala a
Ambos codificadores se pueden configurar mediante patch_model_config y image_model_config, respectivamente, y ambos son instancias separadas de Dinov2Model de forma predeterminada.
Las salidas de ambos codificadores (last_hidden_state) y los estados intermedios seleccionados (hidden_states) de patch_encoder se fusionan mediante un FeatureFusionStage basado en DPT para la estimación de profundidad.
Predicción del campo de visión (FOV)
La red se complementa con una cabeza de estimación de distancia focal. Una pequeña cabeza convolucional ingiere características congeladas de la red de estimación de profundidad y características específicas de la tarea de un codificador de imágenes ViT separado para predecir el campo de visión angular horizontal.
El parámetro use_fov_model en DepthProConfig controla si la predicción de FOV está habilitada. De forma predeterminada, se establece en False para conservar memoria y cómputo. Cuando se habilita, el codificador de FOV se instancia en función del parámetro fov_model_config, que por defecto es un Dinov2Model. El parámetro use_fov_model también se puede pasar al inicializar el modelo DepthProForDepthEstimation.
El modelo preentrenado en el punto de control apple/DepthPro-hf utiliza el codificador FOV. Para usar el modelo preentrenado sin el codificador FOV, establezca use_fov_model=False al cargar el modelo, lo que ahorra cómputo.
from transformers import DepthProForDepthEstimation
model = DepthProForDepthEstimation.from_pretrained("apple/DepthPro-hf", use_fov_model=False, device_map="auto")Para instanciar un nuevo modelo con codificador FOV, establezca use_fov_model=True en la configuración.
from transformers import DepthProConfig, DepthProForDepthEstimation
config = DepthProConfig(use_fov_model=True)
model = DepthProForDepthEstimation(config)O establezca use_fov_model=True al inicializar el modelo, lo que anula el valor en la configuración.
from transformers import DepthProConfig, DepthProForDepthEstimation
config = DepthProConfig()
model = DepthProForDepthEstimation(config, use_fov_model=True)Uso de la atención de producto escalar de puntos (SDPA)
PyTorch incluye un operador nativo de atención de producto escalar (SDPA) como parte de torch.nn.functional. Esta función abarca varias implementaciones que pueden aplicarse según las entradas y el hardware en uso. Consulte la documentación oficial o la página de GPU Inference para obtener más información.
SDPA se utiliza de forma predeterminada para torch>=2.1.1 cuando hay una implementación disponible, pero también puede establecer attn_implementation="sdpa" en from_pretrained() para solicitar explícitamente el uso de SDPA.
from transformers import DepthProForDepthEstimation
model = DepthProForDepthEstimation.from_pretrained("apple/DepthPro-hf", attn_implementation="sdpa", device_map="auto")Para obtener las mejores mejoras de velocidad, recomendamos cargar el modelo en media precisión (por ejemplo, torch.float16 o torch.bfloat16).
En un benchmark local (A100-40GB, PyTorch 2.3.0, SO Ubuntu 22.04) con float32 y el modelo google/vit-base-patch16-224, observamos las siguientes aceleraciones durante la inferencia.
| Tamaño del lote | Tiempo medio de inferencia (ms), modo eager | Tiempo medio de inferencia (ms), modelo sdpa | Acelerar, Sdpa / Eager (x) |
|---|---|---|---|
| 1 | 7 | 6 | 1.17 |
| 2 | 8 | 6 | 1.33 |
| 4 | 8 | 6 | 1.33 |
| 8 | 8 | 6 | 1.33 |
Recursos
Una lista de recursos oficiales de Hugging Face y de la comunidad (indicados por 🌎) para ayudarte a empezar con DepthPro:
- Artículo de investigación: Depth Pro: Sharp Monocular Metric Depth in Less Than a Second
- Implementación oficial: apple/ml-depth-pro
- DepthPro Inference Notebook: DepthPro Inference
- DepthPro para superresolución y segmentación de imágenes
- Lee el blog en Medium: Depth Pro: Beyond Depth
- Código en Github: geetu040/depthpro-beyond-depth
Si te interesa enviar un recurso para que se incluya aquí, no dudes en abrir una Pull Request y lo revisaremos. Lo ideal es que el recurso demuestre algo nuevo en lugar de duplicar un recurso existente.
DepthProConfig
clase transformers.DepthProConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonefusion_hidden_size: int = 256patch_size: int | list[int] | tuple[int, int] = 384initializer_range: float = 0.02intermediate_hook_ids: list[int] | tuple[int, ...] = (11, 5)intermediate_feature_dims: list[int] | tuple[int, ...] = (256, 256)scaled_images_ratios: list[int | float] | tuple[int | float, ...] = (0.25, 0.5, 1)scaled_images_overlap_ratios: list[float] | tuple[float, ...] = (0.0, 0.5, 0.25)scaled_images_feature_dims: list[int] | tuple[int, ...] = (1024, 1024, 512)merge_padding_value: int = 3use_batch_norm_in_fusion_residual: bool = Falseuse_bias_in_fusion_residual: bool = Trueuse_fov_model: bool = Falsenum_fov_head_layers: int = 2image_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonepatch_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonefov_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None )
Parámetros
- fusion_hidden_size (
int, opcional, valor predeterminado 256) — El número de canales antes de la fusión. - patch_size (
Union[int, list[int], tuple[int, int]], opcional, valor predeterminado384) — El tamaño (resolución) de cada parche. - initializer_range (
float, opcional, valor predeterminado0.02) — La desviación estándar del truncated_normal_initializer para inicializar todas las matrices de pesos. - intermediate_hook_ids (
list[int], opcional, valor predeterminado[11, 5]) — Índices de los estados ocultos intermedios del codificador de parches que se usarán para la fusión. - intermediate_feature_dims (
list[int], opcional, valor predeterminado[256, 256]) — Dimensiones del estado oculto durante el remuestreo ascendente para cada estado oculto intermedio enintermediate_hook_ids. - scaled_images_ratios (
list[float], opcional, valor predeterminado[0.25, 0.5, 1]) — Proporciones de las imágenes escaladas que se utilizarán en el codificador de parches. - scaled_images_overlap_ratios (
list[float], opcional, valor predeterminado[0.0, 0.5, 0.25]) — Proporciones de solapamiento entre parches para cada imagen escalada enscaled_images_ratios. - scaled_images_feature_dims (
list[int], opcional, valor predeterminado[1024, 1024, 512]) — Dimensiones del estado oculto durante el muestreo ascendente para cada imagen escalada enscaled_images_ratios. - merge_padding_value (
int, opcional, valor predeterminado 3) — Al fusionar los parches más pequeños para devolverlos al tamaño de la imagen, se eliminan las secciones superpuestas de este tamaño. - use_batch_norm_in_fusion_residual (
bool, opcional, valor predeterminadoFalse) — Si se debe usar normalización por lotes en las unidades residuales pre-activación de los bloques de fusión. - use_bias_in_fusion_residual (
bool, opcional, valor predeterminadoTrue) — Si se debe usar sesgo en las unidades residuales de pre-activación de los bloques de fusión. - use_fov_model (
bool, opcional, valor predeterminadoFalse) — Si se debe usarDepthProFovModelpara generar el campo de visión. - num_fov_head_layers (
int, opcional, valor predeterminado 2) — Número de capas de convolución en la cabecera deDepthProFovModel. - image_model_config (
Union[dict[str, Any], PreTrainedConfig], opcional) — La configuración del modelo de codificador de imágenes, que se carga mediante la API AutoModel. Por defecto, se utiliza el modelo Dinov2 como backbone. - patch_model_config (
Union[dict[str, Any], PreTrainedConfig], opcional) — La configuración del modelo de codificador de parches, que se carga mediante la API AutoModel. Por defecto, se utiliza el modelo Dinov2 como backbone. - fov_model_config (
Union[dict[str, Any], PreTrainedConfig], opcional) — La configuración del modelo codificador fov, que se carga mediante la API AutoModel. Por defecto, se utiliza el modelo Dinov2 como backbone.
Esta es la clase de configuración para almacenar la configuración de un DepthProModel. Se utiliza para instanciar un modelo Depth Pro según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de apple/DepthPro
Los objetos de configuración heredan de PreTrainedConfig y se pueden usar para controlar las salidas del modelo. Lea la documentación de PreTrainedConfig para obtener más información.
Ejemplo:
>>> from transformers import DepthProConfig, DepthProModel
>>> # Initializing a DepthPro apple/DepthPro style configuration
>>> configuration = DepthProConfig()
>>> # Initializing a model (with random weights) from the apple/DepthPro style configuration
>>> model = DepthProModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configDepthProImageProcessor
clase transformers.DepthProImageProcessor
< source >( **kwargs: *<class 'transformers.processing_utils.ImagesKwargs'> )
Parámetros
- do_convert_rgb (
bool, kwargs, opcional) — Si se debe convertir la imagen a RGB. - do_resize (
bool, kwargs, opcional, valor predeterminadoTrue) — Si se debe redimensionar la imagen. - size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, por defecto{'height' -- 1536, 'width': 1536}): Describe las dimensiones de entrada máximas para el modelo. - default_to_square (
bool, kwargs, opcional, valor predeterminadoTrue) — Si se debe usar una imagen cuadrada por defecto al redimensionar, si size es un int. - crop_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Tamaño de la imagen de salida tras aplicarcenter_crop. - resample (
Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, por defecto2) — Filtro de remuestreo a utilizar si se redimensiona la imagen. Puede ser uno de los valores de la enumeraciónPILImageResampling. Solo tiene efecto sido_resizeestá establecido enTrue. - do_rescale (
bool, kwargs, opcional, valor predeterminadoTrue) — Si se debe reescalar la imagen. - rescale_factor (
float, kwargs, opcional, valor predeterminado0.00392156862745098) — Factor de reescalado para reescalar la imagen sido_rescaleestá establecido enTrue. - do_normalize (
bool, kwargs, opcional, valor predeterminadoTrue) — Si se debe normalizar la imagen. - image_mean (
Union[float, list[float], tuple[float, ...]], kwargs, opcional, valor predeterminado[0.5, 0.5, 0.5]) — Media de la imagen a utilizar para la normalización. Solo tiene efecto sido_normalizese establece enTrue. - image_std (
Union[float, list[float], tuple[float, ...]], kwargs, opcional, valor predeterminado[0.5, 0.5, 0.5]) — Desviación estándar de la imagen a utilizar para la normalización. Solo tiene efecto sido_normalizeestá establecido enTrue. - do_pad (
bool, kwargs, opcional) — Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el tamaño más grande del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo. - pad_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — El tamaño en{"height": int, "width" int}al que se rellenan las imágenes. Debe ser mayor que cualquier tamaño de imagen proporcionado para el preprocesamiento. Si no se proporcionapad_size, las imágenes se rellenarán hasta la mayor altura y anchura del lote. Se aplica solo cuandodo_pad=True. - do_center_crop (
bool, kwargs, opcional) — Si se debe recortar la imagen centrada. - data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, opcional) — Solo se admiteChannelDimension.FIRST. Se añadió para garantizar la compatibilidad con los procesadores lentos. - input_data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, opcional) — El formato de la dimensión de canales para la imagen de entrada. Si no se establece, el formato de la dimensión de canales se infiere a partir de la imagen de entrada. Puede ser uno de:"channels_first"oChannelDimension.FIRST: imagen en formato (num_channels, height, width)."channels_last"oChannelDimension.LAST: imagen en formato (altura, ancho, num_canales)."none"oChannelDimension.NONE: imagen en formato (altura, ancho).
- device (
Annotated[Union[str, torch.device, NoneType], None], kwargs) — El dispositivo en el que se procesarán los videos. Si no se establece, el dispositivo se infiere a partir de los videos de entrada. - return_tensors (
Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Devuelve tensores apilados si se establece en'pt'; en caso contrario, devuelve una lista de tensores. - disable_grouping (
bool, kwargs, opcional) — Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157 - image_seq_length (
int, kwargs, opcional) — El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Añadido por compatibilidad con versiones anteriores, pero en futuros modelos debería establecerse como un atributo del procesador. Devuelve tensores apilados si se establece en'pt'; en caso contrario, devuelve una lista de tensores. - disable_grouping (
bool, kwargs, opcional) — Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157 - image_seq_length (
int, kwargs, opcional) — El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Añadido por compatibilidad con versiones anteriores, pero en futuros modelos debería establecerse como un atributo del procesador. - Returns stacked tensors if set to
'pt', otherwise returns a list of tensors. —
Construye un procesador de imágenes DepthPro.
disable_grouping (bool, kwargs, opcional):
Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes.
Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en
observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157 image_seq_length (int, kwargs, opcional):
El número de tokens de imagen que se utilizarán para cada imagen en la entrada.
Añadido para compatibilidad hacia atrás, pero en futuros modelos debería establecerse como un atributo del procesador.
preprocesar
< source >( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]*argsimage_like_kwargs: dict[str, typing.Any] | None = None**kwargs: *<class 'transformers.processing_utils.ImagesKwargs'> ) → ~image_processing_base.BatchFeature
Parámetros
- images (
Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Imagen a preprocesar. Espera una imagen única o un lote de imágenes con valores de píxeles que van de 0 a 255. Si se pasan imágenes con valores de píxeles entre 0 y 1, establezcado_rescale=False. - image_like_kwargs (
dict[str, Any], opcional) — Bandera para desarrolladores destinada a entradas adicionales de tipo imagen que también se preprocesarán. Utilice esto solo si pasar las entradas como kwarg no funciona. Por ejemplo,preprocess(images, masks=masks)es la opción preferida, pero provoca problemas de prioridad de argumentos en algunos modelos. En esos casos se puede usarpreprocess(images, image_like_inputs={"masks": masks})en su lugar. - do_convert_rgb (
bool, kwargs, opcional) — Si se debe convertir la imagen a RGB. - do_resize (
bool, kwargs, opcional) — Si se debe redimensionar la imagen. - size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Describe las dimensiones de entrada máximas del modelo. - default_to_square (
bool, kwargs, opcional) — Si se debe usar una imagen cuadrada por defecto al redimensionar, si size es un int. - crop_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Tamaño de la imagen de salida tras aplicarcenter_crop. - resample (
Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Filtro de remuestreo a utilizar si se redimensiona la imagen. Puede ser uno de los enumPILImageResampling. Solo tiene efecto sido_resizeestá establecido enTrue. - do_rescale (
bool, kwargs, opcional) — Si se debe reescalar la imagen. - rescale_factor (
float, kwargs, opcional) — Factor de reescalado para reescalar la imagen sido_rescaleestá establecido enTrue. - do_normalize (
bool, kwargs, opcional) — Si se debe normalizar la imagen. - image_mean (
Union[float, list[float], tuple[float, ...]], kwargs, opcional) — Media de la imagen a utilizar para la normalización. Solo tiene efecto sido_normalizeestá establecido enTrue. - image_std (
Union[float, list[float], tuple[float, ...]], kwargs, opcional) — Desviación estándar de la imagen a utilizar para la normalización. Solo tiene efecto sido_normalizeestá establecido enTrue. - do_pad (
bool, kwargs, opcional) — Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el tamaño más grande del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo. - pad_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — El tamaño en{"height": int, "width" int}al que se rellenan las imágenes. Debe ser mayor que cualquier tamaño de imagen proporcionado para el preprocesamiento. Si no se proporcionapad_size, las imágenes se rellenarán hasta la mayor altura y anchura del lote. Se aplica solo cuandodo_pad=True. - do_center_crop (
bool, kwargs, opcional) — Si se debe recortar la imagen centrada. - data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, opcional) — Solo se admiteChannelDimension.FIRST. Se añadió para garantizar la compatibilidad con los procesadores lentos. - input_data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, opcional) — El formato de la dimensión de canales para la imagen de entrada. Si no se establece, el formato de la dimensión de canales se infiere a partir de la imagen de entrada. Puede ser uno de:"channels_first"oChannelDimension.FIRST: imagen en formato (num_channels, height, width)."channels_last"oChannelDimension.LAST: imagen en formato (altura, ancho, num_canales)."none"oChannelDimension.NONE: imagen en formato (altura, ancho).
- device (
Annotated[Union[str, torch.device, NoneType], None], kwargs) — El dispositivo en el que se procesarán los videos. Si no se establece, el dispositivo se infiere a partir de los videos de entrada. - return_tensors (
Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Devuelve tensores apilados si se establece en'pt'; en caso contrario, devuelve una lista de tensores. - disable_grouping (
bool, kwargs, opcional) — Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157 - image_seq_length (
int, kwargs, opcional) — El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Añadido por compatibilidad con versiones anteriores, pero en futuros modelos debería establecerse como un atributo del procesador.
Devuelve
~image_processing_base.BatchFeature
- data (
dict) — Diccionario de listas/arrays/tensores devueltos por el método call (‘pixel_values’, etc.). - tensor_type (
Union[None, str, TensorType], opcional) — Puede especificar un tensor_type aquí para convertir las listas de enteros en Tensors de PyTorch/Numpy durante la inicialización.
Preprocesa una imagen o un lote de imágenes.
post_process_depth_estimation
< source >( outputs: DepthProDepthEstimatorOutputtarget_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = None )
Procesa las predicciones de profundidad crudas del modelo.
DepthProModel
clase transformers.DepthProModel
< source >( config: DepthProConfig )
Parámetros
- config (DepthProConfig) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.
El modelo Depth Pro básico que genera estados ocultos sin ningún cabezal específico en la parte superior.
Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).
Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.
forward
< source >( pixel_values: Tensoroutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → DepthProOutput or tuple(torch.Tensor)
Parámetros
- pixel_values (
torch.Tensorde forma(batch_size, num_channels, image_size, image_size)) — Los tensores correspondientes a las imágenes de entrada. Los valores de píxeles se pueden obtener utilizando DepthProImageProcessor. Consulte DepthProImageProcessor.call() para más detalles (processor_classutiliza DepthProImageProcessor para procesar las imágenes). - output_attentions (
bool, opcional) — Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulteattentionsen los tensores devueltos para obtener más detalles. - output_hidden_states (
bool, opcional) — Indica si se deben devolver los estados ocultos de todas las capas. Consultehidden_statesen los tensores devueltos para obtener más detalles. - return_dict (
bool, opcional) — Indica si se debe devolver un ModelOutput en lugar de una tupla simple.
Devuelve
DepthProOutput o tuple(torch.Tensor)
Un DepthProOutput o una tupla de
torch.Tensor (si se pasa return_dict=False o cuando config.return_dict=False) que comprende varios
elementos según la configuración (DepthProConfig) y las entradas.
El método forward de DepthProModel sobrescribe el método especial __call__.
Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de
Moduledespués en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.
last_hidden_state (
torch.Tensorde forma(batch_size, n_patches_per_batch, sequence_length, hidden_size)) — Secuencia de estados ocultos en la salida de la última capa del modelo.características (
Union[torch.Tensor, List[torch.Tensor]], opcional) — Características de los codificadores. Puede ser una sola característica o una lista de características.hidden_states (
tuple[torch.Tensor, ...], opcional, se devuelve cuando se pasaoutput_hidden_states=Trueo cuandoconfig.output_hidden_states=True) — Tupla detorch.Tensor(una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma(batch_size, sequence_length, hidden_size).Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
attentions (
tuple[torch.Tensor, ...], opcional, se devuelve cuando se pasaoutput_attentions=Trueo cuandoconfig.output_attentions=True) — Tupla detorch.Tensor(una por cada capa) de forma(batch_size, num_heads, sequence_length, sequence_length).Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.
Ejemplos:
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> from transformers import AutoProcessor, DepthProModel
>>> url = "https://www.ilankelman.org/stopsigns/australia.jpg"
>>> with httpx.stream("GET", url) as response:
... image = Image.open(BytesIO(response.read()))
>>> checkpoint = "apple/DepthPro-hf"
>>> processor = AutoProcessor.from_pretrained(checkpoint)
>>> model = DepthProModel.from_pretrained(checkpoint)
>>> # prepare image for the model
>>> inputs = processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
... output = model(**inputs)
>>> output.last_hidden_state.shape
torch.Size([1, 35, 577, 1024])DepthProForDepthEstimation
clase transformers.DepthProForDepthEstimation
< source >( config: DepthProConfiguse_fov_model = None )
Parámetros
- config (DepthProConfig) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.
- use_fov_model (
bool, opcional) — Si se debe usar el modelo de campo de visión.
Modelo DepthPro con una cabeza de estimación de profundidad en la parte superior (compuesta por 3 capas convolucionales).
Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).
Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.
forward
< source >( pixel_values: Tensorlabels: typing.Optional[torch.LongTensor] = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → DepthProDepthEstimatorOutput or tuple(torch.Tensor)
Parámetros
- pixel_values (
torch.Tensorde forma(batch_size, num_channels, image_size, image_size)) — Los tensores correspondientes a las imágenes de entrada. Los valores de píxeles se pueden obtener utilizando DepthProImageProcessor. Consulte DepthProImageProcessor.call() para más detalles (processor_classutiliza DepthProImageProcessor para procesar las imágenes). - labels (
torch.LongTensorde forma(batch_size, height, width), opcional) — Mapas de estimación de profundidad de referencia para calcular la pérdida. - output_attentions (
bool, opcional) — Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulteattentionsen los tensores devueltos para obtener más detalles. - output_hidden_states (
bool, opcional) — Indica si se deben devolver los estados ocultos de todas las capas. Consultehidden_statesen los tensores devueltos para obtener más detalles. - return_dict (
bool, opcional) — Indica si se debe devolver un ModelOutput en lugar de una tupla simple.
Devuelve
DepthProDepthEstimatorOutput o tuple(torch.Tensor)
Un DepthProDepthEstimatorOutput o una tupla de
torch.Tensor (si se pasa return_dict=False o cuando config.return_dict=False) que comprende varios
elementos según la configuración (DepthProConfig) y las entradas.
El método forward de DepthProForDepthEstimation reemplaza el método especial __call__.
Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de
Moduledespués en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.
loss (
torch.Tensorde forma(1,), opcional, se devuelve cuando se proporcionalabels) — Pérdida de clasificación (o de regresión si config.num_labels==1).predicted_depth (
torch.Tensorde forma(batch_size, height, width), opcional) — Profundidad predicha para cada píxel.field_of_view (
torch.Tensorde forma(batch_size,), opcional, se devuelve cuando se proporcionause_fov_model) — Escalador de campo de visión.hidden_states (
tuple[torch.Tensor, ...], opcional, se devuelve cuando se pasaoutput_hidden_states=Trueo cuandoconfig.output_hidden_states=True) — Tupla detorch.Tensor(una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma(batch_size, sequence_length, hidden_size).Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
attentions (
tuple[torch.Tensor, ...], opcional, se devuelve cuando se pasaoutput_attentions=Trueo cuandoconfig.output_attentions=True) — Tupla detorch.Tensor(una por cada capa) de forma(batch_size, num_heads, sequence_length, sequence_length).Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.
Ejemplos:
>>> from transformers import AutoImageProcessor, DepthProForDepthEstimation
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
... image = Image.open(BytesIO(response.read()))
>>> checkpoint = "apple/DepthPro-hf"
>>> processor = AutoImageProcessor.from_pretrained(checkpoint)
>>> model = DepthProForDepthEstimation.from_pretrained(checkpoint)
>>> device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
>>> model.to(device)
>>> # prepare image for the model
>>> inputs = processor(images=image, return_tensors="pt").to(device)
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> # interpolate to original size
>>> post_processed_output = processor.post_process_depth_estimation(
... outputs, target_sizes=[(image.height, image.width)],
... )
>>> # get the field of view (fov) predictions
>>> field_of_view = post_processed_output[0]["field_of_view"]
>>> focal_length = post_processed_output[0]["focal_length"]
>>> # visualize the prediction
>>> predicted_depth = post_processed_output[0]["predicted_depth"]
>>> depth = predicted_depth * 255 / predicted_depth.max()
>>> depth = depth.detach().cpu().numpy()
>>> depth = Image.fromarray(depth.astype("uint8"))