Hugging Face's logo

Transformers documentation

MM Grounding DINO

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bu model 2024-01-04 tarihinde HF papers'ta yayımlandı ve 2025-08-01 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

MM Grounding DINO

MM Grounding DINO modeli, Xiangyu Zhao, Yicheng Chen, Shilin Xu, Xiangtai Li, Xinjiang Wang, Yining Li ve Haian Huang tarafından An Open and Comprehensive Pipeline for Unified Object Grounding and Detection makalesinde önerilmiştir.

MM Grounding DINO, Grounding DINO'nun üzerine, kontrastif sınıf başlığını iyileştirerek ve decoder'daki parametre paylaşımını kaldırarak sıfır atışlı (zero-shot) algılama performansını hem COCO'da (50.6(+2.2) AP) hem de LVIS'te (31.9(+11.8) val AP ve 41.4(+12.6) minival AP) iyileştirir.

Tüm orijinal MM Grounding DINO kontrol noktalarını MM Grounding DINO koleksiyonunda bulabilirsiniz. Bu model ayrıca LLMDet çıkarımını da destekler. LLMDet kontrol noktalarını LLMDet koleksiyonunda bulabilirsiniz.

Farklı MM Grounding DINO görevlerine MM Grounding DINO'yu nasıl uygulayacağınızla ilgili daha fazla örnek için sağ kenar çubuğundaki MM Grounding DINO modellerine tıklayın.

Aşağıdaki örnek, AutoModelForZeroShotObjectDetection sınıfı kullanılarak bir görüntüye dayalı metin üretiminin nasıl yapılacağını göstermektedir.

AutoModel
import torch

from transformers import AutoModelForZeroShotObjectDetection, AutoProcessor
from transformers.image_utils import load_image


# Prepare processor and model
model_id = "openmmlab-community/mm_grounding_dino_tiny_o365v1_goldg_v3det"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForZeroShotObjectDetection.from_pretrained(model_id, device_map="auto")

# Prepare inputs
image_url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = load_image(image_url)
text_labels = [["a cat", "a remote control"]]
inputs = processor(images=image, text=text_labels, return_tensors="pt").to(model.device)

# Run inference
with torch.no_grad():
    outputs = model(**inputs)

# Postprocess outputs
results = processor.post_process_grounded_object_detection(
    outputs,
    threshold=0.4,
    target_sizes=[(image.height, image.width)]
)

# Retrieve the first image result
result = results[0]
for box, score, labels in zip(result["boxes"], result["scores"], result["labels"]):
    box = [round(x, 2) for x in box.tolist()]
    print(f"Detected {labels} with confidence {round(score.item(), 3)} at location {box}")

Notlar

MMGroundingDinoConfig

sınıf transformers.MMGroundingDinoConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0id2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneis_encoder_decoder: bool = Truebackbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonenum_queries: int = 900encoder_layers: int = 6encoder_ffn_dim: int = 2048encoder_attention_heads: int = 8decoder_layers: int = 6decoder_ffn_dim: int = 2048decoder_attention_heads: int = 8activation_function: str = 'relu'd_model: int = 256dropout: float | int = 0.1attention_dropout: float | int = 0.0activation_dropout: float | int = 0.0auxiliary_loss: bool = Falseposition_embedding_type: str = 'sine'num_feature_levels: int = 4encoder_n_points: int = 4decoder_n_points: int = 4two_stage: bool = Trueclass_cost: float = 1.0bbox_cost: float = 5.0giou_cost: float = 2.0bbox_loss_coefficient: float = 5.0giou_loss_coefficient: float = 2.0focal_alpha: float = 0.25disable_custom_kernels: bool = Falsemax_text_len: int = 256text_enhancer_dropout: float | int = 0.0fusion_droppath: float | int = 0.1fusion_dropout: float | int = 0.0embedding_init_target: bool = Truequery_dim: int = 4positional_embedding_temperature: int = 20decoder_bbox_embed_share: bool = Truedecoder_cls_embed_share: bool = Trueinit_std: float = 0.02layer_norm_eps: float = 1e-05tie_word_embeddings: bool = True )

Parametreler

  • is_encoder_decoder (bool, isteğe bağlı, varsayılan True) — Modelin bir kodlayıcı/çözücü olarak kullanılıp kullanılmadığı.
  • backbone_config (Union[dict, ~configuration_utils.PreTrainedConfig], isteğe bağlı) — Backbone modelinin yapılandırması.
  • text_config (Union[dict, ~configuration_utils.PreTrainedConfig], isteğe bağlı) — Metin omurgasının yapılandırma nesnesi veya sözlüğü.
  • num_queries (int, isteğe bağlı, varsayılan 900) — Nesne sorgusu sayısı, yani algılama yuvaları. Bu, MMGroundingDinoModel'in tek bir görüntüde algılayabileceği nesnelerin azami sayısıdır.
  • encoder_layers (int, isteğe bağlı, varsayılan 6) — Transformer kodlayıcısındaki gizli katman sayısı. Ayarlanmazsa num_layers ile aynı değeri kullanır.
  • encoder_ffn_dim (int, isteğe bağlı, varsayılan 2048) — Encoder'daki “ara” (genellikle feed-forward olarak adlandırılan) katmanın boyutluluğu.
  • encoder_attention_heads (int, isteğe bağlı, varsayılan 8) — Transformer kodlayıcısındaki her dikkat katmanı için dikkat başı sayısı.
  • decoder_layers (int, isteğe bağlı, varsayılan 6) — Transformer decoder'ındaki gizli katman sayısı. Ayarlanmazsa num_layers ile aynı değeri kullanır.
  • decoder_ffn_dim (int, isteğe bağlı, varsayılan 2048) — Decoder'daki “ara” (genellikle feed-forward olarak adlandırılan) katmanın boyutluluğu.
  • decoder_attention_heads (int, isteğe bağlı, varsayılan 8) — Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı.
  • activation_function (str, isteğe bağlı, varsayılan relu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • d_model (int, isteğe bağlı, varsayılan 256) — Kodlayıcı katmanlarının ve pooler katmanının boyutu.
  • dropout (Union[float, int], isteğe bağlı, varsayılan 0.1) — Tüm dropout katmanları için oran.
  • attention_dropout (Union[float, int], isteğe bağlı, varsayılan 0.0) — Dikkat olasılıkları için dropout oranı.
  • activation_dropout (Union[float, int], isteğe bağlı, varsayılan 0.0) — Tamamen bağlı katmandaki aktivasyonlar için dropout oranı.
  • auxiliary_loss (bool, isteğe bağlı, varsayılan False) — Yardımcı çözümleme kayıplarının (her decoder katmanındaki kayıp) kullanılıp kullanılmayacağı.
  • position_embedding_type (str, isteğe bağlı, varsayılan "sine") — Görsel özelliklerin üzerine kullanılacak konum gömme türü. "sine" veya "learned" değerlerinden biri.
  • num_feature_levels (int, isteğe bağlı, varsayılan 4) — Girdi özellik seviyelerinin sayısı.
  • encoder_n_points (int, isteğe bağlı, varsayılan 4) — Kodlayıcıdaki her dikkat başı için her özellik seviyesinde örneklenen anahtar sayısı.
  • decoder_n_points (int, isteğe bağlı, varsayılan 4) — Decoder'daki her dikkat başı için her özellik seviyesinde örneklenen anahtar sayısı.
  • two_stage (bool, isteğe bağlı, varsayılan True) — Bölge önerilerinin de Grounding DINO'nun bir varyantı tarafından üretilip, bunların daha sonra iteratif sınırlayıcı kutu iyileştirmesi için decoder'a beslendiği iki aşamalı deformable DETR uygulanıp uygulanmayacağını belirtir.
  • class_cost (float, isteğe bağlı, varsayılan 1.0) — Macar eşleştirme maliyetinde sınıflandırma hatasının göreli ağırlığı.
  • bbox_cost (float, isteğe bağlı, varsayılan 5.0) — Macar eşleştirme maliyetinde L1 sınırlayıcı kutu hatasının göreli ağırlığı.
  • giou_cost (float, isteğe bağlı, varsayılan 2.0) — Macar eşleştirme maliyetinde genelleştirilmiş IoU kaybının göreli ağırlığı.
  • bbox_loss_coefficient (float, isteğe bağlı, varsayılan 5.0) — Panoptik segmentasyon kaybında L1 sınırlayıcı kutu kaybının göreli ağırlığı.
  • giou_loss_coefficient (float, isteğe bağlı, varsayılan 2.0) — Panoptik segmentasyon kaybında genelleştirilmiş IoU kaybının göreli ağırlığı.
  • focal_alpha (float, isteğe bağlı, varsayılan 0.25) — Focal loss'taki Alpha parametresi.
  • disable_custom_kernels (bool, isteğe bağlı, varsayılan False) — Özel CUDA ve CPU çekirdeklerinin kullanımını devre dışı bırakır. Bu seçenek, özel çekirdeklerin PyTorch ONNX dışa aktarımı tarafından desteklenmediği için ONNX dışa aktarımı için gereklidir.
  • max_text_len (int, isteğe bağlı, varsayılan 256) — Metin girdisinin maksimum uzunluğu.
  • text_enhancer_dropout (float, isteğe bağlı, varsayılan 0.0) — Metin iyileştirici için dropout oranı.
  • fusion_droppath (float, isteğe bağlı, varsayılan 0.1) — Füzyon modülü için droppath oranı.
  • fusion_dropout (float, isteğe bağlı, varsayılan 0.0) — Füzyon modülü için dropout oranı.
  • embedding_init_target (bool, isteğe bağlı, varsayılan True) — Hedefin Embedding ağırlıklarıyla başlatılıp başlatılmayacağı.
  • query_dim (int, isteğe bağlı, varsayılan 4) — Sorgu vektörünün boyutu.
  • positional_embedding_temperature (float, isteğe bağlı, varsayılan 20) — Görüntü omurgasıyla birlikte kullanılan Sine Positional Embedding için sıcaklık.
  • decoder_bbox_embed_share (bool, isteğe bağlı, varsayılan True) — Tüm decoder katmanları için bbox regresyon başının paylaşılıp paylaşılmayacağı.
  • decoder_cls_embed_share (bool, isteğe bağlı, varsayılan True) — Tüm decoder katmanları için sınıf gömme başının paylaşılıp paylaşılmayacağı.
  • init_std (float, isteğe bağlı, varsayılan 0.02) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • layer_norm_eps (float, isteğe bağlı, varsayılan 1e-05) — Katman normalizasyon katmanları tarafından kullanılan epsilon.
  • tie_word_embeddings (bool, isteğe bağlı, varsayılan True) — Modelin tied_weights_keys eşlemesine göre ağırlık gömme bağlamalarının yapılıp yapılmayacağı.

Bu, bir Mm Grounding DinoModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Mm Grounding Dino modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, openmmlab-community/mm_grounding_dino_tiny_o365v1_goldg_v3det modelinin yapılandırmasına benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnekler:

>>> from transformers import MMGroundingDinoConfig, MMGroundingDinoModel

>>> # Initializing a MM Grounding DINO configuration
>>> configuration = MMGroundingDinoConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = MMGroundingDinoModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

MMGroundingDinoModel

sınıf transformers.MMGroundingDinoModel

< >

( config: MMGroundingDinoConfig )

Parametreler

  • config (MMGroundingDinoConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

Üzerinde herhangi bir özel head bulunmayan, ham hidden-states çıktısı veren çıplak Grounding DINO Modeli (bir backbone ve encoder-decoder Transformer'dan oluşur).

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( pixel_values: Tensorinput_ids: Tensortoken_type_ids: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonepixel_mask: typing.Optional[torch.Tensor] = Noneencoder_outputs = Noneoutput_attentions = Noneoutput_hidden_states = Nonereturn_dict = None**kwargs ) → MMGroundingDinoModelOutput or tuple(torch.Tensor)

Parametreler

  • pixel_values (torch.Tensor, şekli (batch_size, num_channels, image_size, image_size)) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleri GroundingDinoImageProcessor kullanılarak elde edilebilir. Ayrıntılar için GroundingDinoImageProcessor.call() bölümüne bakın (GroundingDinoProcessor, görüntüleri işlemek için GroundingDinoImageProcessor kullanır).
  • input_ids (torch.LongTensor şeklinde (batch_size, text_sequence_length)) — Girdi dizisi token'larının sözlükteki indeksleri. Varsayılan olarak, padding sağlarsanız bu göz ardı edilir.

    Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için BertTokenizer.call() bölümüne bakın.

  • token_type_ids (torch.LongTensor şeklinde (batch_size, text_sequence_length), isteğe bağlı) — Girdilerin ilk ve ikinci bölümlerini belirtmek için segment token dizinleri. Dizinler [0, 1]: 0 bir sentence A token'ına karşılık gelir, 1 ise bir sentence B token'ına karşılık gelir

    Token type ID'leri nelerdir?

  • attention_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

  • pixel_mask (torch.Tensor şeklinde (batch_size, height, width), isteğe bağlı) — Doldurma piksel değerlerinde dikkat işleminin uygulanmaması için maske. Seçilen maske değerleri [0, 1]:
    • gerçek olan (yani maske uygulanmamış) pikseller için 1,
    • Dolgu olan (yani maskelenmiş) pikseller için 0.

    Dikkat maskeleri nedir?

  • encoder_outputs (`) -- Tuple consists of (last_hidden_state, *optional*: hidden_states, *optional*: attentions) last_hidden_stateof shape(batch_size, sequence_length, hidden_size)`, optional) is a sequence of hidden-states at the output of the last layer of the encoder. Used in the cross-attention of the decoder.
  • output_attentions (`) -- Whether or not to return the attentions tensors of all attention layers. See attentions` under returned tensors for more detail.
  • output_hidden_states (`) -- Whether or not to return the hidden states of all layers. See hidden_states` under returned tensors for more detail.
  • return_dict (“) — Düz bir tuple yerine ModelOutput döndürülecek mi?

Dönüş değeri

MMGroundingDinoModelOutput veya tuple(torch.Tensor)

MMGroundingDinoModelOutput veya bir torch.Tensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırmaya (MMGroundingDinoConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

MMGroundingDinoModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • last_hidden_state (torch.Tensor, şekli (batch_size, num_queries, hidden_size)) — Modelin decoder'ının son katmanının çıktısındaki gizli durumlar dizisi.

  • init_reference_points (torch.Tensor, şekli (batch_size, num_queries, 4)) — Transformer decoder üzerinden gönderilen başlangıç referans noktaları.

  • intermediate_hidden_states (torch.Tensor, şekli (batch_size, config.decoder_layers, num_queries, hidden_size)) — Yığılmış ara gizli durumlar (decoder'ın her katmanının çıktısı).

  • intermediate_reference_points (torch.Tensor, şekli (batch_size, config.decoder_layers, num_queries, 4)) — Yığılmış ara referans noktaları (decoder'ın her katmanının referans noktaları).

  • decoder_hidden_states (tuple[torch.Tensor], isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren bir tuple, şekli (batch_size, sequence_length, hidden_size).

    Her katmanın çıktısında ve başlangıç gömme çıktılarında dekodlayıcının gizli durumları.

  • decoder_attentions (tuple[tuple[torch.Tensor]], isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (katman başına bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat ağırlıkları, dikkat softmax'ından sonra, öz-dikkat kafalarında ağırlıklı ortalamanın hesaplanmasında kullanılan dekoderin

  • encoder_last_hidden_state_vision (torch.Tensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — Modelin kodlayıcısının son katmanının çıktısındaki gizli durumlar dizisi.

  • encoder_last_hidden_state_text (torch.Tensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — Modelin kodlayıcısının (encoder) son katmanının çıktısındaki gizli durumlar (hidden-states) dizisi.

  • encoder_vision_hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (görsel gömme çıktısı için bir tane + her katman çıktısı için bir tane) içeren bir tuple, şekli (batch_size, sequence_length, hidden_size). Görsel kodlayıcının her katman çıktısındaki gizli durumları ve başlangıç gömme çıktıları.

  • encoder_text_hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor içeren bir tuple (metin gömme çıktısı için bir tane + her katman çıktısı için birer tane) (batch_size, sequence_length, hidden_size) biçiminde. Metin kodlayıcısının her katman çıktısındaki gizli durumları ve başlangıç gömme çıktıları.

  • encoder_attentions (tuple(tuple(torch.Tensor)), opsiyonel, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (her katman için dikkat için bir tane) içeren tuple'ların tuple'ı, şekli (batch_size, num_heads, sequence_length, sequence_length). Dikkat softmax'ı sonrası dikkat ağırlıkları, metin-görüntü dikkati, görüntü-metin dikkati, metin güçlendirici (öz-dikkat) ve çok ölçekli deformable dikkat başlıklarında ağırlıklı ortalama hesaplamak için kullanılır. dikkat softmax'ı, çift dikkat başlıklarında ağırlıklı ortalama hesaplamak için kullanılır.

  • enc_outputs_class (torch.Tensor, şekli (batch_size, sequence_length, config.num_labels), isteğe bağlı, config.two_stage=True olduğunda döndürülür) — İlk aşamada bölge önerileri olarak seçilen en yüksek config.num_queries puanlı sınırlayıcı kutuların tahmini sınırlayıcı kutu puanları. Sınırlayıcı kutu ikili sınıflandırmasının (yani ön plan ve arka plan) çıktısı.

  • enc_outputs_coord_logits (torch.Tensor, şekli (batch_size, sequence_length, 4), opsiyonel, config.two_stage=True olduğunda döndürülür) — Birinci aşamada tahmin edilen sınırlayıcı kutu koordinatlarının logitleri.

  • encoder_logits (torch.Tensor, şekli (batch_size, sequence_length, config.num_labels), isteğe bağlı, config.two_stage=True olduğunda döndürülür) — Birinci aşamada en yüksek puanı alan config.num_queries sınırlayıcı kutunun logitleri.

  • encoder_pred_boxes (torch.Tensor, şekli (batch_size, sequence_length, 4), isteğe bağlı, config.two_stage=True olduğunda döndürülür) — Birinci aşamada en yüksek puan alan config.num_queries sınırlayıcı kutusunun koordinatları.

Örnekler:

>>> from transformers import AutoProcessor, AutoModel
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> text = "a cat."

>>> processor = AutoProcessor.from_pretrained("IDEA-Research/grounding-dino-tiny")
>>> model = AutoModel.from_pretrained("IDEA-Research/grounding-dino-tiny")

>>> inputs = processor(images=image, text=text, return_tensors="pt")
>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 900, 256]

MMGroundingDinoForObjectDetection

sınıf transformers.MMGroundingDinoForObjectDetection

< >

( config: MMGroundingDinoConfig )

Parametreler

  • config (MMGroundingDinoConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

Üzerinde nesne algılama başlıkları bulunan, COCO algılama gibi görevler için kullanılan, bir omurga ve kodlayıcı-çözücü Transformer'dan oluşan Grounding DINO Modeli,

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( pixel_values: Tensorinput_ids: LongTensortoken_type_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.LongTensor] = Nonepixel_mask: typing.Optional[torch.BoolTensor] = Noneencoder_outputs: transformers.models.mm_grounding_dino.modeling_mm_grounding_dino.MMGroundingDinoEncoderOutput | tuple | None = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = Nonelabels: list[dict[str, typing.Union[torch.LongTensor, torch.Tensor]]] | None = None**kwargs )

Parametreler

  • pixel_values (torch.Tensor, şekli (batch_size, num_channels, image_size, image_size)) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleri GroundingDinoImageProcessor kullanılarak elde edilebilir. Ayrıntılar için GroundingDinoImageProcessor.call() bölümüne bakın (GroundingDinoProcessor, görüntüleri işlemek için GroundingDinoImageProcessor kullanır).
  • input_ids (torch.LongTensor şeklinde (batch_size, text_sequence_length)) — Girdi dizisi token'larının sözlükteki indeksleri. Varsayılan olarak, padding sağlarsanız bu göz ardı edilir.

    Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için BertTokenizer.call() bölümüne bakın.

  • token_type_ids (torch.LongTensor şeklinde (batch_size, text_sequence_length), isteğe bağlı) — Girdilerin ilk ve ikinci bölümlerini belirtmek için segment token dizinleri. Dizinler [0, 1]: 0 bir sentence A token'ına karşılık gelir, 1 ise bir sentence B token'ına karşılık gelir

    Token type ID'leri nelerdir?

  • attention_mask (torch.LongTensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

  • pixel_mask (torch.BoolTensor şeklinde (batch_size, height, width), isteğe bağlı) — Doldurma piksel değerlerinde dikkat işleminin uygulanmaması için maske. Seçilen maske değerleri [0, 1]:
    • gerçek olan (yani maske uygulanmamış) pikseller için 1,
    • Dolgu olan (yani maskelenmiş) pikseller için 0.

    Dikkat maskeleri nedir?

  • encoder_outputs (Union[~models.mm_grounding_dino.modeling_mm_grounding_dino.MMGroundingDinoEncoderOutput, tuple], isteğe bağlı) — (last_hidden_state, isteğe bağlı: hidden_states, isteğe bağlı: attentions) içeren bir tuple last_hidden_state, (batch_size, sequence_length, hidden_size) biçiminde, isteğe bağlı) encoder'ın son katmanının çıktısındaki gizli durumlar dizisidir. Decoder'ın çapraz dikkat (cross-attention) mekanizmasında kullanılır.
  • output_attentions (bool, isteğe bağlı) — Tüm dikkat katmanlarının dikkat tensörlerinin döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındaki attentions bölümüne bakın.
  • output_hidden_states (bool, isteğe bağlı) — Tüm katmanların gizli durumlarının (hidden states) döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındaki hidden_states bölümüne bakın.
  • return_dict (bool, isteğe bağlı) — Düz bir tuple yerine ModelOutput döndürülecek mi?
  • labels (list[Dict] of len (batch_size,), optional) — İki taraflı eşleştirme kaybını hesaplamak için etiketler. Her sözlük en azından aşağıdaki 2 anahtarı içeren bir sözlük listesi: ‘class_labels’ ve ‘boxes’ (sırasıyla batch içindeki bir görüntünün sınıf etiketleri ve sınırlayıcı kutuları). Sınıf etiketlerinin kendisi, uzunluğu (number of bounding boxes in the image,) olan bir torch.LongTensor ve kutuların ise şekli (number of bounding boxes in the image, 4) olan bir torch.Tensor olmalıdır.

MMGroundingDinoForObjectDetection sınıfının forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

Örnekler:

>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> import torch
>>> from PIL import Image
>>> from transformers import AutoProcessor, AutoModelForZeroShotObjectDetection

>>> model_id = "IDEA-Research/grounding-dino-tiny"
>>> device = "cuda"

>>> processor = AutoProcessor.from_pretrained(model_id)
>>> model = AutoModelForZeroShotObjectDetection.from_pretrained(model_id).to(device)

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> # Check for cats and remote controls
>>> text_labels = [["a cat", "a remote control"]]

>>> inputs = processor(images=image, text=text_labels, return_tensors="pt").to(device)
>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> results = processor.post_process_grounded_object_detection(
...     outputs,
...     threshold=0.4,
...     text_threshold=0.3,
...     target_sizes=[(image.height, image.width)]
... )
>>> # Retrieve the first image result
>>> result = results[0]
>>> for box, score, text_label in zip(result["boxes"], result["scores"], result["text_labels"]):
...     box = [round(x, 2) for x in box.tolist()]
...     print(f"Detected {text_label} with confidence {round(score.item(), 3)} at location {box}")
Detected a cat with confidence 0.479 at location [344.7, 23.11, 637.18, 374.28]
Detected a cat with confidence 0.438 at location [12.27, 51.91, 316.86, 472.44]
Detected a remote control with confidence 0.478 at location [38.57, 70.0, 176.78, 118.18]
Update on GitHub

←mllama Molmo2→