Veri Seti Kartları

Veri Seti Kartları Nelerdir?

Her veri seti, depodaki README.md dosyasıyla belgelenebilir. Bu dosya veri seti kartı olarak adlandırılır ve Hugging Face Hub, içeriğini veri setinin ana sayfasında görüntüler. Kullanıcıları verinin sorumlu bir şekilde nasıl kullanılacağı konusunda bilgilendirmek için, veri setindeki olası önyargılara ilişkin bilgi eklemek iyi bir fikirdir. Genel olarak veri seti kartları, kullanıcıların veri setinin içeriğini anlamasına ve veri setinin nasıl kullanılacağına dair bağlam sunmasına yardımcı olur.

Kartınıza veri seti meta verilerini de ekleyebilirsiniz. Meta veriler, bir veri setinin lisansı, dili ve boyutu gibi önemli bilgilerini açıklar. Ayrıca, kullanıcıların Hub'da bir veri setini keşfetmesine yardımcı olan etiketleri ve veri dosyaları yapılandırması seçeneklerini içerir. Etiketler, README.md dosyasının başındaki YAML meta veri bölümünde tanımlanır.

Veri seti kartı meta verileri

Bir veri seti deposu, README.md dosyasını bir veri seti kartı olarak görüntüler. Hub'ın kartı nasıl görüntülediğini kontrol etmek için, README dosyasına bazı metadata tanımlamak üzere bir YAML bölümü oluşturmalısınız. Başlamak için en üste üç --- ekleyin, ardından ilgili tüm metadata'yı dahil edin ve aşağıdaki örnekteki gibi bölümü başka bir --- grubuyla kapatın:

language: 
- "List of ISO 639-1 code for your language"
- lang1
- lang2
pretty_name: "Pretty Name of the Dataset"
tags:
- tag1
- tag2
license: "any valid license identifier"
task_categories:
- task1
- task2

Veri seti kartına eklediğiniz meta veriler, Hub'da belirli etkileşimleri mümkün kılar. Örneğin:

• Kullanıcıların https://huggingface.co/datasets adresinde veri kümelerini filtreleyip keşfetmesine olanak tanır.
• bu tablonun sağ sütununda listelenen anahtar kelimelerden birini kullanarak bir lisans seçerseniz, lisans veri seti sayfasında görüntülenir.

Hub'daki bir veri seti deposunda README.md dosyası oluştururken, ana metaverileri doldurmak için Metadata UI kullanın:

Meta veri alanlarını görmek için ayrıntılı Dataset Card spesifikasyonlarına bakın.

Veri seti kartı oluşturma kılavuzu

Bir veri seti kartı oluşturma konusunda adım adım bir kılavuz için Veri seti kartı oluşturma kılavuzuna göz atın.

Mevcut veri seti kartlarını, örneğin ELI5 veri seti kartı gibi, okumak yaygın kurallara aşina olmanın harika bir yoludur.

Bir Makale Bağlama

Veri seti kartı bir Paper sayfasına (HF'de veya Arxiv özet/PDF'sinde) bağlantı içeriyorsa, Hub arXiv kimliğini çıkarır ve veri seti etiketlerine arxiv:<PAPER ID> biçiminde ekler. Etikete tıkladığınızda şunları yapabilirsiniz:

• Paper sayfasını ziyaret edin
• Aynı makaleyi alıntılayan Hub'daki diğer modeller için filtreleyin.

Makale sayfaları hakkında daha fazla bilgi için buraya bakın.

Bir veri seti modalitesini zorla ayarla

Hub, içerdiği dosyalara (ses, video, coğrafi uzay vb.) dayanarak bir veri setinin modalitesini otomatik olarak algılar. Belirli bir modaliyeti zorlamak istiyorsanız, veri seti kartı meta verilerine bir etiket ekleyebilirsiniz: 3d, audio, geospatial, image, tabular, text, timeseries, video.

Örneğin, modaliteyi audio olarak zorlamak için veri seti kartı meta verilerine aşağıdakini ekleyin:

tags:
- audio

Veri setine bir kitaplık ilişkilendirin

Veri seti sayfası, veri setini yerel olarak yükleyebilen kütüphaneleri ve araçları otomatik olarak gösterir; ancak başka belirli bir kütüphaneyi göstermek istiyorsanız, veri seti kartı meta verilerine bir etiket ekleyebilirsiniz. Desteklenen etiketler arasında agentenv, argilla, dask, datasets, distilabel, fiftyone, harbor, mlcroissant, nemo-gym, openenv, pandas, verifiers ve webdataset yer alır. Tam liste için veya yeni bir kütüphane önermek için desteklenen kütüphaneler listesine bakın.

Örneğin, argilla kitaplığını veri seti kartına ilişkilendirmek için veri seti kartı meta verilerine aşağıdakini ekleyin:

tags:
- argilla

Bir RL ortamı veri seti tanımlayın

Bir RL ortamı, dosyaları bir veya daha fazla ortam çerçevesi tarafından tüketilebilen sıradan bir veri seti deposudur. Veri setinin RL Environments filtresiyle keşfedilebilir olması için rl-environment etiketini ekleyin, ardından desteklenen her çerçeve için bir etiket ekleyin. Çerçeve etiketleri, üretilen komutlarını da Use this dataset bölümüne ekler.

Örneğin, Verifiers tarafından da yüklenebilen Harbor görev dizinlerini içeren bir veri seti bu Veri Seti Kartı YAML'ini kullanır:

---
pretty_name: Terminal-Bench 2.0
tags:
- rl-environment
- harbor
- verifiers
---

Desteklenen ortam çerçevesi etiketleri şunlardır:

Bu etiketler uyumluluğu açıklar ve yükleme komutları oluşturur. Yeni bir depo türü oluşturmazlar veya Hub'ın ortamı çalıştırmasına neden olmazlar.