Parametreler

• dataloader (torch.utils.data.dataloader.DataLoader) — Birden fazla cihaz arasında bölünmek üzere kullanılan veri yükleyici.
• device (torch.device) — Döndürülen DataLoader için hedef cihaz.
• num_processes (int, isteğe bağlı) — Eşzamanlı olarak çalışan süreç sayısı. Varsayılan olarak PartialState tarafından verilen değeri kullanır.
• process_index (int, isteğe bağlı) — Mevcut sürecin indeksi. Varsayılan olarak PartialState tarafından verilen değeri kullanır.
• split_batches (bool, isteğe bağlı, varsayılan olarak False) — sonuçta oluşan DataLoader cihazlar arasında orijinal veri yükleyicisinin partilerini bölmeli mi yoksa tam partiler mi üretmeli (bu durumda process_index-inci partiden başlayarak ve her yinelemede num_processes partilik ilerlemeli). Bu seçeneğin True olarak ayarlanması, veri yükleyicisinin parti boyutunun batch_size'ın tam bir katı olmasını gerektirir.

  Bunun başka bir bakış açısı, bu seçenek True olarak ayarlanırsa gözlemlenen batch boyutunun başlangıç dataloader ile aynı olacağı, aksi halde başlangıç dataloader batch boyutunun num_processes ile çarpılacağıdır.

  Bu seçeneği True olarak ayarlamak, dataloader parti boyutunun batch_size'ın tam bir katı olmasını gerektirir.

• put_on_device (bool, isteğe bağlı, varsayılan False) — Topluların device üzerine yerleştirilip yerleştirilmeyeceği (yalnızca toplular, tensörlerin iç içe listeleri, demetleri veya sözlükleri olduğunda çalışır).
• rng_types (liste str veya RNGType) — Her iterasyonun başında senkronize edilecek rastgele sayı üreteçlerinin listesi. Şunlardan biri veya birkaçı olmalıdır:
  • "torch": temel torch rastgele sayı üreteci
  • "cuda": CUDA rastgele sayı üreteci (yalnızca GPU)
  • "xla": XLA rastgele sayı üreteci (yalnızca TPU)
  • "generator": altta yatan veri seti bu türdeyse, örnekleyicinin (dataloader'ınızda örnekleyici yoksa batch örnekleyicinin) veya yinelebilir veri setinin (varsa) torch.Generator'ı.
• dispatch_batches (bool, isteğe bağlı) — True olarak ayarlanırsa, hazırlanan dataloader yalnızca ana süreçte iterasyon edilir ve ardından toplamlar bölünerek her sürece yayınlanır. Altta yatan veri seti bir IterableDataset ise varsayılan olarak True, aksi halde False olur.
• even_batches (bool, isteğe bağlı, varsayılan True) — True olarak ayarlanırsa, tüm süreçler arasındaki toplam batch boyutu veri setini tam olarak bölmediğinde, batch'in tüm işçiler arasında eşit şekilde bölünebilmesi için veri setinin başındaki örnekler kopyalanır.
• slice_fn_for_dispatch (Callable, optional) -- If passed, this function will be used to slice tensors across num_processes. Will default to [slice_tensors()](/docs/accelerate/main/en/package_reference/utilities#accelerate.utils.slice_tensors). This argument is used only when dispatch_batchesis set toTrue` and will be ignored otherwise.
• use_seedable_sampler (bool, isteğe bağlı, varsayılan False) — Daha iyi tekrarlanabilirlik için RandomSampler yerine SeedableRandomSampler kullanılacak mı? Farklı karıştırma algoritmaları nedeniyle performansın farklı olma maliyeti vardır ancak sonuçların aynı olmasını garanti eder. Her self.set_epoch çağrısında set_seed() ile birlikte kullanılmalıdır.
• data_seed (int, isteğe bağlı, varsayılan None) — use_seedable_sampler kullanılırken altta yatan üreteç için kullanılacak tohum. None ise üreteç, torch'taki geçerli varsayılan tohumu kullanır.
• non_blocking (bool, isteğe bağlı, varsayılan False) — True olarak ayarlanırsa, dataloader engellenmeyen (non-blocking) hosttan cihaza aktarmaları kullanır. Dataloader'da pin_memory True olarak ayarlanmışsa, bu, veri aktarımı ile hesaplamalar arasındaki örtüşmeyi artırmaya yardımcı olur.
• use_stateful_dataloader (bool, isteğe bağlı, varsayılan False) — “true olarak ayarlanırsa, Accelerator tarafından hazırlanan dataloader, torchdata.StatefulDataLoader tarafından desteklenir. Bunun için StatefulDataLoader’ı destekleyen 0.8.0 veya daha yüksek bir torchdata sürümünün yüklü olması gerekir.”
• torch_device_mesh (torch.distributed.DeviceMesh, isteğe bağlı, varsayılan None) — PyTorch cihaz ızgarası.

Parametreler

• batch_sampler (torch.utils.data.sampler.BatchSampler) — Birden fazla parçaya bölmek için kullanılacak batch örnekleme birimi.
• num_processes (int, isteğe bağlı, varsayılan 1) — Eşzamanlı olarak çalışan süreç sayısı.
• process_index (int, isteğe bağlı, varsayılan 0) — Mevcut sürecin indeksi.
• split_batches (bool, isteğe bağlı, varsayılan olarak False) — Parçaların (shard), bir batch'in bölünerek her işlemciye bir parça verilmesi yoluyla mı yoksa her işlemcide farklı tam batch'lerin üretilmesi yoluyla mı oluşturulacağı.

  [[0, 1, 2, 3], [4, 5, 6, 7]] örnekleme aygıtına sahip iki işlemde, bu şu sonuca yol açar:

  • bu argüman False olarak ayarlanırsa, 0 numaralı işlemdeki örnekleyicinin [0, 1, 2, 3] ve 1 numaralı işlemdeki örnekleyicinin [4, 5, 6, 7] değerlerini üretmesini sağlar.
  • 0. işlemdeki örnekleyici [0, 1] ardından [4, 5] değerlerini, 1. işlemdeki örnekleyici ise [2, 3] ardından [6, 7] değerlerini üretir, bu argüman True olarak ayarlanmışsa.
• even_batches (bool, isteğe bağlı, varsayılan True) — Örnek sayısı, (orijinal parti boyutu / süreç sayısı) değerinin tam bir katı olmadığında, örnekleyicinin başına dönüp dönmeyeceğini belirtir.

Parametreler

• dataset (torch.utils.data.dataset.IterableDataset) — Birden fazla parçaya bölmek için kullanılan batch sampler.
• batch_size (int, isteğe bağlı, varsayılan 1) — Pay başına toplu iş boyutu (split_batches=False ise) veya toplu işlerin boyutu (split_batches=True ise).
• drop_last (bool, isteğe bağlı, varsayılan False) — Son eksik partiyi atlayıp atlamayacağına veya baştaki örnekleri kullanarak son partileri tamamlayıp tamamlamayacağına karar verir.
• num_processes (int, isteğe bağlı, varsayılan 1) — Eşzamanlı olarak çalışan süreç sayısı.
• process_index (int, isteğe bağlı, varsayılan 0) — Mevcut sürecin indeksi.
• split_batches (bool, isteğe bağlı, varsayılan olarak False) — Parçaların (shard), bir batch'in bölünerek her işlemciye bir parçasının verilmesiyle mi yoksa her işlemcide farklı tam batch'lerin üretilmesiyle mi oluşturulacağı.

  [0, 1, 2, 3, 4, 5, 6, 7] üreten bir iterable veri setiyle iki işlemde, bu şu sonuca yol açar:

  • bu argüman False olarak ayarlanırsa, 0. işlemdeki parçanın [0, 1, 2, 3], 1. işlemdeki parçanın ise [4, 5, 6, 7] değerlerini üretmesini sağlar.
  • bu argüman True olarak ayarlanırsa, 0. işlemdeki parçanın [0, 1, 4, 5], 1. işlemdeki örnekleme cihazının ise [2, 3, 6, 7] değerlerini üretmesini sağlar.

Parametreler

• dataset (torch.utils.data.dataset.Dataset) — Bu dataloader'ı oluşturmak için kullanılacak veri seti.
• device (torch.device, isteğe bağlı) — Verilirse, tüm partilerin yerleştirileceği cihaz.
• rng_types (liste str veya RNGType) — Her iterasyonun başında senkronize edilecek rastgele sayı üreteçlerinin listesi. Şunlardan biri veya birkaçı olmalıdır:
  • "torch": temel torch rastgele sayı üreteci
  • "cuda": CUDA rastgele sayı üreteci (yalnızca GPU)
  • "xla": XLA rastgele sayı üreteci (yalnızca TPU)
  • "generator": isteğe bağlı bir torch.Generator
• synchronized_generator (torch.Generator, isteğe bağlı) — Süreçler arasında senkronize tutulacak bir rastgele sayı üreteci.
• skip_batches (int, isteğe bağlı, varsayılan 0) — Başlangıçta atlanacak parti sayısı.
• use_stateful_dataloader (bool, isteğe bağlı, varsayılan False) — Bu sınıfın, normal DataLoader yerine torchdata kütüphanesinden StatefulDataLoader sınıfını uyarlamasını sağlar.
• **kwargs (ek anahtar kelime argümanları, isteğe bağlı) — Düzenli DataLoader başlatılmasına iletilecek diğer tüm anahtar kelime argümanları.

Parametreler

• split_batches (bool, isteğe bağlı, varsayılan False) — Sonuçta oluşan DataLoader'ün, orijinal veri yükleyicisinin partilerini cihazlar arasında bölüp bölmeyeceği veya tam partiler üretip üretmeyeceği (bu durumda, process_index'den başlayarak ve her yinelemede num_processes parti ilerleyerek partiler üretir). Bunu başka bir şekilde görmek için, bu seçenek True olarak ayarlanırsa gözlemlenen parti boyutunun başlangıçtaki dataloader ile aynı olacağını, aksi halde başlangıçtaki dataloader parti boyutunun num_processes ile çarpılacağını söyleyebiliriz. Bu seçeneği True olarak ayarlamak, dataloader'ün parti boyutunun batch_size'ın tam bir katı olmasını gerektirir.
• skip_batches (int, isteğe bağlı, varsayılan 0) — Bir yinelemede başlangıçta atlanacak parti sayısı.
• use_stateful_dataloader (bool, isteğe bağlı, varsayılan False) — Bu sınıfın, normal DataLoader yerine torchdata kütüphanesinden StatefulDataLoader sınıfını uyarlamasını sağlar.

Parametreler

• optimizer (torch.optim.optimizer.Optimizer) — Sarmalanacak optimizasyon algoritması.
• device_placement (bool, isteğe bağlı, varsayılan True) — Optimizatörün cihaz yerleşimini yönetip yönetmeyeceği. Eğer öyleyse, optimizer durum sözlüğünü doğru cihaza yerleştirir.
• scaler (torch.amp.GradScaler veya torch.cuda.amp.GradScaler, isteğe bağlı) — Karışık hassasiyetle eğitim yapıldığında step fonksiyonunda kullanılacak ölçekleyici.

Parametreler

• scheduler (torch.optim.lr_scheduler._LRScheduler) — Sarmalanacak zamanlayıcı.
• optimizers (bir tane veya torch.optim.Optimizer listesi) — Kullanılan optimizörler.
• step_with_optimizer (bool, isteğe bağlı, varsayılan True) — Zamanlayıcının (scheduler) her optimizasyon adımı (optimizer step) sırasında ilerletilip ilerletilmeyeceğini belirtir.
• split_batches (bool, isteğe bağlı, varsayılan False) — Dataloaders'ın bir batch'i farklı süreçler arasında bölüp bölmediği (bu durumda batch boyutu, süreç sayısından bağımsız olarak aynı kalır) yoksa her süreçte ayrı batch'ler oluşturup oluşturmadığı (bu durumda batch boyutu, orijinal batch boyutunun süreç sayısı ile çarpımıdır).