# Baris Perintah 

Berikut adalah daftar semua perintah 🤗 Accelerate yang tersedia beserta parameternya

## accelerate config

**Perintah**:

`accelerate config` atau `accelerate-config`

Meluncurkan serangkaian prompt untuk membuat dan menyimpan file konfigurasi `default_config.yml` untuk sistem pelatihan Anda. Sebaiknya selalu dijalankan terlebih dahulu di mesin Anda.

**Penggunaan**:

```bash
accelerate config [arguments]
```

**Argumen Opsional**:
* `--config_file CONFIG_FILE` (`str`) -- Path yang digunakan untuk menyimpan file konfigurasi. Secara default, akan menggunakan file bernama default_config.yaml di lokasi cache, yaitu isi dari variabel lingkungan `HF_HOME` yang diberi akhiran 'accelerate', atau jika Anda tidak memiliki variabel lingkungan tersebut, direktori cache Anda (`~/.cache` atau isi dari `XDG_CACHE_HOME`) yang diberi akhiran `huggingface`.
* `-h`, `--help` (`bool`) -- Tampilkan pesan bantuan dan keluar

## accelerate config default

**Perintah**:

`accelerate config default` atau `accelerate-config default`

Buat file konfigurasi default untuk Accelerate dengan hanya beberapa flag yang diatur.

**Penggunaan**:

```bash
accelerate config default [arguments]
```

**Argumen Opsional**:
* `--config_file CONFIG_FILE` (`str`) -- Path yang digunakan untuk menyimpan file konfigurasi. Secara default, akan menggunakan file bernama default_config.yaml di lokasi cache, yaitu isi dari variabel lingkungan `HF_HOME` yang diberi akhiran 'accelerate', atau jika Anda tidak memiliki variabel lingkungan tersebut, direktori cache Anda (`~/.cache` atau isi dari `XDG_CACHE_HOME`) yang diberi akhiran `huggingface`.

* `-h`, `--help` (`bool`) -- Tampilkan pesan bantuan dan keluar
* `--mixed_precision {no,fp16,bf16}` (`str`) -- Apakah akan menggunakan pelatihan presisi campuran atau tidak. Pilih antara pelatihan FP16 dan BF16 (bfloat16). Pelatihan BF16 hanya didukung pada GPU Nvidia Ampere dan PyTorch 1.10 atau lebih baru.

## accelerate config update

**Perintah**:

`accelerate config update` atau `accelerate-config update`

Perbarui file konfigurasi yang sudah ada dengan nilai default terbaru sambil mempertahankan konfigurasi lama.

**Penggunaan**:

```bash
accelerate config update [arguments]
```

**Argumen Opsional**:
* `--config_file CONFIG_FILE` (`str`) -- Path ke file config yang akan diperbarui. Secara default, akan menggunakan file bernama default_config.yaml di lokasi cache, yaitu isi dari environment `HF_HOME` yang diberi akhiran 'accelerate', atau jika Anda tidak memiliki variabel environment tersebut, direktori cache Anda (`~/.cache` atau isi dari `XDG_CACHE_HOME`) yang diberi akhiran `huggingface`.

* `-h`, `--help` (`bool`) -- Tampilkan pesan bantuan dan keluar

## accelerate env

**Perintah**:

`accelerate env` atau `accelerate-env` atau `python -m accelerate.commands.env`

Menampilkan isi file konfigurasi 🤗 Accelerate yang diberikan. Selalu gunakan ini saat membuka masalah di [repositori GitHub](https://github.com/huggingface/accelerate).

**Penggunaan**:

```bash
accelerate env [arguments]
```

**Argumen Opsional**:
* `--config_file CONFIG_FILE` (`str`) -- Path yang digunakan untuk menyimpan file konfigurasi. Secara default, akan menggunakan file bernama default_config.yaml di lokasi cache, yaitu isi dari variabel lingkungan `HF_HOME` yang diberi akhiran 'accelerate', atau jika Anda tidak memiliki variabel lingkungan tersebut, direktori cache Anda (`~/.cache` atau isi dari `XDG_CACHE_HOME`) yang diberi akhiran `huggingface`.
* `-h`, `--help` (`bool`) -- Tampilkan pesan bantuan dan keluar

## accelerate launch

**Perintah**:

`accelerate launch` atau `accelerate-launch` atau `python -m accelerate.commands.launch`

Menjalankan skrip yang ditentukan pada sistem terdistribusi dengan parameter yang tepat.

**Penggunaan**:

```bash
accelerate launch [arguments] {training_script} --{training_script-argument-1} --{training_script-argument-2} ...
```

**Argumen Posisi**:

- `{training_script}` -- Path lengkap ke skrip yang akan diluncurkan secara paralel
- `--{training_script-argument-1}` -- Argumen dari skrip pelatihan

**Argumen Opsional**:

* `-h`, `--help` (`bool`) -- Tampilkan pesan bantuan dan keluar
* `--config_file CONFIG_FILE` (`str`)-- File konfigurasi yang digunakan untuk nilai default dalam skrip peluncuran.
* `-m`, `--module` (`bool`) -- Ubah setiap proses untuk menafsirkan skrip peluncuran sebagai modul Python, dieksekusi dengan perilaku yang sama seperti 'python -m'.
* `--no_python` (`bool`) -- Lewati penambahan 'python' di awal skrip pelatihan - jalankan langsung. Berguna ketika skripnya bukan skrip Python.
* `--debug` (`bool`) -- Apakah akan mencetak stack trace torch.distributed ketika terjadi kegagalan.
* `-q`, `--quiet` (`bool`) -- Tampilkan error pelatihan tanpa traceback launcher, bahkan dengan `--debug`. Berlaku untuk peluncuran single-process, multi-GPU, dan DeepSpeed.

Sisanya dari argumen ini dikonfigurasi melalui `accelerate config` dan nilainya dibaca dari `--config_file` yang ditentukan (atau konfigurasi default). Argumen-argumen ini juga dapat diberikan secara manual.

**Argumen Pemilihan Perangkat Keras**:

* `--cpu` (`bool`) -- Apakah akan memaksa pelatihan dilakukan di CPU.
* `--multi_gpu` (`bool`) -- Apakah ini harus meluncurkan pelatihan GPU terdistribusi.
* `--tpu` (`bool`) -- Apakah ini harus meluncurkan pelatihan TPU.

**Argumen Pemilihan Sumber Daya**:

Argumen berikut berguna untuk penyesuaian cara penggunaan perangkat keras yang tersedia

* `--mixed_precision {no,fp16,bf16,fp8}` (`str`) -- Apakah akan menggunakan pelatihan presisi campuran atau tidak. Pilih antara pelatihan FP16 dan BF16 (bfloat16). Pelatihan BF16 hanya didukung pada GPU Nvidia Ampere dan PyTorch 1.10 atau lebih baru.
* `--num_processes NUM_PROCESSES` (`int`) -- Jumlah total proses yang akan dijalankan secara paralel.
* `--num_machines NUM_MACHINES` (`int`) -- Jumlah total mesin yang digunakan dalam pelatihan ini.
* `--num_cpu_threads_per_process NUM_CPU_THREADS_PER_PROCESS` (`int`) -- Jumlah thread CPU per proses. Dapat disetel untuk kinerja optimal.
* `--enable_cpu_affinity` (`bool`) -- Apakah CPU affinity dan balancing harus diaktifkan. Saat ini hanya didukung pada perangkat keras NVIDIA.

**Argumen Paradigma Pelatihan**:

Argumen berikut berguna untuk memilih paradigma pelatihan yang akan digunakan.

* `--use_deepspeed` (`bool`) -- Apakah akan menggunakan DeepSpeed untuk pelatihan.
* `--use_fsdp` (`bool`) -- Apakah akan menggunakan FullyShardedDataParallel untuk pelatihan.
* `--use_megatron_lm` (`bool`) -- Apakah akan menggunakan Megatron-LM untuk pelatihan.

**Argumen GPU Terdistribusi**:

Argumen berikut hanya berguna ketika `multi_gpu` diteruskan atau pelatihan multi-GPU dikonfigurasi melalui `accelerate config`:

* `--gpu_ids` (`str`) -- GPU mana (berdasarkan id) yang harus digunakan untuk pelatihan di mesin ini sebagai daftar yang dipisahkan koma
* `--same_network` (`bool`) -- Apakah semua mesin yang digunakan untuk pelatihan multinode berada di jaringan lokal yang sama.
* `--machine_rank` (`int`) -- Rank mesin tempat skrip ini dijalankan.
* `--main_process_ip` (`str`) -- Alamat IP dari mesin dengan rank 0.
* `--main_process_port` (`int`) -- Port yang digunakan untuk berkomunikasi dengan mesin rank 0.
* `-t`, `--tee` (`str`) -- Salin aliran std ke file log dan juga ke konsol.
* `--log_dir` (`str`) -- Direktori dasar untuk digunakan pada file log saat menggunakan torchrun/torch.distributed.run sebagai launcher. Gunakan bersama --tee untuk mengalihkan stream std ke file log.
* `--role` (`str`) -- Peran yang didefinisikan pengguna untuk para worker.
* `--rdzv_backend` (`str`) -- Metode rendezvous yang akan digunakan, seperti 'static' (default) atau 'c10d'
* `--rdzv_conf` (`str`) -- Konfigurasi rendezvous tambahan (=,=,...).
* `--max_restarts` (`int`) -- Jumlah maksimum restart grup worker sebelum gagal.
* `--monitor_interval` (`int`) -- Interval, dalam detik, untuk memantau status worker.

**Argumen TPU**:

Argumen berikut hanya berguna ketika `tpu` diteruskan atau pelatihan TPU dikonfigurasi melalui `accelerate config`:

* `--tpu_cluster` (`bool`) -- Apakah akan menggunakan pod TPU GCP untuk pelatihan.
* `--tpu_use_sudo` (`bool`) -- Apakah akan menggunakan `sudo` saat menjalankan skrip pelatihan TPU di setiap pod.
* `--vm` (`str`) -- Daftar nama instance Compute VM tunggal. Jika tidak disediakan, kami mengasumsikan penggunaan instance groups. Untuk TPU pods.
* `--env` (`str`) -- Daftar variabel lingkungan yang akan disetel pada instance Compute VM. Untuk pod TPU.
* `--main_training_function` (`str`) -- Nama fungsi utama yang akan dieksekusi dalam skrip Anda (hanya untuk pelatihan TPU).
* `--downcast_bf16` (`bool`) -- Apakah saat menggunakan presisi bf16 pada TPU, tensor float dan double sama-sama di-cast menjadi bfloat16, atau tensor double tetap sebagai float32.

**Argumen DeepSpeed**:

Argumen berikut hanya berguna ketika `use_deepspeed` diteruskan atau `deepspeed` dikonfigurasi melalui `accelerate config`:

* `--deepspeed_config_file` (`str`) -- File konfigurasi DeepSpeed.
* `--zero_stage` (`int`) -- Tahap optimasi ZeRO dari DeepSpeed.
* `--offload_optimizer_device` (`str`) -- Menentukan di mana (none|cpu|nvme) untuk meng-offload state optimizer.
* `--offload_param_device` (`str`) -- Menentukan di mana (none|cpu|nvme) parameter akan di-offload.
* `--offload_optimizer_nvme_path` (`str`) -- Menentukan Nvme Path untuk offload optimizer states.
* `--gradient_accumulation_steps` (`int`) -- Jumlah gradient_accumulation_steps yang digunakan dalam skrip pelatihan Anda.
* `--gradient_clipping` (`float`) -- Nilai gradient clipping yang digunakan dalam skrip pelatihan Anda.
* `--zero3_init_flag` (`str`) -- Menentukan apakah (true|false) akan mengaktifkan `deepspeed.zero.Init` untuk membangun model berukuran besar. Hanya berlaku dengan DeepSpeed ZeRO Stage-3.
* `--zero3_save_16bit_model` (`str`) -- Menentukan apakah (true|false) bobot model 16-bit akan disimpan saat menggunakan ZeRO Stage-3. Hanya berlaku dengan DeepSpeed ZeRO Stage-3.
* `--deepspeed_hostfile` (`str`) -- File host DeepSpeed untuk mengatur sumber daya komputasi multi-node.
* `--deepspeed_exclusion_filter` (`str`) -- String filter pengecualian DeepSpeed saat menggunakan setup multi-node.
* `--deepspeed_inclusion_filter` (`str`) -- String filter inklusi DeepSpeed saat menggunakan setup multi-node.
* `--deepspeed_multinode_launcher` (`str`) -- DeepSpeed multi-node launcher yang akan digunakan.
* `--deepspeed_moe_layer_cls_names` (`str`) -- daftar nama kelas layer MoE transformer yang dipisahkan koma (peka huruf besar/kecil) untuk dibungkus, misalnya `MixtralSparseMoeBlock` `Qwen2MoeSparseMoeBlock`, `JetMoEAttention,JetMoEBlock`

**Argumen Fully Sharded Data Parallelism**:

Argumen berikut hanya berguna ketika `use_fsdp` diteruskan atau Fully Sharded Data Parallelism dikonfigurasi melalui `accelerate config`:

* `--fsdp_offload_params` (`str`) -- Menentukan apakah (true|false) parameter dan gradien akan di-offload ke CPU.
* `--fsdp_min_num_params` (`int`) -- Jumlah parameter minimum FSDP untuk Default Auto Wrapping.
* `--fsdp_sharding_strategy` (`int`) -- Strategi Sharding FSDP.
* `--fsdp_auto_wrap_policy` (`str`) -- Kebijakan auto wrap FSDP.
* `--fsdp_transformer_layer_cls_to_wrap` (`str`) -- Nama kelas layer Transformer (case-sensitive) yang akan dibungkus, misalnya `BertLayer`, `GPTJBlock`, `T5Block` ...
* `--fsdp_backward_prefetch_policy` (`str`) -- Kebijakan prefetch backward FSDP.
* `--fsdp_state_dict_type` (`str`) -- tipe state dict FSDP.
* `--fsdp_forward_prefetch` (`str`) -- FSDP forward prefetch.
* `--fsdp_use_orig_params` (`str`) -- Jika True, memungkinkan `requires_grad` yang tidak seragam dicampur dalam unit FSDP.
* `--fsdp_cpu_ram_efficient_loading` (`str`) -- Jika true, hanya proses pertama yang memuat checkpoint model pretrained, sementara semua proses lainnya memiliki bobot kosong. Saat menggunakan ini, `--fsdp_sync_module_states` harus True.
* `--fsdp_sync_module_states` (`str`) -- Jika true, setiap unit FSDP yang dibungkus secara individual akan menyiarkan parameter modul dari rank 0.
* `--fsdp_activation_checkpointing` (`bool`) -- Menentukan apakah aktivasi antara dibebaskan selama forward pass, dan checkpoint ditinggalkan sebagai placeholder

**Argumen Megatron-LM**:

Argumen berikut hanya berguna ketika `use_megatron_lm` diteruskan atau Megatron-LM dikonfigurasi melalui `accelerate config`:

* `--megatron_lm_tp_degree` (``) -- Derajat Tensor Parallelism (TP) Megatron-LM.
* `--megatron_lm_pp_degree` (``) -- Derajat Pipeline Parallelism (PP) Megatron-LM.
* `--megatron_lm_num_micro_batches` (``) -- Jumlah micro batch Megatron-LM ketika derajat PP > 1.
* `--megatron_lm_sequence_parallelism` (``) -- Menentukan apakah (true|false) Sequence Parallelism diaktifkan ketika derajat TP > 1.
* `--megatron_lm_recompute_activations` (``) -- Menentukan apakah (true|false) mengaktifkan Selective Activation Recomputation.
* `--megatron_lm_use_distributed_optimizer` (``) -- Menentukan (true|false) apakah akan menggunakan distributed optimizer yang membagi (sharding) state optimizer dan gradien di antara rank Data Parallel (DP).
* `--megatron_lm_gradient_clipping` (``) -- Nilai gradient clipping Megatron-LM berdasarkan global L2 Norm (0 untuk menonaktifkan).

**Argumen FP8**:

* `--fp8_backend` (`str`) -- Pilih backend untuk melatih dengan FP8 (`ao` atau `te`)
* `--fp8_use_autocast_during_eval` (`bool`) -- Apakah akan menggunakan FP8 autocast selama mode eval (berguna hanya ketika `--fp8_backend=te` diteruskan). Umumnya, metrik yang lebih baik ditemukan ketika ini tidak diteruskan.
* `--fp8_margin` (`int`) -- Margin yang digunakan untuk penskalaan gradien (hanya berguna ketika `--fp8_backend=te` diberikan).
* `--fp8_interval` (`int`) -- Interval yang digunakan untuk seberapa sering scaling factor dihitung ulang (berguna hanya ketika `--fp8_backend=te` diteruskan).
* `--fp8_format` (`str`) -- Format yang digunakan untuk resep FP8 (hanya berguna ketika `--fp8_backend=te` diteruskan).
* `--fp8_amax_history_len` (`int`) -- Panjang riwayat yang digunakan untuk perhitungan faktor penskalaan (berguna hanya ketika `--fp8_backend=te` diteruskan).
* `--fp8_amax_compute_algo` (`str`) -- Algoritma yang digunakan untuk perhitungan faktor penskalaan. (berguna hanya ketika `--fp8_backend=te` diteruskan).
* `--fp8_override_linear_precision` (`Tuple[bool, bool, bool]`) -- Apakah akan mengeksekusi GEMM `fprop`, `dgrad`, dan `wgrad` dalam presisi yang lebih tinggi.

**Argumen AWS SageMaker**:

Argumen berikut hanya berguna saat melatih di SageMaker

* `--aws_access_key_id AWS_ACCESS_KEY_ID` (`str`) -- AWS_ACCESS_KEY_ID yang digunakan untuk meluncurkan Amazon SageMaker training job
* `--aws_secret_access_key AWS_SECRET_ACCESS_KEY` (`str`) -- AWS_SECRET_ACCESS_KEY yang digunakan untuk meluncurkan pekerjaan pelatihan Amazon SageMaker

## accelerate estimate-memory

**Perintah**:

`accelerate estimate-memory` atau `accelerate-estimate-memory` atau `python -m accelerate.commands.estimate`

Mengestimasi total vRAM yang dibutuhkan untuk memuat model tertentu yang di-host di Hub, dengan estimasi untuk pelatihan. Memerlukan `huggingface_hub` terinstal.

    Saat melakukan inferensi, biasanya tambahkan ≤20% ke hasil sebagai alokasi keseluruhan [seperti yang dirujuk di sini](https://blog.eleuther.ai/transformer-math/). Kami akan memiliki estimasi yang lebih luas di masa depan yang secara otomatis akan disertakan dalam perhitungan.

**Penggunaan**:

```bash
accelerate estimate-memory {MODEL_NAME} --library_name {LIBRARY_NAME} --dtypes {dtype_1} {dtype_2} ...
```

**Argumen Wajib**:

* `MODEL_NAME` (`str`)-- Nama model di Hugging Face Hub

**Argumen Opsional**:

* `--library_name {timm,transformers}` (`str`) -- Perpustakaan yang memiliki integrasi dengan model, seperti `transformers`, hanya diperlukan jika informasi ini tidak disimpan di Hub
* `--dtypes {float32,float16,int8,int4}` (`[{float32,float16,int8,int4} ...]`) -- dtype yang akan digunakan untuk model, harus salah satu (atau beberapa) dari `float32`, `float16`, `int8`, dan `int4`
* `--trust_remote_code` (`bool`) -- Apakah model kustom yang didefinisikan di Hub dalam file modeling mereka sendiri diizinkan atau tidak. Opsi ini hanya harus diteruskan untuk repositori yang Anda percaya dan yang kodenya telah Anda baca, karena opsi ini akan mengeksekusi kode yang ada di Hub pada mesin lokal Anda.

## accelerate tpu-config

`accelerate tpu-config`

**Penggunaan**:

```bash
accelerate tpu-config [arguments]
```

**Argumen Opsional**:
* `-h`, `--help` (`bool`) -- Tampilkan pesan bantuan dan keluar

**Argumen Konfigurasi**:

Argumen yang dapat dikonfigurasi melalui `accelerate config`.

* `--config_file` (`str`) -- Path ke file konfigurasi yang akan digunakan untuk accelerate.
* `--tpu_name` (`str`) -- Nama TPU yang akan digunakan. Jika tidak ditentukan, akan menggunakan TPU yang ditentukan dalam file konfigurasi.
* `--tpu_zone` (`str`) -- Zona TPU yang akan digunakan. Jika tidak ditentukan, akan menggunakan zona yang ditentukan dalam file konfigurasi.

**Argumen TPU**:

Argumen untuk opsi yang dijalankan di dalam TPU.

* `--command_file` (`str`) -- Path ke file yang berisi perintah untuk dijalankan pada pod saat startup.
* `--command` (`str`) -- Perintah untuk dijalankan pada pod. Dapat diberikan beberapa kali.
* `--install_accelerate` (`bool`) -- Apakah akan menginstal accelerate pada pod. Defaultnya False.
* `--accelerate_version` (`str`) -- Versi accelerate yang akan diinstal pada pod. Jika tidak ditentukan, versi pypi terbaru akan digunakan. Tentukan 'dev' untuk menginstal dari GitHub.
* `--debug` (`bool`) -- Jika diset, akan mencetak perintah yang akan dijalankan alih-alih menjalankannya.

## accelerate test

`accelerate test` atau `accelerate-test`

Menjalankan `accelerate/test_utils/test_script.py` untuk memverifikasi bahwa 🤗 Accelerate telah dikonfigurasi dengan benar di sistem Anda dan dapat berjalan.

**Penggunaan**:

```bash
accelerate test [arguments]
```

**Argumen Opsional**:
* `--config_file CONFIG_FILE` (`str`) -- Path yang digunakan untuk menyimpan file konfigurasi. Secara default, akan menggunakan file bernama default_config.yaml di lokasi cache, yaitu isi dari variabel lingkungan `HF_HOME` yang diberi akhiran 'accelerate', atau jika Anda tidak memiliki variabel lingkungan tersebut, direktori cache Anda (`~/.cache` atau isi dari `XDG_CACHE_HOME`) yang diberi akhiran `huggingface`.
* `-h`, `--help` (`bool`) -- Tampilkan pesan bantuan dan keluar

