Accelerate documentation
Perkiraan memori model
Perkiraan memori model
Salah satu aspek yang sangat sulit saat mengeksplorasi model potensial untuk digunakan di mesin Anda adalah mengetahui seberapa besar model yang dapat muat ke dalam memori dengan perangkat Anda saat ini (seperti memuat model ke CUDA atau XPU).
Untuk membantu meringankan masalah ini, Accelerate menyediakan antarmuka CLI melalui accelerate estimate-memory. Tutorial ini akan
membimbing Anda dalam penggunaannya, apa yang perlu diharapkan, dan di akhir akan memberikan tautan ke demo interaktif yang dihosting di Hub, yang bahkan
memungkinkan Anda memposting hasil tersebut langsung di repo model!
Saat ini kami mendukung pencarian model yang dapat digunakan di timm dan transformers.
API ini akan memuat model ke memori pada perangkat
meta, sehingga kami tidak benar-benar mengunduh dan memuat bobot penuh model ke memori, dan kami juga tidak membutuhkannya. Akibatnya, sangat wajar untuk mengukur model dengan 8 miliar parameter (atau lebih), tanpa perlu khawatir apakah CPU Anda mampu menanganinya!
Demo Gradio
Berikut adalah beberapa demo gradio yang berkaitan dengan apa yang dijelaskan di atas. Yang pertama adalah space estimasi memori resmi Hugging Face, yang memanfaatkan Accelerate secara langsung:
Seorang anggota komunitas telah mengambil ide tersebut dan mengembangkannya lebih jauh, memungkinkan Anda untuk memfilter model secara langsung dan melihat apakah Anda dapat menjalankan LLM tertentu dengan mempertimbangkan batasan GPU dan konfigurasi LoRA. Untuk mencobanya, lihat di sini untuk detail lebih lanjut.
Perintah
Saat menggunakan accelerate estimate-memory, Anda perlu memasukkan nama model yang ingin digunakan, kerangka kerja (framework) yang digunakan oleh model tersebut (jika tidak dapat ditemukan secara otomatis), dan tipe data yang ingin digunakan untuk memuat model.
Sebagai contoh, berikut adalah cara kita dapat menghitung jejak memori untuk bert-base-cased:
accelerate estimate-memory bert-base-cased
Ini akan mengunduh config.json untuk bert-based-cased, memuat model pada perangkat meta, dan melaporkan berapa banyak ruang yang akan digunakan:
Penggunaan Memori untuk memuat bert-base-cased:
| dtype | Lapisan Terbesar | Total Ukuran | Pelatihan menggunakan Adam |
|---|---|---|---|
| float32 | 84,95 MB | 418,18 MB | 1,61 GB |
| float16 | 42,47 MB | 206,59 MB | 826,36 MB |
| int8 | 21,24 MB | 103,29 MB | 413,18 MB |
| int4 | 10,62 MB | 51,65 MB | 206,59 MB |
Secara default, fungsi ini akan mengembalikan semua dtype yang didukung (int4 hingga float32), tetapi jika Anda tertarik pada dtype tertentu, dtype tersebut dapat difilter.
Perpustakaan tertentu
Jika pustaka sumber tidak dapat ditentukan secara otomatis (seperti yang bisa dilakukan pada kasus bert-base-cased), nama pustaka dapat
dilewatkan.
accelerate estimate-memory HuggingFaceM4/idefics-80b-instruct --library_name transformers
Penggunaan Memori untuk memuat HuggingFaceM4/idefics-80b-instruct:
| dtype | Lapisan Terbesar | Total Ukuran | Pelatihan menggunakan Adam |
|---|---|---|---|
| float32 | 3,02 GB | 297,12 GB | 1.16 TB |
| float16 | 1,51 GB | 148,56 GB | 594.24 GB |
| int8 | 772.52 MB | 74,28 GB | 297,12 GB |
| int4 | 386,26 MB | 37,14 GB | 148,56 GB |
accelerate estimate-memory timm/resnet50.a1_in1k --library_name timm
Penggunaan Memori untuk memuat timm/resnet50.a1_in1k:
| dtype | Lapisan Terbesar | Total Ukuran | Pelatihan menggunakan Adam |
|---|---|---|---|
| float32 | 9,0 MB | 97,7 MB | 390,78 MB |
| float16 | 4,5 MB | 48,85 MB | 195,39 MB |
| int8 | 2,25 MB | 24,42 MB | 97,7 MB |
| int4 | 1,12 MB | 12,21 MB | 48,85 MB |
dtype tertentu
Seperti yang disebutkan sebelumnya, meskipun secara default kami mengembalikan int4 hingga float32, dtype apa pun dapat digunakan dari float32, float16, int8, dan int4.
Untuk melakukannya, berikan setelah menentukan --dtypes:
accelerate estimate-memory bert-base-cased --dtypes float32 float16
Penggunaan Memori untuk memuat bert-base-cased:
| dtype | Lapisan Terbesar | Total Ukuran | Pelatihan menggunakan Adam |
|---|---|---|---|
| float32 | 84,95 MB | 413,18 MB | 1,61 GB |
| float16 | 42,47 MB | 206,59 MB | 826,36 MB |
Catatan terkait kalkulator ini
Kalkulator ini akan memberi tahu Anda berapa banyak memori yang dibutuhkan untuk memuat model saja, bukan untuk melakukan inferensi.
Perhitungan ini akurat dalam beberapa % dari nilai sebenarnya, sehingga memberikan gambaran yang sangat baik tentang berapa banyak memori yang akan dibutuhkan. Misalnya, memuat bert-base-cased sebenarnya membutuhkan 413.68 MB saat dimuat di CUDA dengan presisi penuh, dan kalkulator memperkirakan 413.18 MB.
Saat melakukan inferensi, Anda dapat mengharapkan penambahan hingga 20% tambahan, sebagaimana ditemukan oleh EleutherAI. Kami akan melakukan penelitian untuk menemukan estimasi yang lebih akurat untuk nilai-nilai ini, dan akan memperbarui kalkulator ini setelah selesai.
Update on GitHub