# Genel Bakış

Kantlama, bir modelin ağırlıklarını ve bazen aktivasyonlarını daha az bitte saklayarak modelin daha az bellek gerektirmesini sağlar. Modeller genellikle bf16 olarak yüklenir ve bu, parametre başına 2 bayt yer kaplar. 8B parametreli bir model, bf16'da ağırlıkları için yaklaşık 16GB, 8 bitte yaklaşık 8GB ve 4 bitte yaklaşık 4–5GB bellek gerektirir. Daha az bit, bazı doğruluk kayıplarına yol açar ve her kantlama yöntemi bellek, hız ve doğruluk arasında farklı bir ödünleşim yapar.

Transformers, [from_pretrained()](/docs/transformers/v5.23.0/tr/main_classes/model#transformers.PreTrainedModel.from_pretrained) üzerinden 20'den fazla kuantizasyon yöntemini entegre eder; bu sayede hangi yöntemi seçerseniz seçin aynı yükleme kodunu kullanırsınız.

## Kantize edilmiş bir modelin kullanılabileceği iki yol

Kuantizasyonu nasıl kullanacağınız, kontrol noktanızın (checkpoint) zaten kuantize edilip edilmediğine bağlıdır.

| Şu an sahip olduğunuz | Yaptıklarınız | Yöntemler |
|---|---|---|
| Tam hassasiyetli bir denetim noktası | `from_pretrained` fonksiyonuna bir kuantizasyon yapılandırması iletin; ağırlıklar yükendikçe kuantize edilir. | [Bir modeli yüklerken nicelleştirme](#quantize-a-model-while-loading) |
| Zaten nicelleştirilmiş bir kontrol noktası | `from_pretrained` fonksiyonunu bir kuantizasyon yapılandırması olmadan çağırın. Transformers, yöntemi kontrol noktasının `config.json` dosyasından veya adını verdiğiniz GGUF dosyasından okur. | [Önceden kuantize edilmiş bir kontrol noktası yükleyin](#load-a-pre-quantized-checkpoint) |

AWQ, AutoRound, AQLM, compressed-tensors ve GGUF gibi bazı yöntemler yalnızca bir checkpoint'ten yüklenebilir. Önce modeli ilgili yöntemin kendi kütüphanesiyle kuantize edersiniz, ardından sonucu Transformers'ta yüklersiniz.

## Bir modeli yüklerken nicelleştirme

Yöntemin yapılandırma sınıfını oluşturun ve `quantization_config` parametresine iletin. Aşağıdaki örnek, 8B parametreli bir modeli [bitsandbytes](./bitsandbytes) ile 4 bit olarak yükler.

```py
import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.bfloat16,
)
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-8B-Instruct",
    quantization_config=quantization_config,
    device_map="auto",
)
```

Bu gruptaki her yöntemin [TorchAoConfig](/docs/transformers/v5.23.0/tr/main_classes/quantization#transformers.TorchAoConfig) veya [BitsAndBytesConfig](/docs/transformers/v5.23.0/tr/main_classes/quantization#transformers.BitsAndBytesConfig) gibi kendi yapılandırma sınıfı vardır. Çoğu, kalibrasyon veri seti gerektirmez. [GPTQ](./gptq), model yüklenirken bir veri seti üzerinde kalibrasyon yaptığı için istisnadır.

## Önceden nicelenmiş bir kontrol noktası yükleyin

Önceden kuantize edilmiş bir checkpoint, `config.json` dosyasında bir `quantization_config` barındırır. `from_pretrained` bunu bulduğunda, eşleşen kuantizleyici otomatik olarak seçilir.

```py
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "TheBloke/zephyr-7B-alpha-AWQ",
    device_map="auto",
)
print(model.config.quantization_config.quant_method)
```

Nokta kontrol noktasını (checkpoint) yüklemekten önce, yöntemin bağımlı olduğu kütüphaneyi yükleyin. Her yöntem sayfasında nelerin yüklenmesi gerektiği listelenir. Hangi çekirdek (kernel) arka ucunun çalışacağı gibi yükleme seçeneklerini değiştirmek için, aynı türden bir yapılandırma (config) nesnesi iletin. Bu seçenekler, nokta kontrol noktasında saklanan seçeneklerle birleştirilir.

### GGUF denetim noktaları

GGUF checkpoint, ağırlıkları, yapılandırmayı ve tokenizer'ı tek bir dosyada barındıran bir dosyadır ve `from_pretrained`'in okuyacağı bir `config.json` dosyası yoktur. Dosyanın adını `gguf_file` ile belirtin.

```py
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "unsloth/Qwen3.5-4B-GGUF",
    gguf_file="Qwen3.5-4B-Q4_K_M.gguf",
)
```

Çoğu GGUF modeli, yüklenirken tam hassasiyete dekuantize edilir; bu nedenle, kuantize edilmemiş bir model kadar bellek kullanır. Ağırlıklar yalnızca [kernels](https://huggingface.co/docs/kernels/index) paketi yüklüyse ve Qwen3.5 ile Qwen3.5 MoE için MPS üzerinde sıkıştırılmış kalır. Detaylar için [GGUF](./gguf) bölümüne bakın.

## Kantize edilmiş bir modeli kaydet

Kantize ağırlıkları ve `quantization_config` değerlerini kaydetmek için [save_pretrained()](/docs/transformers/v5.23.0/tr/main_classes/model#transformers.PreTrainedModel.save_pretrained) veya [push_to_hub()](/docs/transformers/v5.23.0/tr/main_classes/model#transformers.utils.PushToHubMixin.push_to_hub) çağırın. Her yöntem, kantize ağırlıklarını kaydedemeyebilir.

## Bir yöntem seçin

[Bir yöntem seçin](./selecting), yaygın hedefler için bir başlangıç noktası önerir ve her yöntemi donanım, bit genişliği, tasarruf, ince ayar ve `torch.compile` desteği açısından karşılaştırır. Bir modelin her hassasiyet seviyesinde donanımınızın belleğine sığıp sığmadığını kontrol etmek için [kantizasyon seçici](https://huggingface.co/spaces/stevhliu/quantization-picker)yi kullanın.

## Diğer araçlar

Bu araçlar, modelleri Transformers dışında kuantize eder.

- [Optimum](https://huggingface.co/docs/optimum/index), modelleri Intel CPU ve ONNX Runtime gibi belirli donanımlar ve çalışma zamanları için kuantize eder.
- Hub Spaces bir modeli kuantize eder ve sonucu hesabınıza gönderir: [bitsandbytes](https://huggingface.co/spaces/bnb-community/bnb-my-repo), [GGUF](https://huggingface.co/spaces/ggml-org/gguf-my-repo) ve [MLX](https://huggingface.co/spaces/mlx-community/mlx-my-repo).

## Kaynaklar

- [Hugging Face ile Kuantizasyon Temelleri](https://www.deeplearning.ai/short-courses/quantization-fundamentals-with-hugging-face/) kursu
- [Derinlemesine Kuantizasyon](https://www.deeplearning.ai/short-courses/quantization-in-depth) kursu

## Sonraki adımlar

- Kantizasyon şemalarının, granülerliğin ve tekniklerin nasıl çalıştığını öğrenmek için [Kantizasyon kavramları](./concept_guide) bölümünü okuyun.
- Uzun üretimler sırasında bellek tasarrufu sağlamak için KV önbelleğini [quantized cache](../kv_cache#quantized-cache) ile kuantize edin.
- Bir modeli [Dışa aktarımları kuantize etme](../exporters_quantization) ile dışa aktarırken kuantize edin.
- [Kantizasyon yöntemi katkıda bulunma](./contribute) ile yeni bir yöntem katkıda bulunun.

