# Unsloth Entegrasyonu

Unsloth, LLM'leri (Llama, OpenAI gpt-oss, Mistral, Gemma, DeepSeek ve diğerleri gibi) en fazla %80 daha az VRAM ile 2 katına kadar daha hızlı eğiten, ince ayar ve pekiştirmeli öğrenme için açık kaynak bir çerçevedir. Unsloth, [eğitim](https://huggingface.co/docs/trl/en/unsloth_integration#Training), değerlendirme, çalıştırma ve llama.cpp, Ollama ve vLLM gibi diğer çıkarım motorlarıyla [dağıtım](https://huggingface.co/docs/trl/en/unsloth_integration#Saving-the-model) imkânı sunar.

Kütüphane, eğitim, değerlendirme, çıkarım ve dağıtım için akıcı, Hugging Face ile uyumlu bir iş akışı sağlar ve [SFTTrainer](/docs/trl/v1.18.2/tr/sft_trainer#trl.SFTTrainer) ile tam olarak uyumludur.

## Öne Çıkan Özellikler

- Tüm transformer uyumlu modeller için eğitim desteği: Metinden seslendirme (TTS), çok modlu, BERT, RL ve daha fazlası
- Tam ince ayar, ön eğitim, LoRA, QLoRA, 8-bit eğitim ve daha fazlasını destekler
- Linux, Windows, Colab, Kaggle üzerinde çalışır; NVIDIA GPU'ları, yakında AMD & Intel yapılandırmaları
- TRL'in desteklediği çoğu özelliği, RLHF (GSPO, GRPO, DPO vb.) dahil olmak üzere destekler
- El yazımı Triton çekirdekleri ve manuel geri yayılım motoru, doğruluk kaybının (0% yaklaşım hatası) yaşanmadığını garanti eder

## Kurulum

### pip install

Yerel Kurulum (Linux önerilir):

```sh
pip install unsloth
```

`unsloth` paketini [resmiyi belgelere](https://docs.unsloth.ai/get-started/installing-+-updating) göre de yükleyebilirsiniz. Yükleme tamamlandıktan sonra unsloth'u iş akışınıza çok basit bir şekilde entegre edebilirsiniz; [AutoModelForCausalLM](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoModelForCausalLM) yerine aşağıdaki gibi bir `FastLanguageModel` yüklemeniz yeterlidir:

```python
import torch
from trl import SFTConfig, SFTTrainer
from unsloth import FastLanguageModel

max_length = 2048 # Supports automatic RoPE Scaling, so choose any number

# Load model
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/mistral-7b",
    max_seq_length=max_length,
    dtype="auto",  # For auto-detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+
    load_in_4bit=True,  # Use 4bit quantization to reduce memory usage. Can be False
)

# Do model patching and add fast LoRA weights
model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    target_modules=[
        "q_proj",
        "k_proj",
        "v_proj",
        "o_proj",
        "gate_proj",
        "up_proj",
        "down_proj",
    ],
    lora_alpha=16,
    lora_dropout=0,  # Dropout = 0 is currently optimized
    bias="none",  # Bias = "none" is currently optimized
    use_gradient_checkpointing=True,
    random_state=3407,
)

training_args = SFTConfig(output_dir="./output", max_length=max_length)

trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset,
)
trainer.train()
```

Kaydedilen model, Hugging Face'in transformers kütüphanesiyle tam olarak uyumludur. unsloth hakkında daha fazla bilgiyi [resmi deposunda](https://github.com/unslothai/unsloth) bulabilirsiniz.

### Docker Kurulumu

```sh
docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth
```

Jupyter Lab'e ```http://localhost:8888``` adresinden erişin ve ince ayara başlayın!

## Eğitim

Eğitimden önce açılıp kapatılabilen bazı temel ayarlar şunlardır:

- ```max_seq_length = 2048``` – Bağlam uzunluğunu kontrol eder. Llama-3 8192'yi desteklese de testler için 2048 öneririz. Unsloth, 4 kat daha uzun bağlamda ince ayar yapmayı mümkün kılar.
- ```dtype = "auto"``` – Otomatik algılama için; daha yeni GPU'lar için torch.float16 veya torch.bfloat16 kullanın.
- ```load_in_4bit = True``` – 4-bit kuantizasyonu etkinleştirir, ince ayar için bellek kullanımını 4 kat azaltır. Devre dışı bırakılması, LoRA 16-bit ince ayarının etkinleştirilmesine olanak tanır.
- Tamamı ince ayar (FFT) etkinleştirmek için ```full_finetuning = True``` değerini ayarlayın. 8-bit ince ayar için ```load_in_8bit = True``` değerini ayarlayın. Not: Aynı anda yalnızca bir eğitim yöntemi True olarak ayarlanabilir.

Unsloth'un hiperparametrelerini ve özelliklerini yapılandırmaya ilişkin daha fazla bilgi için [buradaki](https://docs.unsloth.ai/get-started/fine-tuning-llms-guide) dokümantasyon kılavuzlarını okuyun.

## Modeli kaydetme

Unsloth, ince ayar yapılmış modeli doğrudan LoRA adaptörü adı verilen küçük bir dosya olarak kaydetmenizi sağlar. Modelinizi yüklemek isterseniz, bunun yerine Hugging Face hub'a da gönderebilirsiniz! Bir [Hugging Face token](https://huggingface.co/settings/tokens) edinmeyi ve token'ınızı eklemeyi unutmayın!

### GGUF olarak kaydetme

GGUF olarak kaydetmek için Unsloth, llama.cpp kullanır. Yerel olarak kaydetmek için:

```python
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q4_k_m")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q8_0")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "f16")
```

Hub'a göndermek için:

```python
model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q4_k_m")
model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q8_0")
```

### vLLM'ye Kaydetme

vLLM için 16-bit olarak kaydetmek için şunu kullanın:

```python
model.save_pretrained_merged("model", tokenizer, save_method = "merged_16bit",)
model.push_to_hub_merged("hf/model", tokenizer, save_method = "merged_16bit", token = "")
```

