Transformers documentation

SGLang

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.23.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SGLang

SGLang — это движок инференса с низкой задержкой и высокой пропускной способностью для больших языковых моделей (LLM). Он также включает в себя язык фронтенда для создания агентных рабочих процессов.

Установите model_impl="transformers", чтобы загрузить бэкенд моделирования Transformers.

import sglang as sgl

llm = sgl.Engine("meta-llama/Llama-3.2-1B-Instruct", model_impl="transformers")
print(llm.generate(["The capital of France is"], {"max_new_tokens": 20})[0])

Передайте --model-impl transformers в команду sglang.launch_server для онлайн-обслуживания.

python3 -m sglang.launch_server \
  --model-path meta-llama/Llama-3.2-1B-Instruct \
  --model-impl transformers \
  --host 0.0.0.0 \
  --port 30000

Интеграция с Transformers

Установка model_impl="transformers" указывает SGLang пропустить собственное сопоставление моделей и использовать модель Transformers напрямую.

  1. PreTrainedConfig.from_pretrained() loads the model’s config.json from the Hub or your Hugging Face cache.
  2. AutoModel.from_config() определяет класс модели на основе конфигурации.
  3. При загрузке параметр _attn_implementation устанавливается в значение "sglang". Это направляет вызовы внимания через ядра RadixAttention от SGLang.
  4. Класс параллельного линейного слоя SGLang заменяет линейные слои для поддержки тензорного параллелизма.
  5. Функция load_weights заполняет модель весами из файлов safetensors.

Модель получает выгоду от всех оптимизаций SGLang, сохраняя при этом структуру модели Transformers.

Совместимые модели требуют _supports_attention_backend=True, чтобы SGLang мог управлять выполнением внимания. Подробности см. в руководстве Создание совместимого бэкенда модели для инференса.

Ресурсы

Update on GitHub