Transformers documentation
SGLang
SGLang
SGLang — это движок инференса с низкой задержкой и высокой пропускной способностью для больших языковых моделей (LLM). Он также включает в себя язык фронтенда для создания агентных рабочих процессов.
Установите model_impl="transformers", чтобы загрузить бэкенд моделирования Transformers.
import sglang as sgl
llm = sgl.Engine("meta-llama/Llama-3.2-1B-Instruct", model_impl="transformers")
print(llm.generate(["The capital of France is"], {"max_new_tokens": 20})[0])Передайте --model-impl transformers в команду sglang.launch_server для онлайн-обслуживания.
python3 -m sglang.launch_server \ --model-path meta-llama/Llama-3.2-1B-Instruct \ --model-impl transformers \ --host 0.0.0.0 \ --port 30000
Интеграция с Transformers
Установка model_impl="transformers" указывает SGLang пропустить собственное сопоставление моделей и использовать модель Transformers напрямую.
- PreTrainedConfig.from_pretrained() loads the model’s
config.jsonfrom the Hub or your Hugging Face cache. - AutoModel.from_config() определяет класс модели на основе конфигурации.
- При загрузке параметр
_attn_implementationустанавливается в значение"sglang". Это направляет вызовы внимания через ядра RadixAttention от SGLang. - Класс параллельного линейного слоя SGLang заменяет линейные слои для поддержки тензорного параллелизма.
- Функция load_weights заполняет модель весами из файлов safetensors.
Модель получает выгоду от всех оптимизаций SGLang, сохраняя при этом структуру модели Transformers.
Совместимые модели требуют
_supports_attention_backend=True, чтобы SGLang мог управлять выполнением внимания. Подробности см. в руководстве Создание совместимого бэкенда модели для инференса.
Ресурсы
- Документация SGLang содержит дополнительные примеры использования и советы по применению Transformers в качестве бэкенда.
- Блог-пост Transformers backend integration in SGLang объясняет, что позволяет эта интеграция.