Transformers documentation

vLLM

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.23.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

vLLM

vLLM 是一个用于大规模部署 LLM 的高吞吐量推理引擎。它通过持续批处理请求,并利用 PagedAttention 保持 KV 缓存内存的紧凑性。

设置 model_impl="transformers" 以使用 Transformers 建模后端加载模型。

from vllm import LLM

llm = LLM(model="meta-llama/Llama-3.2-1B", model_impl="transformers")
print(llm.generate(["The capital of France is"]))

对于在线服务,请在 vllm serve 命令中传入 --model-impl transformers。

vllm serve meta-llama/Llama-3.2-1B \
    --task generate \
    --model-impl transformers

Transformers 集成

  1. AutoConfig.from_pretrained() 会从 Hub 或您的 Hugging Face 缓存中加载模型的 config.json。vLLM 会将 architectures 字段与其内部模型注册表进行比对,以确定应使用哪个 vLLM 模型类。
  2. 如果模型不在注册表中,vLLM 会调用 AutoModel.from_config() 来加载 Transformers 模型实现。
  3. AutoTokenizer.from_pretrained() 用于加载分词器文件。vLLM 会缓存部分分词器内部状态,以降低推理过程中的开销。
  4. 模型权重以 safetensors 格式从 Hub 下载。

设置 model_impl="transformers" 会绕过 vLLM 模型注册表,直接从 Transformers 加载。vLLM 会用其自有的优化版本替换大部分模型模块(MoE、注意力、线性层),同时保留 Transformers 的模型结构。

资源

Update on GitHub