Transformers documentation
vLLM
快速入门
基类
模型
预处理器
推理
Pipeline API
生成 API
优化
与模型对话
服务
训练
硬件
量化
生态系统集成
资源
API
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v5.23.0).
vLLM
vLLM 是一个用于大规模部署 LLM 的高吞吐量推理引擎。它通过持续批处理请求,并利用 PagedAttention 保持 KV 缓存内存的紧凑性。
设置 model_impl="transformers" 以使用 Transformers 建模后端加载模型。
from vllm import LLM
llm = LLM(model="meta-llama/Llama-3.2-1B", model_impl="transformers")
print(llm.generate(["The capital of France is"]))对于在线服务,请在 vllm serve 命令中传入 --model-impl transformers。
vllm serve meta-llama/Llama-3.2-1B \
--task generate \
--model-impl transformersTransformers 集成
- AutoConfig.from_pretrained() 会从 Hub 或您的 Hugging Face 缓存中加载模型的
config.json。vLLM 会将architectures字段与其内部模型注册表进行比对,以确定应使用哪个 vLLM 模型类。 - 如果模型不在注册表中,vLLM 会调用 AutoModel.from_config() 来加载 Transformers 模型实现。
- AutoTokenizer.from_pretrained() 用于加载分词器文件。vLLM 会缓存部分分词器内部状态,以降低推理过程中的开销。
- 模型权重以 safetensors 格式从 Hub 下载。
设置 model_impl="transformers" 会绕过 vLLM 模型注册表,直接从 Transformers 加载。vLLM 会用其自有的优化版本替换大部分模型模块(MoE、注意力、线性层),同时保留 Transformers 的模型结构。
资源
- 有关更多使用示例和技巧,请参阅 vLLM 文档。
- 与 Hugging Face 的集成介绍了 vLLM 如何与 Transformers 集成。