Hugging Face Blog·2026-09-22 08:00· 9 天前精选AI 评分62

transformers 新增 llama.cpp GGUF 量化模型支持

Transformers now runs llama.cpp quants

AI 导读

Hugging Face 在 transformers 中加入 GGUF 模型支持，用户可从 Hub 选取量化 checkpoint，通过 from_pretrained 传入 gguf_file 在本地生成，也可用 transformers serve 暴露 OpenAI 兼容 API。

推荐理由

Hugging Face 官方说明 transformers 如何直接加载 GGUF 量化权重，并给出与 llama.cpp 的实测对比和当前限制。

来源：Hugging Face Blog · huggingface.co