Uso de GGUF com llama.cpp

Agora você pode implantar qualquer GGUF compatível com llama.cpp nos Hugging Face Endpoints; saiba mais sobre isso aqui

Llama.cpp permite que você baixe e execute inferência em um GGUF simplesmente fornecendo o caminho do repositório no Hugging Face e o nome do arquivo. O llama.cpp baixa o checkpoint do modelo e o faz cache automaticamente. A localização do cache é definida pela variável de ambiente LLAMA_CACHE; leia mais sobre isso aqui.

Você pode instalar o llama.cpp usando o instalador no macOS e no Linux, via WinGet no Windows, ou compilando a partir do código-fonte. Consulte a documentação oficial para outras opções de instalação, incluindo Docker.

Opção 1: Instalar llama.cpp

No macOS e no Linux:

curl -LsSf https://llama.app/install.sh | sh

Alternativamente, instale com o Homebrew:

brew install llama.cpp

No Windows, use o WinGet:

winget install llama.cpp

Opção 2: compilar a partir do código-fonte

Etapa 1: Clone o llama.cpp do GitHub.

git clone https://github.com/ggml-org/llama.cpp.git

Etapa 2: Acesse a pasta llama.cpp e compile o projeto. Você também pode adicionar flags específicas de hardware (por exemplo: -DGGML_CUDA=1 para GPUs Nvidia).

cd llama.cpp
cmake -B build   # optionally, add -DGGML_CUDA=ON to activate CUDA
cmake --build build --config Release -j --target llama-app

Observação: para suporte a outros hardwares (por exemplo: AMD ROCm, Intel SYCL), consulte o guia de compilação do llama.cpp

Se você compilou a partir do código-fonte, use ./build/bin/llama no lugar de llama nos comandos abaixo.

Depois de instalado, você pode usar llama cli ou llama serve da seguinte forma:

llama cli -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

Observação: Para o modo de conclusão bruta (modo não-chat), use llama completion com -no-cnv em vez de llama cli.

Além disso, você pode invocar diretamente um endpoint de chat completions da especificação OpenAI usando o servidor llama.cpp:

llama serve -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0 --port 8080

Depois de executar o servidor, você pode simplesmente utilizar o endpoint da seguinte forma:

curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer no-key" \
-d '{
"messages": [
    {
        "role": "system",
        "content": "You are an AI assistant. Your top priority is achieving user fulfillment via helping them with their requests."
    },
    {
        "role": "user",
        "content": "Write a limerick about Python exceptions"
    }
  ]
}'

Substitua -hf por qualquer nome de repositório válido no hub do Hugging Face - e pronto! 🦙