Uso de GGUF con LM Studio

LM Studio es una aplicación de escritorio para experimentar y desarrollar con modelos de IA locales directamente en tu computadora. LM Studio se basa en llama.cpp y funciona en Mac (Apple Silicon), Windows y Linux.

Obtener modelos de Hugging Face en LM Studio

Primero, habilita LM Studio en tus Ajustes de aplicaciones locales en Hugging Face.

Opción 1: usar el botón ‘Use this model’ directamente desde Hugging Face

Para cualquier LLM en formato GGUF o MLX, haz clic en el menú desplegable “Use this model” y selecciona LM Studio. Esto ejecutará el modelo directamente en LM Studio si ya lo tienes instalado, o te mostrará una opción de descarga si no lo tienes.

Para probar LM Studio con un modelo de tendencia, búscalos aquí: https://huggingface.co/models?library=gguf\&sort=trending

Opción 2: Usar el descargador integrado de LM Studio

Abre la aplicación LM Studio y busca cualquier modelo presionando ⌘ + Shift + M en Mac, o Ctrl + Shift + M en PC (M significa Models). ¡Incluso puedes pegar URLs completas de Hugging Face en la barra de búsqueda!

Para cada modelo, puedes expandir el menú desplegable para ver varias opciones de cuantización. LM Studio resalta la opción recomendada para tu hardware e indica qué opciones son compatibles.

Opción 3: usar lms, la CLI de LM Studio:

Si prefieres un flujo de trabajo basado en la terminal, usa lms, la CLI de LM Studio.

Busque modelos desde la terminal:

Buscar con palabra clave

lms get qwen

Filtrar la búsqueda por resultados de MLX o GGUF

lms get qwen \--mlx  # or \--gguf

Descarga cualquier modelo de Hugging Face:

Usa una URL completa de Hugging Face

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF

Elija una cuantización de modelo

Puede elegir un nivel de cuantización del modelo que equilibre el rendimiento, el uso de memoria y la precisión.

Esto se hace con el cualificador @, por ejemplo:

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF@Q6\_K

Descargaste el modelo, ¿y ahora qué?

Has descargado un modelo siguiendo una de las opciones anteriores, ahora comencemos en LM Studio.

Primeros pasos con la aplicación LM Studio

En la aplicación LM Studio, acceda al cargador de modelos para ver una lista de los modelos descargados y seleccione uno para cargarlo. Puede personalizar los parámetros de carga del modelo, aunque LM Studio seleccionará de forma predeterminada los parámetros de carga que optimizan el rendimiento del modelo en su hardware.

Una vez que el modelo haya terminado de cargarse (como lo indica la barra de progreso), ¡puedes empezar a chatear usando la interfaz de chat de nuestra aplicación!

O bien, use la CLI de LM Studio para interactuar con sus modelos

Vea una lista de comandos aquí. Tenga en cuenta que debe ejecutar LM Studio al menos una vez antes de poder usar lms

Mantenerse al día con los últimos modelos

Sigue la página de la comunidad de LM Studio en Hugging Face para mantenerte al día con los últimos y mejores LLM locales en cuanto se publiquen.