Utilisation de GGUF avec LM Studio

LM Studio est une application de bureau permettant d’expérimenter et de développer avec des modèles d’IA locaux directement sur votre ordinateur. LM Studio est basé sur llama.cpp et fonctionne sur Mac (Apple Silicon), Windows et Linux !

Obtenir des modèles de Hugging Face dans LM Studio

Tout d'abord, activez LM Studio dans vos Paramètres des applications locales sur Hugging Face.

Option 1 : Utiliser le bouton « Utiliser ce modèle » directement depuis Hugging Face

Pour tout LLM GGUF ou MLX, cliquez sur le menu déroulant « Use this model » et sélectionnez LM Studio. Cela exécutera le modèle directement dans LM Studio si vous l’avez déjà installé, ou vous proposera une option de téléchargement si ce n’est pas le cas.

Pour essayer LM Studio avec un modèle tendance, retrouvez-les ici : https://huggingface.co/models?library=gguf\&sort=trending

Option 2 : Utiliser le téléchargeur intégré de LM Studio

Ouvrez l’application LM Studio et recherchez n’importe quel modèle en appuyant sur ⌘ + Shift + M sur Mac, ou Ctrl + Shift + M sur PC (M pour Models). Vous pouvez même coller des URL Hugging Face entières dans la barre de recherche !

Pour chaque modèle, vous pouvez déplier le menu déroulant pour afficher plusieurs options de quantification. LM Studio met en évidence le choix recommandé pour votre matériel et indique les options prises en charge.

Option 3 : utiliser lms, l’interface en ligne de commande de LM Studio :

Si vous préférez un flux de travail basé sur le terminal, utilisez lms, l’interface en ligne de commande de LM Studio.

Rechercher des modèles depuis le terminal :

Rechercher avec un mot-clé

lms get qwen

Filtrer la recherche par résultats MLX ou GGUF

lms get qwen \--mlx  # or \--gguf

Téléchargez n'importe quel modèle depuis Hugging Face :

Utiliser une URL Hugging Face complète

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF

Choisir une quantification de modèle

Vous pouvez choisir un niveau de quantification du modèle qui offre un équilibre entre les performances, l'utilisation de la mémoire et la précision.

Ceci est fait avec le qualificateur @, par exemple :

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF@Q6\_K

Vous avez téléchargé le modèle – Et maintenant ?

Vous avez téléchargé un modèle en suivant l’une des options ci-dessus, passons maintenant à LM Studio !

Démarrer avec l'application LM Studio

Dans l'application LM Studio, accédez au chargeur de modèles pour afficher la liste des modèles téléchargés et en sélectionnez un à charger. Vous pouvez personnaliser les paramètres de chargement du modèle, bien que LM Studio sélectionne par défaut les paramètres de chargement qui optimisent les performances du modèle sur votre matériel.

Une fois que le modèle a terminé son chargement (comme l’indique la barre de progression), vous pouvez commencer à discuter en utilisant l’interface de chat de notre application !

Sinon, utilisez l’interface en ligne de commande de LM Studio pour interagir avec vos modèles

Consultez la liste des commandes ici. Notez que vous devez exécuter LM Studio au moins une fois avant de pouvoir utiliser lms

Suivre les derniers modèles

Suivez la page LM Studio Community sur Hugging Face pour rester informé des derniers LLM locaux dès leur sortie.