Sử dụng GGUF với LM Studio

LM Studio là ứng dụng desktop để thử nghiệm và phát triển với các mô hình AI cục bộ ngay trên máy tính của bạn. LM Studio được xây dựng dựa trên llama.cpp và hoạt động trên Mac (Apple Silicon), Windows và Linux!

Tải mô hình từ Hugging Face vào LM Studio

Đầu tiên, hãy bật LM Studio trong Cài đặt ứng dụng cục bộ của bạn trên Hugging Face.

Tùy chọn 1: Sử dụng nút ‘Use this model’ ngay từ Hugging Face

Với bất kỳ LLM GGUF hoặc MLX nào, hãy nhấp vào menu thả xuống “Use this model” và chọn LM Studio. Thao tác này sẽ chạy mô hình trực tiếp trong LM Studio nếu bạn đã cài đặt, hoặc hiển thị tùy chọn tải xuống nếu bạn chưa có.

Để thử LM Studio với một mô hình đang thịnh hành, hãy tìm chúng tại đây: https://huggingface.co/models?library=gguf\&sort=trending

Tùy chọn 2: Sử dụng Trình tải xuống trong ứng dụng của LM Studio

Mở ứng dụng LM Studio và tìm kiếm bất kỳ model nào bằng cách nhấn ⌘ + Shift + M trên Mac, hoặc Ctrl + Shift + M trên PC (M là viết tắt của Models). Bạn thậm chí có thể dán toàn bộ URL của Hugging Face vào thanh tìm kiếm!

Với mỗi model, bạn có thể mở rộng dropdown để xem nhiều tùy chọn quantization. LM Studio sẽ làm nổi bật lựa chọn được khuyến nghị cho phần cứng của bạn và chỉ ra các tùy chọn nào được hỗ trợ.

Tùy chọn 3: Sử dụng lms, CLI của LM Studio:

Nếu bạn thích quy trình làm việc dựa trên terminal, hãy sử dụng lms, CLI của LM Studio.

Tìm kiếm các mô hình từ terminal:

Tìm kiếm bằng từ khóa

lms get qwen

Lọc kết quả tìm kiếm theo MLX hoặc GGUF

lms get qwen \--mlx  # or \--gguf

Tải xuống bất kỳ mô hình nào từ Hugging Face:

Sử dụng URL Hugging Face đầy đủ

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF

Chọn một phương pháp lượng tử hóa mô hình

Bạn có thể chọn mức lượng tử hóa mô hình cân bằng giữa hiệu suất, mức sử dụng bộ nhớ và độ chính xác.

Điều này được thực hiện bằng định danh tử @, ví dụ:

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF@Q6\_K

Bạn đã tải xuống mô hình – Tiếp theo là gì?

Bạn đã tải xuống một mô hình theo một trong các tùy chọn ở trên, bây giờ hãy bắt đầu với LM Studio!

Bắt đầu với ứng dụng LM Studio

Trong ứng dụng LM Studio, hãy chuyển đến trình tải mô hình để xem danh sách các mô hình đã tải xuống và chọn một mô hình để tải. Bạn có thể tùy chỉnh các tham số tải mô hình, mặc dù LM Studio mặc định sẽ chọn các tham số tải tối ưu hóa hiệu suất mô hình trên phần cứng của bạn.

Khi mô hình đã hoàn tất quá trình tải (được thể hiện qua thanh tiến trình), bạn có thể bắt đầu trò chuyện bằng giao diện chat của ứng dụng của chúng tôi!

Hoặc, sử dụng CLI của LM Studio để tương tác với các mô hình của bạn

Xem danh sách các lệnh tại đây. Lưu ý rằng bạn cần chạy LM Studio ít nhất một lần trước khi có thể sử dụng lms

Theo dõi các mô hình mới nhất

Theo dõi trang LM Studio Community trên Hugging Face để cập nhật các mô hình LLM cục bộ mới nhất và tốt nhất ngay khi chúng được phát hành.