Skip to content

本地运行大模型的方法 ​

一、基于modelscope下载大模型 ​

安装modelscope:

shell
uv tool install modelscope

使用modelscope下载大模型:

shell
modelscope download --model unsloth/Qwen3.5-4B-GGUF Qwen3.5-4B-Q4_K_M.gguf

模型格式:GGUF(普通电脑万能格式)、MLX(苹果芯片专属)、AWQ/GPTQ(显卡专用压缩)、BF16(显卡满血原版)。

二、基于llama.cpp运行大模型 ​

在Github Releases页面下载对应版本的llama.cpp,解压并配置环境变量。

使用llama.cpp运行大模型:

shell
cd ~/.cache/modelscope/models/unsloth--Qwen3.5-4B-GGUF/snapshots/master/
llama serve -m Qwen3.5-4B-Q4_K_M.gguf -ngl 99 -c 16384 --parallel 1

在浏览器或工具中使用本地大模型:http://127.0.0.1:9931/。

附录 ​

基于ollama下载并运行本地大模型 ​

ollama基于llama.cpp,但性能一般,建议直接使用llama.cpp。

shell
ollama run qwen2.5-coder:7b

查看服务状态:

curl http://localhost:11434/api/tags