外观
本地运行大模型的方法
一、基于modelscope下载大模型
安装modelscope:
shell
uv tool install modelscope使用modelscope下载大模型:
shell
modelscope download --model unsloth/Qwen3.5-4B-GGUF Qwen3.5-4B-Q4_K_M.gguf模型格式:GGUF(普通电脑万能格式)、MLX(苹果芯片专属)、AWQ/GPTQ(显卡专用压缩)、BF16(显卡满血原版)。
二、基于llama.cpp运行大模型
在Github Releases页面下载对应版本的llama.cpp,解压并配置环境变量。
使用llama.cpp运行大模型:
shell
cd ~/.cache/modelscope/models/unsloth--Qwen3.5-4B-GGUF/snapshots/master/
llama serve -m Qwen3.5-4B-Q4_K_M.gguf -ngl 99 -c 16384 --parallel 1在浏览器或工具中使用本地大模型:http://127.0.0.1:9931/。
附录
基于ollama下载并运行本地大模型
ollama基于llama.cpp,但性能一般,建议直接使用llama.cpp。
shell
ollama run qwen2.5-coder:7b查看服务状态:
curl http://localhost:11434/api/tags