ollama本地部署大模型

简介

ollama

安装

Windows

https://ollama.com/download/OllamaSetup.exe

Linux

1

curl -fsSL https://ollama.com/install.sh | sh

MacOS

https://ollama.com/download/Ollama-darwin.zip

运行模型

直接运行

示例

1

ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF

1

ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_M

运行 ollama list 可以看到下载的模型

不过这种方式有个小缺点，名字太长

导入模型

新建单个文件夹，从网站下载模型

新建 Modelfile文件

填入类似内容 FROM ./DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf

在文件夹打开终端

运行如下命令，创建名为 deepseek-r1:14b的模型

1

ollama create deepseek-r1:14b -f Modelfile

运行 ollama list 可以看到刚才的模型

模型

模型库

如下模型库收集了超级多的模型，都可以直接下载

modelscope：https://modelscope.cn（国内）

huggingface：https://huggingface.co（国外）

这些模型也提供了对应的下载工具

1
2


# modelscope 提供 modelscope
pip install modelscope

1
2


# huggingface 提供 huggingface-cli
pip install -U huggingface_hub

使用方法

简单示例

1
2


# modelscope
modelscope download --model=Qwen/Qwen2.5-Coder-3B-Instruct-GGUF qwen2.5-coder-3b-instruct-q5_k_m.gguf --local_dir .

1
2


# huggingface-cli
huggingface-cli download Qwen/Qwen2.5-3B-Instruct-GGUF qwen2.5-3b-instruct-q5_k_m.gguf --local-dir . --local-dir-use-symlinks False

Chat

1

ollama run deepseek-r1:1.5b

Embedding

1

ollama pull bge-m3

实际案例

Qwen/Qwen2.5-Coder-3B-Instruct-GGUF

创建文件夹

1

mkdir -p d:/llm/models/

1

cd d:/llm/models

1

mkdir -p Qwen/Qwen2.5-Coder-3B-Instruct-GGUF

1

cd Qwen/Qwen2.5-Coder-3B-Instruct-GGUF

使用 modelscope 下载模型

1

modelscope download --model=Qwen/Qwen2.5-Coder-3B-Instruct-GGUF qwen2.5-coder-3b-instruct-q5_k_m.gguf --local_dir .

windows 下在 powershell 中可以这样打开文件管理器：explorer.exe .

新建一个 Modelfile 文件，名字就叫 qwen2.5-coder-3b-instruct-q5_k_m.Modelfile

打开填入以下内容

1

FROM ./qwen2.5-coder-3b-instruct-q5_k_m.gguf

使用 ollama 加载模型

1

ollama create qwen2.5-coder-3b-instruct:q5km -f ./qwen2.5-coder-3b-instruct-q5_k_m.Modelfile

ollama 查看模型

1

ollama list

结果如下

1
2
3


PS D:\llm\models\Qwen\Qwen2.5-Coder-3B-Instruct-GGUF> ollama list
NAME                              ID              SIZE      MODIFIED
qwen2.5-coder-3b-instruct:q5km    3c865efbc32c    2.4 GB    16 seconds ago