ollama本地部署大模型

简介

ollama

安装

Windows

https://ollama.com/download/OllamaSetup.exe

Linux

1

curl -fsSL https://ollama.com/install.sh | sh

MacOS

https://ollama.com/download/Ollama-darwin.zip

配置

远程访问

默认情况下，Ollama 仅允许本机访问。要让它对外提供服务，需要设置以下环境变量：

1
2


OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

模型位置

默认模型的位置在家目录下 .ollama\models，如果需要修改添加变量指向需要存放的位置

1

OLLAMA_MODELS=D:\llm\ollama

运行模型

直接运行

ollama 官方提供：

可在这里查看更多模型

1

ollama run qwen3:4b

第三方仓库的模型：

1

ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF

1

ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_M

不过这种方式有个小缺点，名字太长

命令

直接运行 ollama 可以查看命令帮助

运行模型

1

ollama run xxxx

查看可用的模型

1

ollama list

内置的命令：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

运行模型

终端运行：使用 ollama run xxx 直接运行模型，在终端中对话
第三方软件：
- cherry-studio
浏览器插件：
- Page Assist - A Web UI for Local AI Models

截止到：2025-08-09 ollama 已经有一个图形化对话的窗口

导入模型

导入手动下载的模型

新建单个文件夹，从网站下载模型

新建 Modelfile文件

填入类似内容 FROM ./DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf

在文件夹打开终端

运行如下命令，创建名为 deepseek-r1:14b的模型

1

ollama create deepseek-r1:14b -f Modelfile

运行 ollama list 可以看到刚才的模型

模型

模型库

如下模型仓库收集了超级多的模型，都可以直接下载

modelscope（魔搭社区）：https://modelscope.cn（国内）

huggingface（抱脸网）：https://huggingface.co（国外）

这些模型仓库也提供了对应的下载工具

1
2


# modelscope 提供 modelscope
pip install modelscope

1
2


# huggingface 提供 huggingface-cli
pip install -U huggingface_hub

下载的简单示例

1
2


# modelscope
modelscope download --model=Qwen/Qwen2.5-Coder-3B-Instruct-GGUF qwen2.5-coder-3b-instruct-q5_k_m.gguf --local_dir .

1
2


# huggingface-cli
huggingface-cli download Qwen/Qwen2.5-3B-Instruct-GGUF qwen2.5-3b-instruct-q5_k_m.gguf --local-dir . --local-dir-use-symlinks False

下载的实际案例

Qwen/Qwen2.5-Coder-3B-Instruct-GGUF

创建文件夹

1

mkdir -p d:/llm/models/

1

cd d:/llm/models

1

mkdir -p Qwen/Qwen2.5-Coder-3B-Instruct-GGUF

1

cd Qwen/Qwen2.5-Coder-3B-Instruct-GGUF

使用 modelscope 下载模型

1

modelscope download --model=Qwen/Qwen2.5-Coder-3B-Instruct-GGUF qwen2.5-coder-3b-instruct-q5_k_m.gguf --local_dir .

windows 下在 powershell 中可以这样打开文件管理器：explorer.exe .

新建一个 Modelfile 文件，名字就叫 qwen2.5-coder-3b-instruct-q5_k_m.Modelfile

打开填入以下内容

1

FROM ./qwen2.5-coder-3b-instruct-q5_k_m.gguf

使用 ollama 加载模型

1

ollama create qwen2.5-coder-3b-instruct:q5km -f ./qwen2.5-coder-3b-instruct-q5_k_m.Modelfile

ollama 查看模型

1

ollama list

结果如下

1
2
3


PS D:\llm\models\Qwen\Qwen2.5-Coder-3B-Instruct-GGUF> ollama list
NAME                              ID              SIZE      MODIFIED
qwen2.5-coder-3b-instruct:q5km    3c865efbc32c    2.4 GB    16 seconds ago