用 Ollama 在自己的服务器上跑大模型

把大模型装进自己的机器，听起来像极客玩具，其实是件很实际的事：数据不出内网、没有按 token 计费、断网也能用。Ollama 把这件事的门槛降到了”一条命令”级别——这篇从安装讲到 API 集成，最后说说它在安全场景的价值。

一、安装与第一个模型#

Linux（我服务器上用的方式）：

1
curl -fsSL https://ollama.com/install.sh | sh
2

3
# 拉一个 3B 小模型试试水（约 2GB 显存/内存）
4
ollama run qwen3:4b
5

6
# 更实用的对话主力（约 5GB）
7
ollama run qwen3:8b

装完直接进入对话，/bye 退出。模型文件落在 /usr/share/ollama/.ollama/models。

Windows/macOS 也有安装包，Apple Silicon 跑 8B 模型体验极佳。

二、显存/内存怎么选模型#

模型规模	需要内存	适合场景
1.5B - 4B	4GB	入门体验、简单任务
7B - 14B	8-16GB	日常对话、写作、代码补全
32B - 70B	24GB+	复杂推理（需要好显卡）

经验法则：参数量 × 1.2GB ≈ 所需内存（q4 量化）。跑不动时 Ollama 会自动 CPU/GPU 混合推理，能跑但变慢。

三、它本质是一个本地 API 服务#

Ollama 不只是命令行玩具，它在 11434 端口起了一个兼容 OpenAI 格式的 HTTP 服务：

1
curl http://127.0.0.1:11434/api/chat -d '{
2
  "model": "qwen3:8b",
3
  "messages": [{"role": "user", "content": "用一句话解释什么是加盐哈希"}]
4
}'

Python 直接用 openai SDK 指向本地：

1
from openai import OpenAI
2
client = OpenAI(base_url="http://127.0.0.1:11434/v1",
3
                api_key="ollama")   # 本地不校验，随便填
4
r = client.chat.completions.create(
5
    model="qwen3:8b",
6
    messages=[{"role": "user", "content": "用一句话解释什么是加盐哈希"}])
7
print(r.choices[0].message.content)

这意味着所有为 OpenAI 写的工具，改个 base_url 就能无缝切到本地模型。

四、私有化：只给自己用#

默认 Ollama 只监听 127.0.0.1，这是对的。要远程访问，套上反向代理 + 认证。我在自己服务器上的做法（Caddy + Basic Auth）：

1
# /etc/caddy/Caddyfile 片段
2
ai.example.com {
3
    basic_auth {
4
        user $2a$14$hash...   # caddy hash-password 生成
5
    }
6
    reverse_proxy 127.0.0.1:11434
7
}

两台机器共用同一个模型服务，手机在外面也能用，而且全程 HTTPS + 密码。注意千万别把 11434 裸奔暴露到公网——Ollama 的 API 无鉴权，等于把免费算力（和机器控制接口）挂出去。

五、安全场景下的价值#

敏感数据不出门：日志分析、告警摘要、代码审计这类涉密内容，交给本地模型处理，数据边界就是机器边界；
离线环境可用：隔离网段、生产内网，没有外网 API 也能有 AI 辅助；
对抗样本研究：本地模型权重可控，可以做越狱测试、提示词注入实验而不违反任何服务商条款；
成本恒定：跑一次安全日志分析调用几百次 API 的脚本，云端账单会很感人，本地只有电费。

配合前面讲过的 Agent 架构，“本地模型 + 最小权限工具”是一套很稳的私有 AI 工作流。

六、小结#

Ollama 把大模型部署简化成了一条命令，而它暴露的 OpenAI 兼容 API 让私有化改造成本几乎为零。对小团队和个人，隐私敏感的任务走本地、高质量任务走云端的双轨制，正在成为务实的选择。