第一次接触 Ollama 的时候，我正在找一个不用联网也能跑大模型的办法。 cloud 的 API 固然方便，但总有一些场景，数据还是留在本地更让人安心。
Ollama 正好解决了这个问题：安装之后，一条命令就能把 Llama、Qwen、DeepSeek 这类开源模型拉到本地运行。不需要复杂的 Docker，也不需要自己配环境。
为什么需要它
对于想折腾本地 AI 的人来说，Ollama 把很多事情简化了：
- 一键运行 —
ollama run llama3就能开始对话 - 本地优先 — 模型文件存在自己电脑上，断网也能用
- 跨平台 — 支持 Windows、macOS 和 Linux
- 兼容性好 — 提供 OpenAI 风格的 REST API，方便接入其他工具
实际使用体验
安装完成后，Ollama 会常驻后台。第一次运行某个模型时会自动下载，之后就是秒开了。
我常用的几个命令：
- ollama list — 查看已下载的模型
- ollama run qwen2.5:7b — 运行特定模型
- ollama rm 模型名 — 删除不用的模型，腾出磁盘空间
- ollama serve — 手动启动 API 服务
一些实用技巧
- 用 Modelfile 可以自定义系统提示词、温度参数等
- 配合 Open WebUI 或 ChatGPT-Next-Web，可以获得更好的对话界面
- 模型文件默认存于
C:\Users\用户名\.ollama\models，C 盘紧张的话要注意 - 显存不够时可以选择 7B 甚至更小参数的模型
| 项目 | 详情 |
|---|---|
| 官网地址 | https://ollama.com/ |
| 最新版本 | v0.32.5（持续更新） |
| 软件体积 | 安装包约 1.4 GB（模型文件另计） |
| 是否开源 | 是（MIT 协议） |