我把大模型装进了电脑里：Ollama 本地部署全攻略

本地大模型神器来了！Ollama 一键部署 30B 模型实战指南

一、认识这只"羊驼"

如果你最近在研究本地大模型，那你一定绕不开它。

它叫 Ollama。

官网地址：\
https://ollama.com

一句话总结：

Ollama = 本地大模型运行与管理工具

它的核心目标非常简单：

让你在自己的电脑上，像用 Docker 一样管理和运行大语言模型。

二、为什么 Ollama 这么受欢迎？

以前部署大模型通常有三种方式：

调用 API（长期成本高）
自己编译部署（流程复杂）
各种依赖冲突（容易踩坑）

Ollama 做了一件非常关键的事情：

把复杂的模型部署，变成一行命令。

例如：

ollama run qwen3:8b

自动下载\
自动加载\
直接进入对话

对开发者来说，体验非常流畅。

三、安装与使用

1. 下载安装

访问官网下载安装即可。

支持系统：

Windows
macOS
Linux

安装完成后即可开始运行模型。

2. 第一次下载模型的注意事项

首次运行模型时会自动下载。

强烈建议：

在设置中将模型下载目录改到 D 盘或其他大容量磁盘。

原因：

qwen3:30b 等模型体积较大
下载后可能占用十几 G 甚至几十 G 空间
默认路径在 C 盘容易导致磁盘爆满

提前规划好存储路径非常重要。

四、模型区别与推荐

1. GPT-OSS 系列

包含：

gpt-oss:120b
gpt-oss:20b

特点：

通用对话模型
适合写作、问答、知识整理

推荐建议：

16GB 内存以下建议选择 20b
高性能设备可以尝试 120b

2. DeepSeek 系列

包含：

deepseek-v3.1:671b-cloud
deepseek-r1:8b

特点：

推理能力较强
数学与逻辑能力表现不错

说明：

671b 为云端模型
本地可选择 r1:8b 体验推理能力

适合对逻辑思考要求较高的场景。

3. Qwen3 系列（当前主流推荐）

包含：

qwen3:4b / 8b / 30b
qwen3-coder:30b / 480b-cloud
qwen3-vl:4b / 8b / 30b / 235b-cloud

（1）qwen3 ------ 通用模型

适合：

日常聊天
写文章
知识问答
代码辅助

推荐配置参考：

8GB 内存 → 4b
16GB 内存 → 8b
32GB 内存以上 → 30b

（2）qwen3-coder ------ 专业代码模型

专为程序员优化：

代码生成
代码补全
Bug 修复
项目结构生成

（3）qwen3-vl ------ 视觉语言模型

VL = Vision + Language

可以实现：

图片识别
图文问答
图片分析

4. Gemma3 系列（Google 系）

包含：

gemma3:1b / 4b / 12b / 27b

特点：

体积小
运行速度快
资源占用较低

适合：

轻量电脑
老设备
快速测试

五、如果只推荐三个模型

综合考虑性能与实用性，建议优先尝试：

日常聊天：qwen3:8b
写代码：qwen3-coder:30b
轻量体验：gemma3:4b

如果你的机器配置较高：

可以直接尝试 qwen3:30b。

六、一个必须说明的事实

蒸馏模型并不是满血模型。

参数规模不等于能力等同于顶级闭源模型。

实际表现取决于：

CPU / GPU 性能
显存大小
内存容量
是否开启量化

同一个模型，在不同设备上的表现差距可能非常明显。

因此建议多尝试不同模型，找到最适合自己机器的版本。

七、本地部署真正的意义

本地运行大模型，并不是为了与顶级闭源模型直接竞争。

它的真正价值在于：

数据隐私
零 API 成本
企业内网部署
本地知识库整合
可深度定制

对于开发者而言，这是可控、可扩展的能力。

结语

当你第一次在本地成功运行一个 30B 模型时，那种掌控感非常真实。

Ollama 的出现，让本地大模型真正进入"普通开发者可用"阶段。

如果你正在探索 AI 工具链，本地部署值得认真体验一次。

作者：程序员小崔日记

本文由mdnice多平台发布