本地deepseek模型部署

一、安装ollama

• 第一种方式：（推荐）直接进入ollama官网 下载安装。
• 第二种方式：使用 docker 安装。 参考 ollama官方docker镜像，需额外安装NVIDIA工具比较麻烦。 (需要注意的是，因为苹果电脑的虚拟化不支持GPU，所以只使用CPU推理，导致速度很慢，不建议 docker 安装。)

若下载很慢，注意科学上网

二、选择deepseek模型

1. 在ollama官网点击 Models可查看所有直接安装的模型。 这里个人关注 deepseek 的3个模型，分别是 deepseek-r1 深度思考模型，去年出的 deepseek-v3模型，以及 deepseek-coder-v2 模型。 r1模型是最先进的，但是深度思考过程会导致出结果较慢（有时候看它的思考过程也是一种学习），所以如果问题不是特别复杂的我觉得还是使用 v3 模型就行。 而 coder 模型可以作为本地 vscode + cline 或者 cursor 的免费调用方案。
2. 每个模型有不同大小，以 deepseek-r1 举例，有 1.5b、7b、8b、14b、32b、70b、671b。 每个模型后边的大小是模型占用磁盘大小，非运行需要的内存/显存大小。 小配置跑大模型不是不能跑，而是速度很慢。 这里参考建议是：8GB以下显存，使用1.5b模型，8GB显存使用7b或8b模型，12GB使用 14b模型。再大就非普通个人电脑所能带动的了。
3. 直接执行命令 ollama run deepseek-r1:8b，会下载对应的模型，并启动。 (输入/bye退出)
   

四、GUI界面

GUI的可选择性比较多，有 chatbox 、 open-webui、lobe 等，都支持远程密钥连接以及本地 ollama 连接