DeepSeek这把火烧遍了全球,昨天看还是霸榜30多个国家的App下载榜单第一名,现在已经上升到包括美国、日本、加拿大等在内的164个国家的App下载榜单第一名!
图片
这巨大的流量导致deepseek在昨天几乎崩溃了,这是我在昨天使用deepseek的情况,时不时就会遇到下面这个回复。
图片
所以我就在想,既然deepseek R1是开源的,直接本地部署使用吧。
而且本地部署大模型之后,没有各种限制,可以为所欲为,放飞自我,自给自足,隐私性拉满,不联网也可以用~
我们还是用之前讲过的ollama + open-webui来一键部署deepseek r1
这俩好搭档非常之牛掰且好用,看他俩在Github的Star就知道了。
图片
用ollama管理、运行deepseek,在open-webui接入ollama之后,我们就可以完全界面化去下载安装deepseek r1,界面化给大模型调整参数,并设定预设prompt,以及对话(如下图),非常方便。
图片
好了,话不多说,我们开始本地部署deepseek r1!
图片
一、先安装ollama和open-webui
图片
首先就得安装ollama和open-webui,ollama可以下载官方的exe文件,一键安装,open-webui可docker部署,不清楚的朋友可以先看我之前写的这篇文章先把ollama和open-webui部署好
部署ollama、open-webui
袋鼠帝,公众号:袋鼠帝AI客栈独家!开源AI接入微信【一】ollama + open-webui图片
图片
但是注意,英伟达GPU的朋友请用如下指令部署open-webui(指令在控制台输入,前提是先安装、启动了docker-desktop):
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
图片
图片
Docker-desktop墙烈推荐大家都装上,不仅是open-webui,其他绝大多数Github的开源项目都支持用docker一键部署,docker的好处是自带虚拟环境,不需要在本地额外安装一堆其他环境、依赖等,是管理、部署项目的神器。
open-webui也强烈推荐大家安装使用,它应该是目前功能最全,最好用的大模型webui工具。
安装完ollama和open-webui,并在open-webui接入本地ollama之后,就可以非常方便的一键安装deepseek r1使用了~
图片
二、本地部署DeepSeek R1
图片
首先我们打开ollama官网,找到deepseek r1模型
图片
图片
ollama地址:https://ollama.com/library/deepseek-r1:8b
图片
图片
可以看到有这么些模型,以及模型的参数大小(1.5b~671b)和本身所需磁盘空间的大小(1.1G~404G)
图片
671b参数,404G大小的这个deepseek r1模型,就是deepseek官网上的那个R1。
但是671b参数的大模型所需的算力惊人,不是我们普通人能玩儿的起的。
下图是ollama给出的模型选择建议
图片
这里的RAM是指显存
如何查看我们电脑的显存大小呢?
Ctrl + Shift + Esc打开任务管理器->性能->GPU
图片
可以看到,我的电脑显存是8G(英伟达3060 ti)
经过测试,deepseek-r1:8b对我的电脑来说,运行流畅,体验最好~
如果换成deepseek-r1:14b,勉强能用,但是比较慢,不流畅,体验欠佳。
所以接下来我们浏览器访问open-webui的页面去下载deepseek-r1:8b
如果安装好open-webui,直接访问:http://127.0.0.1:3000/ 即可进入open-webui页面。
图片
我们进入open-webui之后,点击 左下角用户->设置
图片
点击 管理员设置
图片
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报。