cover_image

免费GPU算力本地跑DeepSeek R1,无惧官方服务繁忙!

猴哥 猴哥的AI知识库 2025年01月31日 11:26
图片

猴哥的第 150 期分享,欢迎追看

最近 DeepSeek 爆火,不只是在自媒体上!

你看 ollama library 上,上线 8 天,就达到了 3.9 M 下载量,这热度,要甩第二名 llama3.3 好几条街!

图片

前段时间,官网频繁出现反应迟缓,甚至宕机。

不过,这是个开源模型啊,何不本地部署一个,自己用的尽兴。

有朋友问:没有显卡咋跑?

今日分享,带大家用免费 GPU 算力,本地跑 DeepSeek R1 !

1. 腾讯 Cloud Studio

免费算力?

Google Colab?没梯子还真用不了。

不过,最近腾讯豪横,推出了一款云端 IDE -- Cloud Studio,类似百度飞桨 AI Studio 的一款产品。

不过,百度的云端 IDE,只能跑 PaddlePaddle 深度学习开发框架,但凡发现你在跑 PyTorch 等其他框架,立马 kill。

这下好,竞品来了,腾讯 Cloud Studio,完全无使用限制,每月可免费使用 1000 分钟!(随用随开,及时关机)

传送门:https://ide.cloud.tencent.com/

想动手玩玩的盆友,抓紧了~

图片

2. Ollama 跑 DeepSeek

关于 Ollama 的使用,可以翻看之前教程:本地部署大模型?Ollama 部署和实战,看这篇就够了

2.1 创建实例

创建实例时,选择从 AI模板 开始:

图片

稍等 2 分钟,即可创建成功!

进来后,ctrl+~ 快捷键,打开终端,你看连 conda 虚拟环境都给你装好了~

先来看看给预留了多大存储空间:

图片

有点遗憾,挂载了不到 50G 的磁盘,系统镜像就占了 21 G,省着点用吧,稍微大点的模型,模型权重都放不下。

内存呢?

图片

32G 内存, Nice ~

再来看看显存啥情况?

图片

给安排了一张 T4 的推理卡,16G 显存。

2.2 拉取模型权重

最后看看 ollama 啥情况?

(base) root@VM-16-158-ubuntu:/workspace# ollama list
NAME             ID              SIZE      MODIFIED    
llama3:latest    365c0bd3c000    4.7 GB    3 weeks ago 

预装了 llama 3,删,上主角:DeepSeek R1!

ollama rm llama3
ollama run deepseek-r1:14b

考虑到只有 16G 显存,如果要用 GPU,最大只能选择 14b 模型。

如果下载速度太慢,命令杀掉,重新下载即可!

模型拉取结束,就可以开始玩耍了。

2.3 模型初体验

就这么简单,跑起来了~

图片

再来个复杂点的任务:

图片

怎么样?

最后,来看下显存占用如何:11 G 足够了。

图片

2.4 内网穿透出来

Cloud Studio 的虚拟机无法安装 docker,所以无法采用 docker 的方式安装 web UI。

且没有公网 IP,咋搞?

总不能每次都得打开终端来用。

这里,介绍一种最简单的内网穿透方法:cloudflared,简单三步搞定

关于内网穿透,猴哥之前有几篇教程,不了解的小伙伴可以往前翻看。

step 1: 安装 cloudflared:

wget https://mirror.ghproxy.com/https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64.deb
dpkg -i cloudflared-linux-amd64.deb
cloudflared -v

step 2: 查看 ollama 的端口号:

图片

step 3: 穿透出来:

cloudflared tunnel --url http://127.0.0.1:6399

cloudflared 会输出一个公网可访问的链接:

图片

打开浏览器试试吧~

图片

接下来,你可以在本地的任何 UI 界面,用这个 URL 玩耍 DeepSeek-R1 了~

写在最后

本文分享了如何用免费GPU 算力部署 DeepSeek 的推理模型,并内网穿透出来,任性调用。

如果对你有帮助,欢迎点赞收藏备用。

注:DeepSeek-R1 是推理模型,和对话模型不同的是,它多了自我思考的步骤,适合编程、数学等逻辑思维要求高的应用。


为方便大家交流,新建了一个 AI 交流群,公众号后台「联系我」,拉你进群。

👇 关注猴哥,快速入门AI工具

图片

# AI 工具:

本地部署大模型?看这篇就够了,Ollama 部署和实战
盘点9家免费且靠谱的AI大模型 API,统一封装,任性调用!
AI全栈利器开源!带你用Ollama+Qwen2.5-Code跑bolt.new,一键生成网站
# AI 应用
弃坑 Coze,我把 Dify 接入了个人微信,AI小助理太强了
我把「FLUX」接入了「小爱」,微信直接出图,告别一切绘画软件!
202K 下载!最强开源OCR:本地部署,邀你围观体验
阿里开源TTS CosyVoice 再升级!语音克隆玩出新花样,支持流式输出
借 WeChatFerry 东风,我把微信机器人复活了!

AI实战 · 目录
上一篇借 WeChatFerry 东风,我把微信机器人复活了!

微信扫一扫
关注该公众号

继续滑动看下一个
猴哥的AI知识库
向上滑动看下一个