RK3588已经可以运行DeepSeek R1 1.5B

最近DeepSeek相当火啊，我也研究了一下，本地部署非常简单。

下载LM Studio，选择模型直接下载就行，我这边的电脑配置是AMD Ryzen 7700，48GB DDR5 6400，AMD RX7900GRE。

分别尝试了8B，14B，32B，70B模型。

我这边8B，14B都非常快速，32B速度会慢不少，用的Q3量化的模型，还可以接受。

70B模型用了Q1量化，模型大小16G左右，速度很慢，而且似乎效果也不太理想。

目前觉得14B，和32B，都还是非常可用的。

也就是说实际上，DeepSeek R1对配置需求也没那么高了，至少还是能部署玩玩的。

以我的经验上来看，模型是先加载到显存里，显存不够了之后，会到内存里。也就是说是看电脑显存内存的总和，也可以直接用CPU和内存跑，都能跑，只是速度相比较显存稍慢。

也有国外网友直接用双路CPU加上堆内存，堆个700G左右的内存，就能直接跑完整的671B的DeepSeek模型，只是速度没显卡快罢了。

而到了开发板上我估计也是如此，内存大，跑7B，8B模型应该不是很难。

最近我就看新闻，RK3588通过使用RKLLM toolkit，就在它6TOPS上的NPU上，跑起来了DeepSeek R1（Qwen2 1.5B）模型。

Radxa也提供了ModelScope的预编译RKLLM，可以自行尝试。

git clone https://www.modelscope.cn/radxa/DeepSeek-R1-Distill-Qwen-1.5B_RKLLM.git

Radxa是在Rock5B下跑起来的，香蕉派也在BPI-M7上成功了。

也就是说，开发板跑起来DeepSeek，以及这些大模型，之后可能会越来越方便，越来越容易。

让我们期待一下吧，之前我也介绍了香橙派的AI Studio，不说别的，如果它能跑大模型，那DeepSeek可能还真的有可能跑起来。

但是要跑完整的671B的DeepSeek，估计还是不行的，还是太大了，如果两个AI Studio Pro 192GB版本，不知道能不能搞起来。不过搞起来估计也和国外网友用CPU跑起来差不多，速度很慢。