← 在分诊台打开（可搜索/导航）
怎么在RK3588/Jetson/树莓派上跑大模型（DeepSeek/Qwen）
🧩 E5 模型组合方案 · RK3588/Jetson/树莓派
状态：1.5B/4B蒸馏版可行，7B+勉强
也这样说： 端侧大模型 本地大模型 rk3588跑大模型 jetson跑llm deepseek部署 边缘llm
可能根因：- 想在边缘设备上跑LLM不依赖云端
- RK3588/Jetson/树莓派算力有限
- 需要量化+蒸馏小模型
解决方案
💡 排坑指南（1条）
RK3588跑DeepSeek R1 1.5B实测14 tokens/s
B站刘墨苏1.6万播放：RK3588 NPU部署DeepSeek R1 1.5B，rknn-llm模型转换+OpenAI API兼容，实测14 tokens/s
时效：2026-09
打开 ↗⚠️ 避坑提醒（3条）
RK3588 4GB内存跑7B需swap分区
7B模型FP16需约14GB内存，4GB RK3588必须创建swap分区且会频繁卡死；8+64GB版本勉强跑1.5B，7B建议16GB以上
时效：2026-09
打开 ↗树莓派5跑DeepSeek R1 8B勉强能跑
8GB Pi5 INT4量化下7B/8B模型勉强能跑但几乎没有余量处理复杂任务或长上下文；4台Pi5组网才到6.43 tokens/s
时效：2026-09
打开 ↗Jetson Orin 8GB跑7B OOM
7B FP16需15GB显存，8GB Orin直接OOM；必须INT4量化或用1.5B/4B蒸馏版；评论区吐槽"8GB太小了，老黄统一内存比苹果还贵"
时效：2026-09
打开 ↗
本页是路由层入口，不存教程正文。每条入口带人工评注。
来自 问题分诊台 · Vertical Hub