← 在分诊台打开(可搜索/导航)
端侧语音助手全链路怎么做(唤醒→VAD→ASR→LLM→TTS)
🧩 E5 模型组合方案 · 手机/树莓派/ESP32
状态:sherpa-onnx(10.9k Stars)是端侧语音统一框架首选
也这样说: sherpa-onnx sherpa next-gen kaldi 统一语音框架 语音助手 小智ai
可能根因:- 语音助手需要5个模型串联
- 每个环节选型不同且坑多
- 需要一个统一框架减少维护成本
解决方案
✅ 官方方案(1条)
sherpa-onnx 官方仓库(10.9k Stars)
next-gen Kaldi+ONNX Runtime,统一ASR/TTS/说话人分离/VAD/唤醒词全链路;支持12种编程语言(C++/Python/Java/Swift/Go/Rust等),覆盖Android/iOS/树莓派/嵌入式
时效:2026-09
打开 ↗💡 排坑指南(3条)
sherpa-onnx支持的ASR模型
内置SenseVoice(中粤英日韩)、Zipformer、Whisper-tiny、Moonshine等多模型;中文语音助手首选SenseVoice,英文用Parakeet-TDT
时效:2026-09
打开 ↗全链路架构:唤醒词→VAD→ASR→LLM→TTS 暂无外链
唤醒词(microWakeWord/Porcupine)→VAD(WebRTC/Silero)→ASR(sherpa-onnx SenseVoice)→LLM(本地小模型/云端API)→TTS(sherpa-onnx Piper);VAD放ASR前减少无效推理,TTS可流式启动不等LLM全输出
时效:2026-09
小智AI Chatbot(ESP32语音助手开源项目)
GitHub热门ESP32语音助手项目:ESP32+唤醒词+MQTT/UDP连云端Qwen/DeepSeek做LLM推理+TTS回复;ESP32不做LLM推理只做交互,云端API做推理
时效:2026-09
打开 ↗⚠️ 避坑提醒(1条)
全链路任何节点出错都会影响体验 暂无外链
唤醒词漏触发→助手不响应;VAD误切→语音被截断;ASR识别错→LLM收到错误输入;TTS延迟大→用户等太久;必须逐环节测试不能只测端到端
时效:2026-09
本页是路由层入口,不存教程正文。每条入口带人工评注。
来自 问题分诊台 · Vertical Hub