芯耀
981
一、 抛出问题
租车出游或是借用他人车辆时，我总会陷入操作困境。车内功能五花八门，按钮位置、功能菜单一概不知。想打开尾箱，手指在车内摸索半天也找不到开关；要加油了，却怎么也找不到油箱盖的开启按钮，满心都是无助与迷茫。
独自驾车踏上旅程，想提前在目的地周边精挑好评餐馆，预订舒适旅店，把行程安排得细致妥帖。要是途中遇到油箱见底，需要沿途找个加油站，确保爱车?“能量满满”。
行车途中，难免意外不期而至。前一刻还在有条不紊地规划行程，下一秒意外突然降临，瞬间大脑一片空白，整个人慌了神，手脚都不知道该怎么放，完全不知道如何应对，只觉得孤立无援。
目前的确有不同途径解决以上问题，但能否有更简洁方式呢？今年DeepSeek的不期而遇，使我有更多想法
二、 想法
一个智能语言人机界面。通过唤醒语，激活语音输入功能，系统帮你实现各种功能。
1、 车辆功能语言操作
（1）如开关前大灯、远光、雨刷。开个空调，设置温度，除除前挡玻璃的雾气。播放音乐，开开油箱盖，检查车门是否关好等等，出来一些安全操作外，这些都可以手不离开方向盘，通过语言输入实现。
（2）此前有新闻司机突发疾病或车子无法制动，是否能通过语音绕过机械踏板，这都可以探讨。部分安全操作，可以增加二次确认的环节。
（3）导航目前可以使用语言控制，可以与这系统整合在一起。而且可以增加更多智能互动，如目的地餐饮旅馆介绍，旅游景点介绍。甚至可以进行预定服务。
2、 车辆功能、应急指导
（1）在大语言模型加持下，把汽车相关安全知识，汽车手册等做成本地知识库，需要时不需再到厚厚的操作手册中翻找，或拿起手机临时搜索。而且可以在屏幕上显示相关操作视频。
（2）当有网络可以使用联网方式获取更准确详尽的信息，无网络下（如边远地区）也可以通过本地部署的简洁模型，为使用者提供服务。
（3）需要时可以通过连接的手机拨打救援电话；
3、 司机在驾驶时，不方便使用手机，语音对话功能会更方便安全。同时屏幕可以辅助显示关键信息。
三、 本项目实现功能
1、 系统图
1、 硬件：
显示屏：显示处理过程、语义分类情况、Deepseek的回复等信息
音箱：输出语义分类及Deepseek的回复
2、 音频处理：语音输入输出使用sherpa_onnx库，是一个基于 ONNX 运行时的开源语音处理库，支持多种语音相关任务，包括语音识别、语音合成、说话人识别、语言识别等。ASR使用sherpa-ncnn-streaming-zipformer-bilingual-zh-en模型，TTS使用vits-melo-tts-zh_en模型，支持中英文输入输出。
3、 朴素贝叶斯语义分类，使用”开”、“关”、“大灯”、“雨刷”等17个关键词，进行语义分类，共分“导航命令”、“Deepseek查询”、“打开前大灯命令”等9个分类，分类算法见源码附件中的excel表格。
4、?大型语言模型，使用本地部署的Deepseek 1.5B模型，查询后，通过语音播送出来。
5、树莓派5同时运行多个AI算法，比较勉强，程序中我同时使用三个核，一个核进行语音识别和语义分类，一核进行Deepseek查询，一核进行语音合成。这样核间通信比较简单，只有字符串，核与核之间通信使用Pipe方式。
四、 实现效果以及源码
百度网盘链接:?https://pan.baidu.com/s/10i-BarrN5Fz1N99xAMtGxQ&Pwd=c77j?提取码: c77j
五、 不足与展望
2、受个人能力限制，朴素贝叶斯语义分类只是使用手工做了个简单的分类。
3、ASR与TTS更换不同模型，可以支持更多语种，本项目中只是支持中英文两种。
阅读全文
