叮当宝贝技术架构
1.层次架构
1.S905D主控端
基于Android平台的S905D主控端,包含以下核心功能:
1.1语音业务
主要通过麦克风阵列获取语音数据,然后经过音频编解码技术,ASR,NLP,TTS技术,完成音频与文字以及语义的多层解析。
1.2智能家居业务
智能家居业务包含两个用户入口,APP控制与语音控制,基于Android平台的主控端 + Android/iOS app + java后端开发,
1.3音视频业务
使用FFMpeg + RTMP + IJKPlayer,基于Android+Linux平台和七牛云视频推拉流服务器,完成的视频监控业务。
2.Rokid语音服务
第三方语音服务平台,提供语音解析与语音合成业务,包含一部分语音内容服务。通过语音服务SDK继承到Android平台主控端,基于ASR,NLP,TTS技术,完成音频与文字以及语义的多层解析。
3.Hoopeu语音事务拦截器
主要处理自有语音业务,包含智能家居控制,亲情看护,日常提醒,防盗等功能的解析处理。使用了Spring,SpringMVC,MySql,NLP解析技术。
4.Mqtt消息中间件
基于Apache Active MQ平台的消息中间件,为主控端与APP端提供高并发的消息通信服务。
5.控制APP
基于Android和IOS平台开发的原生APP,负责与主控端进行通信,完成配置与控制业务逻辑。
6.STM32从控端
基于STM32平台的硬件控制系统,通过串口通信的方式,接收S905D主控端指令,进行硬件末端的控制和数据采集业务。