叮当宝贝技术架构

1.层次架构

叮当宝贝技术架构

1.S905D主控端

基于Android平台的S905D主控端,包含以下核心功能:

1.1语音业务

主要通过麦克风阵列获取语音数据,然后经过音频编解码技术,ASR,NLP,TTS技术,完成音频与文字以及语义的多层解析。

1.2智能家居业务

智能家居业务包含两个用户入口,APP控制与语音控制,基于Android平台的主控端 + Android/iOS app + java后端开发,

1.3音视频业务

使用FFMpeg + RTMP + IJKPlayer,基于Android+Linux平台和七牛云视频推拉流服务器,完成的视频监控业务。

2.Rokid语音服务

第三方语音服务平台,提供语音解析与语音合成业务,包含一部分语音内容服务。通过语音服务SDK继承到Android平台主控端,基于ASR,NLP,TTS技术,完成音频与文字以及语义的多层解析。

3.Hoopeu语音事务拦截器

主要处理自有语音业务,包含智能家居控制,亲情看护,日常提醒,防盗等功能的解析处理。使用了Spring,SpringMVC,MySql,NLP解析技术。

4.Mqtt消息中间件

基于Apache Active MQ平台的消息中间件,为主控端与APP端提供高并发的消息通信服务。

5.控制APP

基于Android和IOS平台开发的原生APP,负责与主控端进行通信,完成配置与控制业务逻辑。

6.STM32从控端

基于STM32平台的硬件控制系统,通过串口通信的方式,接收S905D主控端指令,进行硬件末端的控制和数据采集业务。