接口调用简单、多平台支持的RTSP-Server组件EasyRTSPServer视频流媒体服务平台如何实现秒开功能?

众所周知,RTSP协议是一个流媒体协议,可以实现直播和点播形式的音频与视频流的播放。RTSP协议定义了多种服务器-客户端之间交互的接口,主要有OPTIONS,DESCRIBE,SETUP,PLAY,TEARDOWN,RECORD,ANNOUNCE。网络上已经有很多针对RTSP协议的文章,我这里不准备进行过多介绍。RTSP并不包括具体数据的传输,该功能一般由RTP与RTCP协议来实现,并可以通过TCP或UDP两种底层传输方式进行。
下图是典型的RTSP直播过程中服务端-客户端主要交互过程:

接口调用简单、多平台支持的RTSP-Server组件EasyRTSPServer视频流媒体服务平台如何实现秒开功能?

EasyRTSPServer如何实现秒开功能

提出问题:

EasyRTSPServer 实现的是视频和音频的数据传输,在客户端请求音视频后,由上层调用程序将音视频数据推进队列, 待和客户端的RTSP交互完成后,再通过RTP将音视频数据发给客户端; 在客户端往往要2-3秒后才出视频画面。

分析问题:

EasyRTSPServer基于live555改造而来,在上层调用程序将音视频推给EasyRTSPServer时,实际上是拷贝到了内存队列, 而在EasyRTSPServer创建队列到上层调用程序推送到队列,这中间经过了较多的步骤. 音视频队列是在上层应用返回媒体信息时创建,即向客户端发送DESCRIBE返回信息时创建, 而发送数据是在向客户端发送完PLAY时才开始, 这中间的过程中,上层调用程序会一直将数据推给队列。

解决问题:

在向客户端发送完PLAY后,先获取音视频队列中的历史帧进行发送,而不是直接取当前帧进行发送; 此处为EasyRTSPServer中为优化的点,可加快客户端出画面的速度,另外还有一点,就是在上层调用程序上需要做缓存,即在EasyRTSPServer回调出EASY_CHANNEL_OPEN_STREAM时,上层调用程序向前端请求音视频流,在此时EasyRTSPServer和客户端的交互还没有完成,而前端的流已经过来了,此时就需要做一个缓存,在EasyRTSPServer和客户端交互完成后,将缓存中的帧全部送到EasyRTSPServer; 如此即可实现视频秒开(还有一点需要注意的是前端的GOP设置, 该设置也决定了出视频画面的速度)。