2.2 H265实时码流传输

本系统中，H265实时流媒体数据的传输在LIVE555 C++开源项目的基础上实现。Live555 是一个为流媒体提供解决方案的跨平台的C++开源项目，它实现了对标准流媒体传输协议如RTP/RTCP、RTSP、SIP等的支持。Live555实现了对多种音视频编码格式的音视频数据的流化、接收和处理等支持，包括MPEG、H.263+、DV、JPEG视频和多种音频编码。同时由于良好的设计，Live555非常容易扩展对其他格式的支持。目前，Live555已经被用于多款播放器的流媒体播放功能的实现，如VLC(VideoLan)、 MPlayer。

LIVE555默认只支持发送音视频文件，而不支持从媒体设备获取的实时码流。需要修改LIVE555源代码以实现H265码流实时发送功能。

一种方法是通过有名管道（FIFO）实现，这种方法不需要修改LIVE555源代码，只需在视频捕捉与编码源进程中创建一个FIFO，并不断把实时H265 码流写入FIFO中即可。LIVE555服务器端用发送音视频文件的方式获取FIFO中数据，完成实时直播。这种方法容易实现，使用较多，但是当视频码流率较大时监控端的延时较大，并存在卡顿、马赛克等现象，效果较差。

另一种方法是通过修改LIVE555源代码，从实现RTSP服务的相关基类派生出 H265码流直播的类，重写类的成员方法来实现。该方法通过共享内存进程通信方式实现与视频捕捉和编码进程的码流交互。这种方法的实现比较复杂，但在数据处理过程中比第一种方式少了多次数据写入和拷贝工作，从而监控端能够以较大码流率实时、流畅地播放高清视频图像。

LIVE555主要通过任务调度机制和 RTSP服务机制两个部分实现流媒体服务器功能。其中任务调度机制主要通过TaskScheduler类库实现，它完成网络套接字任务、延时任务和触发事件三种任务的循环调度，从而构成了系统运行框架。而RTSP服务机制通过工程的liveMedia目录下的类库实现，通过把RTSP协议加入到运行框架中，实现了流媒体服务器。下面具体分析RTSP服务机制的实现过程。

首先，建立RTSPServer，监听客户端的连接请求，响应客户端请求建立连接后，创建RTSPClientSession，RTSP协议就是在RTSPClientSession中实现的。

然后是RTSP协议的实现过程，客户端向服务器端发送RTSP描述命令（DESCRIBE），服务器查找到对应的ServerMediaSession（对应某个媒体设备或某种格式文件），并生成会话描述协议（SDP）信息进行回应；

接着，客户端发送RTSP建立命令（SETUP），服务器端建立RTP/RTCP套接字，并建立特定的Source和Sink，为数据的获取、封包和发送做准备；

完成以上步骤后，客户端发送播放命令（PLAY），服务器端响应请求，循环调用 Source对象的成员方法获取数据并通过Sink对象的成员方法进行封包和发送，实现流媒体服务器的功能；在播放过程中，客户端可以发送终止命令（TERADOWN）结束流媒体会话。

从RTSP协议实现过程可知，为了支持H265实时流媒体数据传输，需要实现用户自定义类 ServerMediaSubssion、Source和Sink。自定义的类可以继承H265VideoFileServer MediaSubsession、H265VideoRTPSink和H265VideoStreamFramer中能共用的方法，重写H265实时流媒体处理特有的方法。具体实现方法是添加H265LiveVideoServerMediaSubssion：public H265VideoFileServerMediaSubsession类，并重写createNewStreamSource成员方法。该成员方法的关键段代码段如下：

estBitrate=1000；

H265FramedLiveSource*liveSource=\

H265FramedLiveSource：：createNew（envir）；

if（liveSource==NULL）{return NULL；}

return H265VideoStreamFramer：：\

createNew（envir，liveSource）；

该代码段的主要工作是把ByteStreamFileSource替换为用户自定义的H265FramedLiveSource，用于获取高清摄像头上的实时视频数据。H265FramedLiveSource的成员方法H265FramedLiveSource：：doGetNextFrame就实现了从 H265编码输出端获取H265格式视频数据并送到H265VideoRTPSink端的过程。

其中，进程之间数据交换采用共享内存方式，用有名信号量实 现进程对共享内存的同步访问。该成员方法的关键代码段如下：

static int niHaveReadSize=0；

if（Framed_dosent==true）{

if（0==niHaveReadSize）sem_wait（semr）；

fFrameSize=\

（Framed_datasize-niHaveReadSize>fMaxSize）\

fMaxSize：\

Framed_datasize-niHaveReadSize；

memcpy（fTo，shm_add+niHaveReadSize，\

fFrameSize）；

niHaveReadSize+=fFrameSize；

if（niHaveReadSize==Framed_datasize）{

sem_post（semw）；

niHaveReadSize=0；

}

}

这样，当服务器端收到客户端PLAY命令时，不断调用H265FramedLiveSource：：doGetNextFrame读取H265格式视频数据，封包和发送出去，实现H265码流实时传输功能。

在主函数中，只需在创建ServerMediaSession时加入H265LiveVideoServerMediaSubssion，并向RTSPServer中注册该ServerMediaSession即可。

3 结果分析

H265码流实时传输的程序通过海思平台的交叉编译工具链编译，生成可执行文件，并在海思Hi3516A开发平台下运行，完成服务器搭建工作。

客 户端通过安装Windows系统下的VLC播放器实现。打开VLC播放器，在“打开网络串流”选项中输入 rtsp：//192.168.1.116：8554/H265LiveVideo，点击播放，就可以看到来自高清摄像头的视频图像，并长期稳定工作。与常用的FIFO方式作效果对比，当码流率较大时，视频图像延迟更短，视频画面更加完整和流畅。

实际上Darwin确实在架构以及性能方面较live555略胜一筹，但是LIVE555 是更为廉价和快捷的开发方式。