基于Directshow的H.264流媒体播放器设计
0引言
directshow应用框架完成了流媒体处理的底层工作，使得编程者无需关心数据如何输入，以及处理完后如何输出，而只需关心如何对输入数据进行处理。h.264视频编解码标准具有高压缩比和优良的网络亲和性，被普遍认为是最有影响力的流媒体视频压缩标准。将direct-show和h.264两种相结合的流媒体播放器无疑将具有非常优秀的性能。
1directshow技术和h.264视频压缩标准简介
directshow是微软公司提供的一套流媒体开发软件包，为在windows平台上处理各种格式的媒体文件的回放、音视频采集的高性能要求的多媒体应用，提供了完整的解决方案。
directshow是一套完全基于com的应用系统，该系统位于应用层中，它使用filtergraph的模型来管理整个数据流的处理过程;参与数据处理的各个功能模块叫filter;各个filter在filtergraph中按照一定的顺序连接成一条“流水线”协同工作。filter是一个com组件，其功能可以由用户自行实现，directshowsdk也为用户提供了一些标准的filter供用户使用。各个filter在filtergraph中按一定顺序通过pin互相连接起来，pin也是一个com对象。
h.264是由itu-t和iso/iec的联合开发组共同开发的最新国际视频编码标准。h.264/avc视频编码标准在编码质量和压缩比上比原有的视频编码标准都有了明显的提高。在相同的视觉感知质量上，编码效率比h.263，mpeg-2和mpeg-4提高了50%左右。h.264不仅具有优异的压缩性能，而且具有良好的网络亲和性。因此，h.264被普遍认为是最有影响力的流媒体视频压缩标准。
2系统设计框架
本系统基于direotshow应用框架和h.264视频压缩标准，实现了从网络接收流媒体数据，并在客户端实时播放的功能。流媒体文件是采用h.264编码的avi文件，由于directshow提供了avisplitterfilter、audiodecoder和标准的video/audiorenderer，因此，本系统只需设计自定义的网络源filter、h.264解码filter。
多媒体流式传输实际上牵涉到两个方面的技术。其一就是服务器与客户端的通信技术，包括多媒体数据的传输、命令控制等;其二就是客户端对接收到的多媒体流实时解码后播放的技术。显然，网络通信可以使用windowssocket技术，多媒体流的解码播放可以使用direct-show技术。本文采用direetshow应用框架，设计了网络源filter和h.264解码filter，并通过filtergraph构建了流媒体播放器。
播放本地基于h.264编码的avi文件的filtergraph如图1。只需将本地filesourcefilter替换为网络源filter，将coreavcvideode-coder替换为h.264解码filter，即可实现网络h.264视频播放器。
3系统的设计与实现
3.1filter设计流程
filter的编码实现包括filter的注册信息、filter上的框架函数实现、逻辑控制类实现、自定义接口实现、属性页实现、产权保护等。
首先，要对filter所要完成的功能和它在filtergraph中的位置进行分析，以确定filter模型，选择一个合适的基类;然后，再定义输入输出pin以及自定义接口，注册filter信息;最后实现基类的全部纯虚函数和自定义接口函数，并重写基类的相关函数以定制filter功能。
3.2网络源filter的设计
源filter主要功能是接收服务器发来的流媒体数据，并提供给filtergraph中其它filter使用。
由于directshow自带的avisplitter工作于拉模式，故该源filter也工作于拉模式。
本源filter采用双缓冲循环队列技术来实现数据的接收和向下一级filter传递数据。采用该技术有如下理由：
(1)在sourcefilter与splirer连接的过程中，会从sourcefilter中读取一部分数据，以获得数据的格式描述，否则filtergraph无法完成连接。源filter与splitterfilter进行连接前，应启动一个等待线程，当sourcefilter的数据缓存预先接收到足够的数据后，再构建完整的filtergraph。
(2)当完整的filtergraph构建完成，并且处于运行状态后，sourcefilter必须动态地接收数据，并持续地把新数据提供给splitterfilter，双缓冲循环队列既充分利用内存空间，又能为splitterfilter提供稳定的数据源。
(3)缓冲队列可以稳定码率，有效减小网络延时、阻塞和抖动的影响。
源filter的工作过程如下：建立一个循环缓冲队列，队列尾指针用于缓冲从网络接收的数据，队列头指针供splitter读取数据，进行音视频分离，并传给下一级decoder处理;当socket接收到网络数据后，将数据插入队列尾部，并使尾指针后移;当splitter需要读取数据时，从队列头读取数据，并使头指针后移。
流媒体传输采用客户端/服务器的架构，服务器与客户端之间还有一个socket通信协议问题，由于流媒体是连续的，它的同步点不能随意选择，因此，为了传送流媒体数据，必须使用面向连接的可靠的传输协议(tcp)。客户端与服务器端的控制与反馈消息，则可以使用(udp)来传输。服务器端首先创建一个侦听socket，侦听来自客户端的连接请求。一旦侦听到客户端的请求，服务器端就创建一个用于数据传送的socket，并绑定到请求连接的客户端，此时，服务器处于数据传送的就绪状态。当客户端发出命令，服务器再根据命令的类型执行相应的操作，如数据发送、停止、断开连接等。
在服务器端首先将连续的h.264流分成一块一块小包的负载数据，并且加上一个信息头一起使用tcp协议发送;在客户端根据信息头描述，将小包的负载数据进行拼装，然后进行h.264的解码播放。socket数据传送结构为：负载类型(8bit)、负载数据长度(16bit)和负载数据包(2324byte)。
客户端的实现可以参考sdk中的memfilefilter，直接从sdk例子将asyncrdr.cpp、asyncrdr.h、asyncio.cpp、asyneio.h四个文件拷贝过来，然后在memfilter.h文件中从casyncstream派生流处理类cmemstream，定制数据源并进行数据的读取操作;从casyncreader派生滤波器类cmemreader，实现含1个输出pin的sourcefilter框架，完成与splitterfilter的连接。
网络源滤波器类间数据流程如图2，下一级filter“拉”线程数据流程如图3。其中：casynestream用以标示数据流;casynerequest标示输入与输出请求;casyncio实现数据输入和输出的控制。编程主要实现cmemstream：read()函数以实现从特定的数据源读取数据到下一级filter的sample中。
3.3h.264解码filter的设计
该滤波器工作于splitter和rendererfilter之间，包含一个输入和一个输出，且输入和输出pin上的媒体类型不一致，故选择ctrans-formfilter作为基类，派生子类cx264decode。
ffmpeg是一个集录制、转换、音/视频编码解码功能为一体的完整的开源解决方案。利用ffmpeg中的libavformat和libavcodec库访问大多数视频文件格式是一个很好的方法。将ffmpeg中关于h.264解码的操作封装为c++类，供h.264解码filter调用以实现解码功能。
子类cx264decode必须要实现的纯虚函数有：checkinputtype()实现输入pin上的媒体类型检查;checktransform()检查是否支持从该输入pin到输出pin的变换操作;decidebuffersize()决定samlple内存的大小;getmediatype()：提供输出pin上的首选媒体类型;transform()：实现解码变换。
子类cx264decode可选的重写虚函数有：初始化和反初始化流：startstreaming()和stopstreaming();响应质量通告消息：alterquali-ty();获取媒体类型被实际设置的时间：setmediatype();连接时获取额外的接口：checkconnect()、breakconnect()和completeconneet();定制变换过程：receive();标准化设置输出sample：initializeoutputsample()。
本filter设计主要流程如下：
(1)filter注册信息
定义类工厂模板，填写filter的注册信息;同时实现dll文件所必须实现的注册和反注册函数：dllregisterserver和dllunregisterse-rver。
(2)框架函数的实现
实现函数createinstanee，用于创建filter对象实例;实现函数cheeklnputtype，用于对输入pin上的媒体类型检查;实现函数transfo-rm，用于h.264的解码操作;实现函数nondelegafingqueryintefface，用于暴露filter支持的自定义接口，使应用程序可以设置解码器的参数;实现函数completeconnect，可以在输入pin成功连接后取得媒体类型描述，并将输入数据的格式设置给应用逻辑控制对象;实现函数st-artstreaming和stopstreaming，可以分别调用应用控制逻辑对象的相应函数，进行流处理的初始化和反初始化操作。
(3)逻辑控制类的实现
逻辑控制类是本filter设计的核心，框架函数和自定义接口函数的相关操作都是委托给逻辑控制类来实现的。该类实现了h.264.的解码参数的设置与解码操作，主要调用封装了h.264解码的c++类来实现。
利用ffmpeg库进行h.264解码时，需要自定义两个关键函数：open_net_file()和read_buffer_frame()。其中，open_net_file()函数完成与流媒体服务器的连接，接收指定流媒体文件的流相关信息，并返回类型为avformatcontext结构体的值。read_buffer_frame()函数从bu-ffer缓冲中读取一帧数据，并交由库函数avcodec_decode_video()解码。
(4)自定义接口的实现
将filter类从自定义接口类派生，并声明自定义接口的所有接口方法;然后在filter类的实现文件中实现这些接口法，其实大都是调用应用逻辑控制类的相应函数;最后在函数nondelegatingqueryinterface中暴露我们的自定义接口。
3.4播放器的设计
播放器采用directshow应用框架，采取界面、控制逻辑和数据分离的三层程序设计方法。界面类直接从标准的对话框类cdialog派生，在界面类中定义两个自定义类：数据封装类和逻辑控制类。界面类表达一种用户操作逻辑;数据封装类集中管理各种参数;逻辑控制类具体实现业务应用逻辑。采取directshow应用框架，不必关心数据如何输入和输出，这些问题都由filter框架负责，只需更多的关注数据处理的算法实现、效率优化等问题。采取界面、控制逻辑和数据分离的设计结构，不仅使程序框架清晰、容易被人理解，而且具有良好的移植性和扩展性。
播放器基于filtergraphmanager构建包含网络源filter和h.264解码filter的filtergraph，即可实现网络流媒体的播放。界面类实现视频显示界面与用户的操作交互，控制逻辑可以控制视频的播放、暂停、停止、解码参数设置等，数据类实现对数据的操作管理。
4结束语
本流媒体播放器系统采用了directshow应用框架和h.264视频编解码标准，能很好的实现网络流媒体视频的播放，具有结构清晰、良好的可扩展性与可移植性。由于wince系统是微软提供的嵌入式实时操作系统，提供了对directshow的应用支持，故本系统也可以很好的移植到win-ce的嵌入式应用平台，实现嵌入式端的流媒体视频播放。同时，本流媒体播放系统也可很好地移植到视频点播系统中，因其采用高压缩比、低码率的h.264视频编解码标准。能有效减少网络负载、减小带宽，从而减轻网络对流媒体传输中所存在的丢包、抖动、延时等影响。
RFID标签天线的未来是怎样的趋势
STM32CubeIDE使用入门的几个常见问题
浅谈变容二极管的选用和作用
芯片公司排名全球
三星拉跨、台积电持续涨价，还有多少人愿为3nm买单？
基于Directshow的H.264流媒体播放器设计
降压-升压器件可延长电池寿命
论串口屏的未来发展方向
Google TV系统设备或将支持Apple TV服务
天线系统的定义、种类及馈线系统
德索mini fakra连接器发展的最新趋势
车规电容和普通电容有什么区别？
土壤墒情速测仪是什么，它的作用是什么
工信部表示鼓励企业根据适用场景研发换电模式车型
基于区块链技术设计的娱乐平台为名利而战介绍
新型交错背触式太阳能电池研发，实现亚微米CIGS层的高效率
FPGA设计的10个实用技巧
采用平面磁集成技术设计新型ZCS―PWM Buck变换器
世界和中国集成电路的发展之路
气动马达怎样选型？
directshow应用框架完成了流媒体处理的底层工作，使得编程者无需关心数据如何输入，以及处理完后如何输出，而只需关心如何对输入数据进行处理。h.264视频编解码标准具有高压缩比和优良的网络亲和性，被普遍认为是最有影响力的流媒体视频压缩标准。将direct-show和h.264两种相结合的流媒体播放器无疑将具有非常优秀的性能。
1directshow技术和h.264视频压缩标准简介
directshow是微软公司提供的一套流媒体开发软件包，为在windows平台上处理各种格式的媒体文件的回放、音视频采集的高性能要求的多媒体应用，提供了完整的解决方案。
directshow是一套完全基于com的应用系统，该系统位于应用层中，它使用filtergraph的模型来管理整个数据流的处理过程;参与数据处理的各个功能模块叫filter;各个filter在filtergraph中按照一定的顺序连接成一条“流水线”协同工作。filter是一个com组件，其功能可以由用户自行实现，directshowsdk也为用户提供了一些标准的filter供用户使用。各个filter在filtergraph中按一定顺序通过pin互相连接起来，pin也是一个com对象。
h.264是由itu-t和iso/iec的联合开发组共同开发的最新国际视频编码标准。h.264/avc视频编码标准在编码质量和压缩比上比原有的视频编码标准都有了明显的提高。在相同的视觉感知质量上，编码效率比h.263，mpeg-2和mpeg-4提高了50%左右。h.264不仅具有优异的压缩性能，而且具有良好的网络亲和性。因此，h.264被普遍认为是最有影响力的流媒体视频压缩标准。
2系统设计框架
本系统基于direotshow应用框架和h.264视频压缩标准，实现了从网络接收流媒体数据，并在客户端实时播放的功能。流媒体文件是采用h.264编码的avi文件，由于directshow提供了avisplitterfilter、audiodecoder和标准的video/audiorenderer，因此，本系统只需设计自定义的网络源filter、h.264解码filter。
多媒体流式传输实际上牵涉到两个方面的技术。其一就是服务器与客户端的通信技术，包括多媒体数据的传输、命令控制等;其二就是客户端对接收到的多媒体流实时解码后播放的技术。显然，网络通信可以使用windowssocket技术，多媒体流的解码播放可以使用direct-show技术。本文采用direetshow应用框架，设计了网络源filter和h.264解码filter，并通过filtergraph构建了流媒体播放器。
播放本地基于h.264编码的avi文件的filtergraph如图1。只需将本地filesourcefilter替换为网络源filter，将coreavcvideode-coder替换为h.264解码filter，即可实现网络h.264视频播放器。
3系统的设计与实现
3.1filter设计流程
filter的编码实现包括filter的注册信息、filter上的框架函数实现、逻辑控制类实现、自定义接口实现、属性页实现、产权保护等。
首先，要对filter所要完成的功能和它在filtergraph中的位置进行分析，以确定filter模型，选择一个合适的基类;然后，再定义输入输出pin以及自定义接口，注册filter信息;最后实现基类的全部纯虚函数和自定义接口函数，并重写基类的相关函数以定制filter功能。
3.2网络源filter的设计
源filter主要功能是接收服务器发来的流媒体数据，并提供给filtergraph中其它filter使用。
由于directshow自带的avisplitter工作于拉模式，故该源filter也工作于拉模式。
本源filter采用双缓冲循环队列技术来实现数据的接收和向下一级filter传递数据。采用该技术有如下理由：
(1)在sourcefilter与splirer连接的过程中，会从sourcefilter中读取一部分数据，以获得数据的格式描述，否则filtergraph无法完成连接。源filter与splitterfilter进行连接前，应启动一个等待线程，当sourcefilter的数据缓存预先接收到足够的数据后，再构建完整的filtergraph。
(2)当完整的filtergraph构建完成，并且处于运行状态后，sourcefilter必须动态地接收数据，并持续地把新数据提供给splitterfilter，双缓冲循环队列既充分利用内存空间，又能为splitterfilter提供稳定的数据源。
(3)缓冲队列可以稳定码率，有效减小网络延时、阻塞和抖动的影响。
源filter的工作过程如下：建立一个循环缓冲队列，队列尾指针用于缓冲从网络接收的数据，队列头指针供splitter读取数据，进行音视频分离，并传给下一级decoder处理;当socket接收到网络数据后，将数据插入队列尾部，并使尾指针后移;当splitter需要读取数据时，从队列头读取数据，并使头指针后移。
流媒体传输采用客户端/服务器的架构，服务器与客户端之间还有一个socket通信协议问题，由于流媒体是连续的，它的同步点不能随意选择，因此，为了传送流媒体数据，必须使用面向连接的可靠的传输协议(tcp)。客户端与服务器端的控制与反馈消息，则可以使用(udp)来传输。服务器端首先创建一个侦听socket，侦听来自客户端的连接请求。一旦侦听到客户端的请求，服务器端就创建一个用于数据传送的socket，并绑定到请求连接的客户端，此时，服务器处于数据传送的就绪状态。当客户端发出命令，服务器再根据命令的类型执行相应的操作，如数据发送、停止、断开连接等。
在服务器端首先将连续的h.264流分成一块一块小包的负载数据，并且加上一个信息头一起使用tcp协议发送;在客户端根据信息头描述，将小包的负载数据进行拼装，然后进行h.264的解码播放。socket数据传送结构为：负载类型(8bit)、负载数据长度(16bit)和负载数据包(2324byte)。
客户端的实现可以参考sdk中的memfilefilter，直接从sdk例子将asyncrdr.cpp、asyncrdr.h、asyncio.cpp、asyneio.h四个文件拷贝过来，然后在memfilter.h文件中从casyncstream派生流处理类cmemstream，定制数据源并进行数据的读取操作;从casyncreader派生滤波器类cmemreader，实现含1个输出pin的sourcefilter框架，完成与splitterfilter的连接。
网络源滤波器类间数据流程如图2，下一级filter“拉”线程数据流程如图3。其中：casynestream用以标示数据流;casynerequest标示输入与输出请求;casyncio实现数据输入和输出的控制。编程主要实现cmemstream：read()函数以实现从特定的数据源读取数据到下一级filter的sample中。
3.3h.264解码filter的设计
该滤波器工作于splitter和rendererfilter之间，包含一个输入和一个输出，且输入和输出pin上的媒体类型不一致，故选择ctrans-formfilter作为基类，派生子类cx264decode。
ffmpeg是一个集录制、转换、音/视频编码解码功能为一体的完整的开源解决方案。利用ffmpeg中的libavformat和libavcodec库访问大多数视频文件格式是一个很好的方法。将ffmpeg中关于h.264解码的操作封装为c++类，供h.264解码filter调用以实现解码功能。
子类cx264decode必须要实现的纯虚函数有：checkinputtype()实现输入pin上的媒体类型检查;checktransform()检查是否支持从该输入pin到输出pin的变换操作;decidebuffersize()决定samlple内存的大小;getmediatype()：提供输出pin上的首选媒体类型;transform()：实现解码变换。
子类cx264decode可选的重写虚函数有：初始化和反初始化流：startstreaming()和stopstreaming();响应质量通告消息：alterquali-ty();获取媒体类型被实际设置的时间：setmediatype();连接时获取额外的接口：checkconnect()、breakconnect()和completeconneet();定制变换过程：receive();标准化设置输出sample：initializeoutputsample()。
本filter设计主要流程如下：
(1)filter注册信息
定义类工厂模板，填写filter的注册信息;同时实现dll文件所必须实现的注册和反注册函数：dllregisterserver和dllunregisterse-rver。
(2)框架函数的实现
实现函数createinstanee，用于创建filter对象实例;实现函数cheeklnputtype，用于对输入pin上的媒体类型检查;实现函数transfo-rm，用于h.264的解码操作;实现函数nondelegafingqueryintefface，用于暴露filter支持的自定义接口，使应用程序可以设置解码器的参数;实现函数completeconnect，可以在输入pin成功连接后取得媒体类型描述，并将输入数据的格式设置给应用逻辑控制对象;实现函数st-artstreaming和stopstreaming，可以分别调用应用控制逻辑对象的相应函数，进行流处理的初始化和反初始化操作。
(3)逻辑控制类的实现
逻辑控制类是本filter设计的核心，框架函数和自定义接口函数的相关操作都是委托给逻辑控制类来实现的。该类实现了h.264.的解码参数的设置与解码操作，主要调用封装了h.264解码的c++类来实现。
利用ffmpeg库进行h.264解码时，需要自定义两个关键函数：open_net_file()和read_buffer_frame()。其中，open_net_file()函数完成与流媒体服务器的连接，接收指定流媒体文件的流相关信息，并返回类型为avformatcontext结构体的值。read_buffer_frame()函数从bu-ffer缓冲中读取一帧数据，并交由库函数avcodec_decode_video()解码。
(4)自定义接口的实现
将filter类从自定义接口类派生，并声明自定义接口的所有接口方法;然后在filter类的实现文件中实现这些接口法，其实大都是调用应用逻辑控制类的相应函数;最后在函数nondelegatingqueryinterface中暴露我们的自定义接口。
3.4播放器的设计
播放器采用directshow应用框架，采取界面、控制逻辑和数据分离的三层程序设计方法。界面类直接从标准的对话框类cdialog派生，在界面类中定义两个自定义类：数据封装类和逻辑控制类。界面类表达一种用户操作逻辑;数据封装类集中管理各种参数;逻辑控制类具体实现业务应用逻辑。采取directshow应用框架，不必关心数据如何输入和输出，这些问题都由filter框架负责，只需更多的关注数据处理的算法实现、效率优化等问题。采取界面、控制逻辑和数据分离的设计结构，不仅使程序框架清晰、容易被人理解，而且具有良好的移植性和扩展性。
播放器基于filtergraphmanager构建包含网络源filter和h.264解码filter的filtergraph，即可实现网络流媒体的播放。界面类实现视频显示界面与用户的操作交互，控制逻辑可以控制视频的播放、暂停、停止、解码参数设置等，数据类实现对数据的操作管理。
4结束语
本流媒体播放器系统采用了directshow应用框架和h.264视频编解码标准，能很好的实现网络流媒体视频的播放，具有结构清晰、良好的可扩展性与可移植性。由于wince系统是微软提供的嵌入式实时操作系统，提供了对directshow的应用支持，故本系统也可以很好的移植到win-ce的嵌入式应用平台，实现嵌入式端的流媒体视频播放。同时，本流媒体播放系统也可很好地移植到视频点播系统中，因其采用高压缩比、低码率的h.264视频编解码标准。能有效减少网络负载、减小带宽，从而减轻网络对流媒体传输中所存在的丢包、抖动、延时等影响。
RFID标签天线的未来是怎样的趋势
STM32CubeIDE使用入门的几个常见问题
浅谈变容二极管的选用和作用
芯片公司排名全球
三星拉跨、台积电持续涨价，还有多少人愿为3nm买单？
基于Directshow的H.264流媒体播放器设计
降压-升压器件可延长电池寿命
论串口屏的未来发展方向
Google TV系统设备或将支持Apple TV服务
天线系统的定义、种类及馈线系统
德索mini fakra连接器发展的最新趋势
车规电容和普通电容有什么区别？
土壤墒情速测仪是什么，它的作用是什么
工信部表示鼓励企业根据适用场景研发换电模式车型
基于区块链技术设计的娱乐平台为名利而战介绍
新型交错背触式太阳能电池研发，实现亚微米CIGS层的高效率
FPGA设计的10个实用技巧
采用平面磁集成技术设计新型ZCS―PWM Buck变换器
世界和中国集成电路的发展之路
气动马达怎样选型？