OMCS网络语音视频聊天框架功能及技术分析
omcs网络语音视频框架是集成了语音通话、视频通话、远程桌面观看与协助、电子白板编辑与观看等多种媒体于一身的跨平台（.net、android、ios）网络多媒体框架，实现了多媒体设备【麦克风、摄像头、桌面、电子白板】的采集、编码、网络传送、解码、播放（或显示）等相关的一整套流程，且可智能地根据网络状况实时调整帧频、清晰度、并优先保证语音通话效果。您只要连接到omcs服务器，就可以随时访问任何一个在线用户的多媒体设备。基于omcs语音视频聊天框架，您可以快速地开发视频聊天系统、视频会议系统、远程医疗系统、远程教育系统、网络监控系统等等基于网络多媒体的应用系统。（可跳过概要介绍，直接进入开发手册目录或demo下载）一.omcs语音视频聊天框架功能简介
1.owner与guest
任何一个omcs的client都有两种身份：owner和guest。
当一个client作为owner时，它提供本地的摄像头、话筒、桌面、电子白板等多媒体设备供其它的client访问。
而当一个client访问其它client提供的多媒体设备时，则该client就是以guest的身份出现。
2.单向连接，1对1，1对n，n对1，n对n的关系
一个client可以同时访问多个在线client的多媒体设备；而一个client提供的某个多媒体设备，也可以同时被多个其它的client同时访问。其基础是单向连接（比如当a访问b的摄像头时，b不用访问a的摄像头），由单向连接就可以组合成1对1，1对n，n对1，n对n的关系， 这样就非常灵活。
像监控一个摄像头这样的系统直接使用单向连接就可以；两个人视频聊天就是1对1的关系；在线教育系统中，老师讲学生听，就是1对n的关系；同时监控多个摄像头就是n对1的关系；而视频会议则是“n对n的关系”。
3.p2p通道
当两个client之间相互通信时，omcs底层会自动尝试p2p连接，如果p2p通道能创建成功，该两个客户端之间的后续通信都经过p2p通道进行。即使p2p通道是基于udp的，omcs也会保证p2p通信的可靠性。
4.信道分离
在某些具体的应用中，我们可能需要把信道依据数据的类型进行分离。比如，在视频会议系统中，希望能将传送语音的信道独立出来，以避免其它类型数据传送时可能产生的拥挤而影响到语音的流畅性。这种情况下，我们就可以将语音数据分离到一条专用的信道进行传送。
5.超简单的编程模型
当基于omcs语音视频聊天框架进行开发时，如果要访问其它客户端提供的多媒体设备，我们只需要从工具箱中拖拽对应的连接器控件/组件到ui上，然后调用其connect方法连接到目标设备即可。connect方法会返回连接的结果，如果连接成功，则该连接器控件/组件将会正常工作（比如，cameraconnector控件将会显示目标摄像头捕捉到的视频）。
另外，我们已经提供了完整的omcs服务端程序，即omcs.server.exe，在使用时，只要部署该程序并启动它即可。
6.与应用集成
omcs解决的仅仅是多媒体设备的管理、连接、显示/播放、控制等问题，并没有掺杂具体的业务逻辑。所以，当与具体的应用集成时，通常omcs的服务端是独立的，而omcs的客户端dll将被嵌入到具体应用的客户端程序中，就像下面一样：
（如果您只需要采集本地语音视频数据，敬请了解mcapture。如果您需要录制语音视频，敬请了解mfile。）
二.omcs语音视频聊天框架技术特点 1.视频通话 （1）支持160*120、320*240、480*360、640*480、720p、1080p等多种采集分辨率。可在运行时，动态修改该分辨率。
（2）支持高、中、低三种视频编码质量。
（3）支持帧频1~25fps。
（4）当网络拥塞时，主动弃帧。
（5）根据网络状态，自动调整视频的编码质量。
（6）可以以位图格式获取当前视频帧。
（7）支持多种视频设备：普通摄像头、usb摄像头、虚拟摄像头、视频卡等。
2.音频通话 （1）支持高、中、低三种音频编码质量。
（2）支持回音消除（aec）、静音检测（vad）、噪音抑制（denoise）、自动增益（agc）等网络语音技术。
（3）最多可支持16路混音。
（4）自适应的jitterbuffer，根据网络状态，动态调整缓冲深度。
（5）如果同时开启音频和视频会话，则自动同步视频画面与声音。
（6）在网速慢时，自动调整视频的质量，优先保证音频的清晰和连贯。
（7）根据网络状态，自动切换语音数据到质量更高的网络通道，保证语音通话效果。
3.远程桌面 （1）支持高、中、低三种视频编码质量。
（2）根据机器性能和网速自动选择帧频。
（3）可动态调整屏幕分辨率。
（4）提供观看模式和控制模式两种选择。
（5）当网络拥塞时，主动弃帧。
（6）根据网络状态，自动调整远程桌面的清晰度。
4.电子白板 （1）支持常用的视图元素：直线、曲线、箭头、矩形、三角形、椭圆、文字等；支持视图元素的上下对齐，左右对齐。
（2）可修改边框颜色、填充颜色、线条粗细、线条虚实、显示比例。
（3）可插入图片、截屏，可将整个白板保存为位图。
（4）支持课件：上传课件、打开课件、删除课件，课件翻页等。且这些操作会自动同步到连接到了同一白板的各个客户端。
（5）提供观看模式和操作模式两种选择。
（6）激光笔：omcs会将老师/主讲人的激光笔位置自动同步到各个客户端。
（7）多个guest可以同时观看或操作同一个owner的白板。
三.omcs demo运行截图 视频/音频连接器 截图：
电子白板连接器 截图 --不使用课件：
电子白板连接器 截图 --使用课件：
远程桌面连接器 截图：
预期过高,戴姆勒盈利100亿欧难以实现
LD0、QLDO、VLDO的设计原理及测试
2020中国服务业企业500强榜单，传音控股首度入榜
Keil的使用方法 - 常用功能（一）
无线无法上网的六大原因
OMCS网络语音视频聊天框架功能及技术分析
三星研发1.5亿像素传感器 将卖给小米和OPPO
石墨烯将引起照明技术的又一轮革新
突破视觉局限：OLED透明屏出租点亮商业空间
NVIDIA Spectrum以太网平台的自适应路由技术
小米11真机图机型曝光
小米6手机配置售价再曝光: 1999元起和2599元起!
海泰密评“六脉神剑”助力政务信息系统过密评
汽车接插器的选取设计需要遵循哪些原则？
研究报告显示目前商用的人脸识别技术仍不成熟 部分群体中的识别错误率更高
AI换脸软件 “ZAO”首次做出回应
STWD100xP 看门狗在嵌入式系统硬件抗EMC技术的应用
EMC计算方法和EMC仿真（1） ——计算方法简介
IGBT巨头林立，国产替代突围！
“云购物”等新消费新服务深刻改变了传统商业模式？
1.owner与guest
任何一个omcs的client都有两种身份：owner和guest。
当一个client作为owner时，它提供本地的摄像头、话筒、桌面、电子白板等多媒体设备供其它的client访问。
而当一个client访问其它client提供的多媒体设备时，则该client就是以guest的身份出现。
2.单向连接，1对1，1对n，n对1，n对n的关系
一个client可以同时访问多个在线client的多媒体设备；而一个client提供的某个多媒体设备，也可以同时被多个其它的client同时访问。其基础是单向连接（比如当a访问b的摄像头时，b不用访问a的摄像头），由单向连接就可以组合成1对1，1对n，n对1，n对n的关系， 这样就非常灵活。
像监控一个摄像头这样的系统直接使用单向连接就可以；两个人视频聊天就是1对1的关系；在线教育系统中，老师讲学生听，就是1对n的关系；同时监控多个摄像头就是n对1的关系；而视频会议则是“n对n的关系”。
3.p2p通道
当两个client之间相互通信时，omcs底层会自动尝试p2p连接，如果p2p通道能创建成功，该两个客户端之间的后续通信都经过p2p通道进行。即使p2p通道是基于udp的，omcs也会保证p2p通信的可靠性。
4.信道分离
在某些具体的应用中，我们可能需要把信道依据数据的类型进行分离。比如，在视频会议系统中，希望能将传送语音的信道独立出来，以避免其它类型数据传送时可能产生的拥挤而影响到语音的流畅性。这种情况下，我们就可以将语音数据分离到一条专用的信道进行传送。
5.超简单的编程模型
当基于omcs语音视频聊天框架进行开发时，如果要访问其它客户端提供的多媒体设备，我们只需要从工具箱中拖拽对应的连接器控件/组件到ui上，然后调用其connect方法连接到目标设备即可。connect方法会返回连接的结果，如果连接成功，则该连接器控件/组件将会正常工作（比如，cameraconnector控件将会显示目标摄像头捕捉到的视频）。
另外，我们已经提供了完整的omcs服务端程序，即omcs.server.exe，在使用时，只要部署该程序并启动它即可。
6.与应用集成
omcs解决的仅仅是多媒体设备的管理、连接、显示/播放、控制等问题，并没有掺杂具体的业务逻辑。所以，当与具体的应用集成时，通常omcs的服务端是独立的，而omcs的客户端dll将被嵌入到具体应用的客户端程序中，就像下面一样：
（如果您只需要采集本地语音视频数据，敬请了解mcapture。如果您需要录制语音视频，敬请了解mfile。）
二.omcs语音视频聊天框架技术特点 1.视频通话 （1）支持160*120、320*240、480*360、640*480、720p、1080p等多种采集分辨率。可在运行时，动态修改该分辨率。
（2）支持高、中、低三种视频编码质量。
（3）支持帧频1~25fps。
（4）当网络拥塞时，主动弃帧。
（5）根据网络状态，自动调整视频的编码质量。
（6）可以以位图格式获取当前视频帧。
（7）支持多种视频设备：普通摄像头、usb摄像头、虚拟摄像头、视频卡等。
2.音频通话 （1）支持高、中、低三种音频编码质量。
（2）支持回音消除（aec）、静音检测（vad）、噪音抑制（denoise）、自动增益（agc）等网络语音技术。
（3）最多可支持16路混音。
（4）自适应的jitterbuffer，根据网络状态，动态调整缓冲深度。
（5）如果同时开启音频和视频会话，则自动同步视频画面与声音。
（6）在网速慢时，自动调整视频的质量，优先保证音频的清晰和连贯。
（7）根据网络状态，自动切换语音数据到质量更高的网络通道，保证语音通话效果。
3.远程桌面 （1）支持高、中、低三种视频编码质量。
（2）根据机器性能和网速自动选择帧频。
（3）可动态调整屏幕分辨率。
（4）提供观看模式和控制模式两种选择。
（5）当网络拥塞时，主动弃帧。
（6）根据网络状态，自动调整远程桌面的清晰度。
4.电子白板 （1）支持常用的视图元素：直线、曲线、箭头、矩形、三角形、椭圆、文字等；支持视图元素的上下对齐，左右对齐。
（2）可修改边框颜色、填充颜色、线条粗细、线条虚实、显示比例。
（3）可插入图片、截屏，可将整个白板保存为位图。
（4）支持课件：上传课件、打开课件、删除课件，课件翻页等。且这些操作会自动同步到连接到了同一白板的各个客户端。
（5）提供观看模式和操作模式两种选择。
（6）激光笔：omcs会将老师/主讲人的激光笔位置自动同步到各个客户端。
（7）多个guest可以同时观看或操作同一个owner的白板。
三.omcs demo运行截图 视频/音频连接器 截图：
电子白板连接器 截图 --不使用课件：
电子白板连接器 截图 --使用课件：
远程桌面连接器 截图：
预期过高,戴姆勒盈利100亿欧难以实现
LD0、QLDO、VLDO的设计原理及测试
2020中国服务业企业500强榜单，传音控股首度入榜
Keil的使用方法 - 常用功能（一）
无线无法上网的六大原因
OMCS网络语音视频聊天框架功能及技术分析
三星研发1.5亿像素传感器 将卖给小米和OPPO
石墨烯将引起照明技术的又一轮革新
突破视觉局限：OLED透明屏出租点亮商业空间
NVIDIA Spectrum以太网平台的自适应路由技术
小米11真机图机型曝光
小米6手机配置售价再曝光: 1999元起和2599元起!
海泰密评“六脉神剑”助力政务信息系统过密评
汽车接插器的选取设计需要遵循哪些原则？
研究报告显示目前商用的人脸识别技术仍不成熟 部分群体中的识别错误率更高
AI换脸软件 “ZAO”首次做出回应
STWD100xP 看门狗在嵌入式系统硬件抗EMC技术的应用
EMC计算方法和EMC仿真（1） ——计算方法简介
IGBT巨头林立，国产替代突围！
“云购物”等新消费新服务深刻改变了传统商业模式？