海思MEMC运动防抖技术让运动画面更加清晰流畅

为什么我们在电视机/投影仪等设备上,观看体育比赛/动作大片时会感受到画面的卡顿?
想要弄明白?需要我们先来了解几个技术名词:帧率、memc技术、刷新率···
帧率影响着视频的播放效果?
用电视看电影、追剧、看比赛,时常觉得电视在呈现这些内容时表现得并不够好,这其中与片源有很大关系,即画面的流畅感和片源视频的帧率(frame rate)有很大的关系,帧率的单位为 fps(frame per second),即每秒播放多少帧画面。电影普遍采用24帧来呈现其所具有的独特艺术质感,而主流消费级显示设备(显示器、电视机、投影仪)的刷新频率一般为60/120hz(即每秒刷新60/120张画面),现在不少高端产品开始向144hz/165hz甚至是240hz提升(主要表现在电竞领域),打起游戏来更“爽”。
“刷新率”就是显示技术术语,其本质上是指显示器上的像素每秒刷新多少次。刷新率和帧率很容易被混淆,其实一个用于终端,一个用于片源,不能互换使用,两个相互协作才能带来更好的观看体验。一旦二者没有匹配,比如刷新率高于帧率或者帧率高于刷新率,体验当然不会好到哪里去;当二者同等时,比如在120hz面板,观者正在观看以120fps的帧率拍摄的内容,观者就将能够感受到更佳更流畅的平滑度。在60hz显示器上观看以120fps拍摄的视频,由于显示器在一秒钟内只能刷新60次,少于120次,那么就会丢掉一半的画面来显示,最终呈现的效果也只有60hz,画面会有轻微的抖动。
总之,内容的帧率是内容源本身的频率,而设备的刷新率则是设备播放内容时显示的频率。当画面刷新的频率不够高时,在展现一些高速运动场景时会让观看者感觉到明显的卡顿和迟滞。除电影外,各大在线视频平台的片源帧率格式也参差各异,使得最终呈现到用户眼前的画面会有明显的拖影、抖动,这样的情况在观看物体运动频繁的体育赛事/动作大片时会更明显。
至关重要的memc技术
目前,硬件性能已经达到解码60hz或120hz的能力,传输技术的信号帧率也达到60或120hz,唯独视频内容方面,电影的帧率是24hz,电视帧率一般是25hz-60hz。一般情况下画面会通过pull up pull down的方式,增加重复帧 (即第一帧重复3次,第二帧重复2次,第三帧再重复3次,第四帧再重复2次……)这样就把24“fps”的视频各帧“相对均匀”地分配到了60hz的播放设备上,这种方法并没有给视频添加新的画面内容,运动画面的质量也没有得到真正的改变,虽然是是60hz的设备,最终呈现的效果也是24hz的效果。在遇到高速运动场景时就会出现“拖影”或者“模糊”的情况,也就是观影过程中的“拖影现象”。想要这些补充帧准确无误的展现出运动画面应有的效果,就需要强大的运算能力和算法支持,这也就是我们为什么需要memc运动补偿技术的原因。
如何解决以上问题呢?这需要运用memc的技术,就是通过对图像里物体的运动轨迹(运动矢量)进行检测,在原始帧中间插入运算后的补偿帧来提升画面的流畅性。memc,英文全称为motion estimation and motion compensation,中文译为运动预估与运动补偿。简单来说就是通过芯片和算法基于物体运动的轨迹进行预测,最终补偿出视频源中本身没有的画面,达到画面更为流畅的目的,也就是说,有了这项技术,设备侧可以突破内容本身的限制,把最终呈现效果提升到和设备最终显示频率一致的高帧率。memc运动补偿技术是一个电视画质的重要指标。
那么海思的memc是如何实现神操作的呢?
memc是如何解决“拖影”的?
memc试图解决的问题便是如何利用算法来智能化得协同刷新率和帧率,使衔接更自然、动势更顺滑,从而消除运动抖动、运动拖尾,让运动画面更加清晰流畅。
memc通过智能算法,根据前后的运动趋势计算其动态变化,预测下一帧的帧速率,在传统的两帧图像之间加插一帧运动补偿帧,将原本24帧的视频处理成60帧甚至120帧,以弥补帧不足。如果帧速率只有24hz,memc会在每奇数帧之后添加一个额外的帧,并在每偶数帧之后添加两个额外的帧以显示60hz,来匹配在60hz的终端屏幕上观看。如果帧速率较高,例如120hz,memc所做的是智能化相应地修改添加的帧数,解决电影中的断断续续的问题。memc运动补偿功能都是需要靠芯片来实现的,对芯片的性能要求较高。同样是memc,因为算法和芯片能力的不同,显示出来的效果也存在着不小的差别。
海思算法去除果冻效应、改善小物体运动
由于所有新增的帧都是运动预测计算出来的,但是画面中,一般会有运动部分和静止部分,memc必须要精确识别出运动部分,然后进行预测补偿,一旦识别出错或者补偿出错,都会带来副作用,识别算法有缺陷,会引起果冻效应、光环“halo”和小物体的丢失。补偿算法的优劣,影响画面整体的和谐之美,出现画面破碎等问题。
大家会发现以上动态演示图中,第二帧插入的帧足球消失了,为什么呢?大部分的memc算法模块中,采用块匹配的方法计算相邻的帧之间物体的运动相关性,也就是把图像切成16x16或32x32像素矩阵的块,再根据物体的运动矢量(mv)进行插值,由于算法是基于图像的块进行计算而非像素级(每个像素进行计算,计算量成几何级数上升,从芯片成本和可实现性上来看无法实现)导致对于小物体的运动矢量估计不准确,会导致小物体的丢失或出现重叠的现象。为了改善小物体的运动,海思芯片算法基于当前帧的频率特征计算图像块的运动矢量,这样就能改善小物体的运动矢量计算,大家看第三帧,消失的足球又回来了。
高刷新率这一神操作,是显示技术的一大亮点。智能科技行业领域的头部都已经对其展开了发展研究,尝试让画面流畅如丝,为用户在使用时带来更好的视觉享受。
海思memc运动防抖技术,能够通过预测及补帧将每秒24帧的画面调整到最合适的帧数,并减少预测失误,去除果冻效应及改善小物体运动;此外海思早已把8k memc整合到8k soc内,在8k soc里增加了memc,实现了和8k画质模块更好配合,为消费者完美呈现8k身临其境的画质体验,让您无论是玩游戏、看电影都能体验全程丝滑无卡顿,流畅画质快人一步,质感升级,品质加满!


多媒体会议室解决方案
菲律宾SMART部署爱立信天线内置射频单元
“第四届世界互联网大会”开幕:讲述第四范式先知3.0的定位
旧led手电改造 性能提高
三种基站建设方法分析
海思MEMC运动防抖技术让运动画面更加清晰流畅
荧光定量食品重金属检测仪畅销品牌
4G模块在安防领域中的作用
德州仪器(TI)DLP®技术大力挖掘工业创新应用
入局新市场 猎板进军线束连接器领域意欲何为?
世界杯超高清4K直播软件还得看它~
疫情防控应急广播系统解决方案
2018中国云计算产业竞争格局分析,云计算产业将高速发展
三星S8的谍照,透露了一股什么味道?
CS Show 2018即将开启 五株科技将携最新产品亮相
电机保护控制器的接线方法和注意事项
拓维信息与湖南工商大学签署校企战略合作协议
科学家研发获突破,可降低回收锂电池成本
介绍pyverilog分析工具的使用
美行科技高管专访:承上启下,把握方向展望未来