原文见杜宝宝的博客
研究进展
首先推荐这方面的大牛——雷霄骅,刚开始接触这个领域时,他的博客让我学习到好多。遗憾的是他已经离开我们。大家可以从他的博客中找学习很多基础性的知识。
一 视频质量评价大致可以按照以下方法划分:
(1)依据对原始视频的参考程度分类:全参考、半参考以及无参考;
(2)依据特征的来源:像素域,压缩域等;
(3)依据采用方法:传统机器学习方法、深度学习方法;回归、分类等;
(4)依据研究对象划分:压缩视频(只有拍摄过程中的抖动等以及压缩失真)、用户看到的视频(压缩失真+传输失真);
(5)依据是否有“人”的参与:客观评价、主观评价。
二 就上述5个部分,介绍其经典的方法:
(1)关于全参考、半参考以及无参考的介绍,参照下面链接:
http://yunxin.163.com/blog/video14-0809/
(2)关于像素域,压缩域,统计信息等的研究:
像素域:在深度学习出来以前,像素域的研究较少,深度学习出来之后,视频质量评价跟随深度学习的脚步,主要有以下几种框架:
CNN提取帧级特征,之后送入LSTM中做回归(CNN指CNN系列的网络框架,如Resnet等);
3DCNN直接做回归(速度较慢);
双流网络,CNN+光流信息等等。
压缩域:将视频进行压缩后,统计其I帧,P帧位置,DCT域中不同宏块的比例等作为影响因素。
统计信息:特意把统计信息拿出来,是因为有些研究是针对用户看到的视频,统计卡顿时长、位置、次数等信息作为影响因素。
(3)采用方法:传统机器学习方法如随机森林、LASSO、最小二乘回归等等;深度学习方法如CNN等系列架构;
(5)依据是否有“人”的参与:客观评价中引入一些列客观指标,如SSIM,PSNR,SSIMplus,VMAF等等,主观质量评价,即用户主观打分(MOS),分为0-5或者0-100不同的打分方法。