君子性非异也，善假于物也。

前几天，在一次会议上，有同学问我：如何才能提升工作效率？ 和以往的答疑环节不同，我这次没有给出明确的、马上可行的方法，相反，我仅仅是给出了自己对“如何提升工作效率”的思考。

鉴于时间的关系，当时没有展开来讲，对当时的内容进行了梳理、丰富和扩展，就形成了这篇文章。

从FFmpeg的代码提交记录lavfi: add filter dnn_detect for object detection中，我们发现，FFmpeg已经以滤镜的形式提供了基于DNN的目标检测能力。

卷积的数学定义

在图像分析和图像处理中，卷积(convolution)是一种非常重要的运算。卷积是一个积分运算，其反应的是函数$f(x)$在另一个函数$h(x)$上移动时所叠加的量。函数$f$和$h$在有限域$[0,t]$上的一维卷积为：

$\begin{aligned} (f*h)(t) &= \int^{t}_{0}f(\tau)h(t-\tau)\mathrm{d}\tau \\ &= \int^{t}_{0}f(t - \tau)h(\tau)\mathrm{d}\tau \end{aligned}$

需要注意的是，卷积积分的上下限实际为$(-\infty, +\infty)$，但是此处我们假设负坐标部分的值为0，因此这里可以限定在区间$[0,t]$中。^[1]

VMAF是Netflix开发的、用于评估视频感知质量的算法。VMAF包括一个独立的C语言库libvmaf及其对该库的Python包装。在Python库中，还提供了一组工具，以方便用户可以训练和测试自定义的VMAF模型。目前为止，在工业实践中，VMAF是视频质量评估领域中最优秀的全参考评估算法。

但是，在MacOS上编译并使用VMAF的过程中，发现会有一些问题导致无法编译成功，并且和模型训练相关的python代码也存在某些小的冲突，导致在整个模型训练的过程会出现某些异常。

本文就是对自己在调试过程中遇到的问题的总结。

视觉信息保真度（VIF）是基于自然场景统计（natural scene statistics）和人类视觉系统（human visual system）提取图像信息的一种全参考的图像质量评估指标，并且与人类对视觉质量的判断具有良好的相关性。

2006年，Hamid R Sheikh和Alan Bovik在德克萨斯大学奥斯汀分校的图像和视频工程实验室（LIVE: Laboratory for Image and Video Engineering）提出了VIF算法。

今年的职称评定工作比以往来的要早一点，好多的同学不得不在春节假期就准备自己的材料。每一次review别人的材料后，总会有一些感想，一直也没有时间整理出来，趁着这次机会，也结合自己过去的实践做一个简单的总结。

真实世界的亮度范围是十分广阔的，而人眼能感知到的亮度范围在十万尼特左右。举个例子，用分光色度计测量向着阳光盛开的花朵，其黄色区域亮度最高可达14700尼特，边缘的红色是2300尼特，中央的花蕊和绿叶只有200尼特以下。但是，在窄色域、亮度普遍不超过100尼特、对比度也只有1000：1的SDR显示器下，这张照片的色彩会暗淡很多。但是随着技术的发展，HDR技术可以达到广色域、1000尼特亮度以及上万的对比度。虽然和现实标准相差还是比较大，但是相较于三十年前的SDR，HDR还是前进了一大步。

背景

在优化视频客观全参考算法（主要是PSNR, SSIM, MS-SSIM）时，我们首先利用FFmpeg提供的API（avcodec_send_packet()，avcodec_receive_frame()）对输入的两个MP4文件转成对应的YUV格式的数据文件，然后再基于这两份YUV数据文件进行计算，得到对应的结果。

但是，我们发现，MP4文件转成YUV数据后，总是会发生丢失视频最后几帧的现象。

为了弄清楚这个问题，查阅了FFmpeg的源码，并参考了网络上的资料，然后总结出了这篇文章。

1987年，在美苏中程核武器协议谈判时，美国总统里根旁敲侧击，对戈尔巴乔夫说：“我非常喜欢一句俄国谚语——Trust, but verify”。

意思就是，里根相信苏联领导人的承诺，但还必须有个有效的验证机制。

关于该谚语的详细信息，可以参考维基百科

前几天，在浏览FFmpeg的Trac时，发现了一个希望FFmpeg增加让FLV支持HEVC编码的需求。

这个需求是2017年提交到FFmpeg社区的，从整个交流过程可以看出，需求提出者和FFmpeg的社区维护者对这个需求的分歧较大，从中也能看出一些工作思路和工作文化上的差异。看完整个讨论过程，感触还是比较深的，所以想写一篇文章来记录一下自己的感触。