帧率基础知识

点击下方卡片，关注「AI计算机视觉CV深度学习DL」公众号
选择星标，最新技术干货每日准时送达

AI|图像处理|计算机视觉CV|机器学习ML|深度学习DL

转载自丨机器之瞳

相机是机器视觉系统的重要组成部分之一，在机器视觉系统中有着非常重要的作用。其已经被广泛应用于工业生产线在线检测、智能交通，机器视觉，科研，军事科学，航天航空等众多领域。帧率（Frame rate）是用于测量显示帧数的量度。所谓的测量单位为每秒显示帧数（Frames per Second），简称FPS或“赫兹”（Hz）。由于人类眼睛的特殊生理结构，如果所看画面之帧率高于16fps的时候，就会认为是连贯的，此现象称之为视觉暂留。这也就是为什么电影胶片是一格一格拍摄出来，然后快速播放的。

每秒的帧数（fps）或者说帧率表示图形处理器处理场时每秒钟能够更新的次数。高的帧率可以得到更流畅、更逼真的动画。一般来说30fps就是可以接受的，但是将性能提升至60fps则可以明显提升交互感和逼真感，但是一般来说超过75fps一般就不容易察觉到有明显的流畅度提升了。如果帧率超过屏幕刷新率只会浪费图形处理的能力，因为监视器不能以这么快的速度更新，这样超过刷新率的帧率就浪费掉了。最大帧率（Frame Rate）/行频（Line Rate）即相机采集传输图像的速率，对于面阵相机一般为每秒采集的帧数（Frames/Sec.），对于线阵相机为每秒采集的行数（Hz）。

相机上的图像采集过程包括两个截然不同的部分。第一部分是曝光，曝光完成后，进行第二部分Readout过程即从传感器的寄存器中读出数据并传送出去（Readout过程）。关于图像采集过程中，相机操作有两种常见的方法，“non-overlapped”的曝光和“overlapped”的曝光。在非重叠（“non-overlapped”）模式中，每个图像采集的周期中，相机在下一个图像采集开始前，均要完成曝光/读出整个过程。如下图所示。

虽然非重叠（“non-overlapped”）的模式，可适合于许多情况下，但它并不是最有效的方式。为了提高相机的帧率，允许在下一帧图像开始曝光时候，将前一帧获得的图像数据读出并传送出去。相机“重叠”（“overlapped”）曝光的方式如下图所示。从图中可以看到，相机读出数据和下一帧曝光开始出现重叠的情况，在同一个时刻内，相机执行两个操作，导致在同样的单位时间内，在“overlapped”曝光模式下，可以采集到更多的图片，即相机的帧率更高。

从上边两个图中，可以知道在“non-overlapped”的曝光和“overlapped”的曝光模式底下，一帧图像的周期存在着这样的关系，“overlapped”的曝光模式下Frame Period≤Exposure Time+Readout Time，“non-overlapped”的曝光模式下Frame Period>Exposure Time+Readout Time，以STC-A202A为例。

从上图中可知，其Pixel Frequency为36.8181MHz，所以1Clock的时间为1/36.8181Mhz=27.3836ns，接下来看相机的Timing chart，首先先看Horizontal Timing，如下图所示。

从上图中可读到的信息为，1CLK=27.1605nseconds，和从spec上得到的Pixel Frequency算出来的时间差不多。扫描1Horizontal需要1920CLK，即1H=27.1605*1920=52148.16ns=52.14816us。

接下来看相机的Vertical Timing如下图所示。

从上图中可读出的信息为，1H=52.1482useconds，和通过前面计算出来horizontal Scanning的时间一致，而在一帧图像中，需要扫描1252H，其中Effective Pixels为1220H，即1帧图像中，Effective Pixels Readout的时间为1220*52.1482=63620.804us=63.620804ms，一个VD信号，所用的时间为1252*52.1482=67793.5464us=67.7935464ms。

按照前边的理论，一个cycletime内，一帧图像的时间为Frame Period=Exposure Time+Readout Time。而STC-A202A的帧率为15fps，即1FramePeriod=1/15=66.7ms。所以在“non-overlapped”exposure模式下，Exposure Time=Frame Period–Readout Time=66.7ms-63.6ms=3.1ms，在此模式下，若是超过3.1ms的曝光时间，其帧率就会比标准帧率15fps低。

假如1台相机Readout Time为66.7ms，即数据传输时间为A，A=66.7ms，曝光时间为B，B=5ms，则一帧图像的时间为C，则C=A+B=66.7ms+5ms=71.7ms，则这台相机的帧率为1000/71.7=13.94FPS，则这台相机的帧率为13.94。一般情况下，若相机的帧率为15fps，则表示相机ReadOut数据的时间为1000ms/15=66.7ms。