之所以采用 YUV，是因为它的亮度信号Y和色度信号 U、V 是分离的。如果只有 Y 信号分量而没有 U、V 分量，那么这样表示的图像就是黑白灰度图像。彩色电视采用 YUV 空间正是为了用亮度信号 Y 解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色电视信号。
与 RGB 视频信号传输相比，YUV 最大的优点在于只需要占用极少的频宽（RGB要求三个独立的视频信 号同时传输）。其中“Y”表示明亮度（Luminance或Luma），也称灰阶值；“U”和“V”表示的则是色度（Chrominance或Chroma），它们的作用是描述影像的色彩及饱和度，用于指定像素的颜色。因此如果只有 Y 数据，那么表示的图像就是黑白的。
在编码时使用 YUV 格式能极大去除冗余信息，因为人眼对亮点信息的敏感度远高于色度敏感度，如果压缩 UV 数据，人眼对其感知较弱，所以压缩算法的第一步，往往先把 RGB 数据转换成 YUV 数据，对 Y压缩一点，对 UV 多压缩一点，以平衡图像效果和压缩率。
视频处理基本用的都是 YUV 格式数据，而屏幕显示则需要转换为 RGB 格式，简单换算一下便能得到答案，以下为 YUV 与 RGB 的转换公式，视频数据损坏，即Y=0，U=0，V=0，代入转换公式：
R=clip(Y+1.13983*(V-128), 0, 255)
G=clip(Y-0.39465*（U-128)-0.58060*(V-128), 0, 255)
B=clip(Y+2.03211*(U-128), 0, 255)
可得，R、B 为0，因此 R、B 通道不显色；G=125，G 通道显色，因此画面整体显示为绿色。
每秒 29.976 帧是广播电视 NTSC（美国国家电视系统委员会） 标准从黑白到彩色过渡的遗留问题。1953 年 12 月，FCC（美国联邦通信委员会） 过渡到了彩色电视，但要求完全向后兼容黑白电视。
为此，他们在子载波频率上对颜色信息进行了编码。选择频率使得当接收器处理调制分量时颜色（色度）信息与黑白（亮度）信息交错。这让黑白电视能够从亮度信号中滤除色度信息。
当时的分频器电路有限，因此必须将副载波频率设置为 3.58MHz。这需要对亮度信号进行轻微改变，以使载波频率与副载波频率相对应。水平线速率从每秒 15,734 行降低到每秒 15,730 行，帧速率从每秒 30 帧降低到 29.976 帧（降低千分之一）。差异足够小，黑白电视仍然可以容忍广播信号，同时允许彩色电视显示颜色。
视频标准 H.26x 里的 H 并没有特殊含义，其命名只是遵循了 ITU－T（国际电信联盟电信标准化部门）的命名约定，类似图书编号（见下图）。
MPEG-4 AVC 的命名来自 ISO/IEC MPEG 的命名约定，它是 ISO/IEC 14496 的第 10 部分，该协议族被称为 MPEG-4。该标准是作为 VCEG 和 MPEG 的一部分开发的，此前在 ITU-T 作为 VCEG 的项目，叫做 H.26L。所以常用于指代此标准的名称有 H.264/AVC，AVC/H.264，H.264/MPEG-4 AVC，或 MPEG-4/H.264 AVC，以强调共同遗产。
