目前，基于TCP/IP的数据传输网络在本质上是尽力而为的网络，是为传统数据业务提供传输服务的网络，其传输带宽的波动是不可避免的，传输延时也是随机的。因此，如何在IP网络上提供流媒体服务并实时传输视频，在这里也需要详细解读一下。

一、实时视频网络传输系统的组成及原理

一个完整的实时视频网络传输系统由视频采集、视频编码、传输控制协议处理、1P通信网络、视频解码等组成。其系统的组成与原理框图如图1所示。

图1 实时视频网络传输系统组成与原理框图

由图1可知，整个视频流的处理、传输流程是：在视频发送端，对模拟视频进行采样，获得数字视频并进行视频编码，生成适应于网络传输的面向网络通信的视频码流；根据反馈信息，估计网络的可用传输带宽，自适应地调整编码器的编码输出速率（包括信源码率的调整与信道码率的调整），使得视频码流能够满足当前网络传输可用带宽的限制；在接收端，对接收的视频流进行解码、重构视频信号、计算当前网络传输参数（如传输中的丢包率等）并发送反馈控制信息。

视频采集部分主要由视频A/D、视频D/A、同步逻辑控制、视频处理、数据存储器构成。A/D部分是将各种标准的模拟视频信号转换成数字视频信号，作为视频处理子单元的输入数据；逻辑产生单元通常选用FPGA或CPLD来完成各种同步逻辑控制，保证采集的实时性；对视频数据进行分析和处理，所需运算量常常较大，为了保证视频处理的实时性，常采用视频处理专用芯片、高速DSP、FPGA和DSP等来完成视频处理。

视频编码部分将数字视频信号压缩为满足一定视觉质量要求并且符合一定标准的数据流。在视频流的网络通信应用中，特别强调编码器所生成的视频流应该对网络传输带宽的随机波动具有自适应性。目前常采用可伸缩的视频编码器对视频信号进行编码，可伸缩的视频编码可以在时域、空域或正交变换域进行，其基本思想是将码流分成基本层和增强层。其中基本层码流是必须传输的，包括提供最低质量等级保证的视频码率和视频序列的运动矢量：增加层是可选择传输的，并且可以根据网络的传输条件进行任意截断。

传输控制部分根据网络的反馈信息，调整编码器的编码速率（信源码率调整）和信道差错控制（信道码率调整），并使信源码率与信道码率达到最佳分配。为了降低信道突发误码对视频码流的影响，常对视频数据包进行交织处理，以降低临近数据包同时发生误码的概率，便于接收端的错误隐藏和恢复。

在视频流的网络传输中，丢包是不可避免的（特别是在无线网络传输环境中）。为了保证完全正确的数据包传输，可以采用重传的策略，但对于视频流应用，因为对时延的敏感更胜于对丢包的敏感，所以在接收端，不需要强调完全正确的数据包传在正确接收的数据包基础上如何提供最大满意程度的视频质量则为接收端解码模块的中心问题。该问题等价于如何利用接收数据包的冗余信息，提供更为满意的解码视频流输出。解决的办法就是在接收端的错误隐藏和误差恢复。错误隐藏的方法有：

（1）基于空间相关性的错误隐藏。利用错误块在同一帧内相邻块的正确数据进行内插来重构错误块的数据，以此来达到错误隐藏的目的。这样才能够对相似或者很多细节的区域进行很有效的恢复。

（2）基于时间相关性的错误隐藏。这种方法是利用时间上相邻的帧具有很强的相关性来进行错误隐藏。错误隐藏的一个新的发展是采用自适应的方法进行改进，即根据图像的特点和误码的类型来选择相应的恢复方法或者是这几种方法的结合。自适应的一种准则是恢复图像的峰值信噪比（PSNR）最大化，结合的方式有线性加权合并、最大信噪比合并等。

二、TCP/IP协议不适合网络实时传输视音频数据

视频流传输与传统的TCP/IP网络的数据传输有明显的区别，主要表现在：传统的数据传输对传输延时和传输抖动没有严格的要求，但是有严格的差错控制和错误重传机制。而视频流要求传输具有实时性，对同步要求较高，并且对传输延时和抖动非常敏感，但在一定的情况下可以允许分组丢失，即可以接受一定程度的传输误码，并且流媒体服务具有根据网络的实时用传输带宽自适应地调整视频的传输质量的能力。