智能视频监控技术主要是指对固定的监控摄像机拍摄的视频进行探测分析，从而获得视频中的运动目标，提取语义级别的事件信息，再经分析与识别，进而做出反应的一种技术。一般，智能视频监控技术常用的智能探测、分析与识别的软件算法与基本流程框架如图1所示，由图可知，智能视频监控技术的主要框架分为事件前景检测，目标检测、特征提取、跟踪与目标分类，事件识别等几个部分。

图1 常用的智能探测、分析与识别的软件算法与基本流程框架

所谓前景检测技术，是将输入的视频图像中变化剧烈的图像区域从图像背景中分离出来。这种视频图像中变化剧烈的图像区域，也称为前景团块。前景检测技术有多种实现方法，如帧差法、多高斯背景建模及非参数背景建模等七八种。这些实现方法之间的复杂度差异很大，对于各种场景的适应能力也有很大差异，因而它们的稳定性及性能差异也非常明显。如利用简单的帧差法也可以实现前景检测，它在稳定简单的场景下可以得到较好的前景检测结果，但是在视频发生扰动或者光照变化时，大量的静态图像区域就会被当作前景团块误检出来，因而该方法仅适用于检测稳定的室内场景。这就是为什么各种智能视频监控产品提供的功能大同小异，而存在很大性能差异的原因之一。

所谓目标检测、提取、跟踪与分类技术，是分析前景团块在视频序列中的状态，然后将具有稳定存在状态及运动规律的前景团块作为运动目标提取出来并跟踪，同时根据提取的图像特征值实现目标类型的甄别与分类。一般，将目标分为人和车辆两类，也有一些特殊应用会对目标进行其他较详细的类型的分类。实际上，目标分类技术是利用一些图像特征值实现目标类型的甄别的，如目标轮廓、目标尺寸、目标纹理特征等。一系列训练样本（各种视频图像）会被用于训练分类算法，分类算法也根据特征对监控视频中的目标进行类型甄别。分类算法也有多种实现方法，包括支撑向量机、Adab00st.神经网络等。显然，分类特征的选取，分类方法的实现及训练样本等，都会使分类技术产生较大的差异性。

值得指出的是，如果前景出现移动物体目标，并在设置的范围区域内且目标物体大小满足设置，系统将会把该目标进行提取并跟踪。这种目标跟踪技术，利用运动目标的历史信息预测运动目标在本帧可能出现的位置，并在预测位置附近搜索该运动目标。实现目标跟踪也有多种方法，如连接区域跟踪、模板匹配、粒子滤波等，这些方法在不同场景下的表现也有较大的差异性。此外，对跟踪成功的目标的运动轨迹应进行分析，以便对运动轨迹进行平滑及误差修正，使目标的运动轨迹更加接近于真实状态。通常，目标的良好跟踪是视频分析效果的基础前提条件，视频分析过程需要了解目标出现及运动的时间、位置、速度、方向等要素，而这些要素则主要通过目标跟踪得到。

所谓事件识别技术，是将目标检测、提取、跟踪与分类出的目标信息与前述设定的事件识别法则（或用户设定的预/报警规则）进行逻辑判断，判断是否有目标触发了前述的事件识别法则，如符合前述的法则，即做出预/报警响应，并记录显示，必要时还要对识别出的事件目标进行跟踪。

智能视频监控系统的工作过程是，当视频输入时，首先利用前景检测技术进行事件的前景检测，并提取出前景团块；其次经目标检测、提取、跟踪与分类技术，分析前景团块在视频序列中的状态，提取具有稳定存在状态及运动规律的前景团块作为运动目标并跟踪，同时根据提取的图像特征值实现目标类型的甄别与分类；然后利用事件识别技术将目标检测、提取、跟踪与分类出的目标信息与前述设定的事件识别法则进行逻辑判断，判断是否有目标触发了设定的事件识别法则。如不符合设定的法则，仍返回继续进行前景检测；如符合设定的法则，即做出预/报警响应，并记录显示，必要时还要对识别出的事件目标进行跟踪，直到解决问题为止。

如果在上述框架下采用简单易用的方案来实现各个模块，搭建一套智能视频监控技术并不是非常困难，但是其性能及其对各种场景的适应能力就很难得到保证。为了提高智能视频监控技术在某些场景下的性能，在上述的常用的智能软件算法框架上，可根据需要增加一些附加的软件模块加入算法框架。如对安置在汽车等移动物体上的摄像机获取的视频图像，必须要增加一个抗抖动软件模块，这样就可以提升在摄像机抖动情况下的处理效果；如在阴影严重的室外场景下，需增加阴影抑制软件模块，从而提升在阴影严重的室外场景下的处理效果；如在光照剧烈变化场景下，可增加光变抑制软件模块，从而提升在光照剧烈变化场景下的处理效果；如在目标图像频繁互相遮挡场景下，可增加遮挡处理软件模块，以提升在目标图像频繁互相遮挡场景下的跟踪精度等。