视频监控中行为理解概述

       在智能视频监控中，需要对视频中的异常事件特别关注。因为我们监控的目的，就是及时理解与处理监控场景中异常事件或异常行为，发现是否有某种类型的危险活动，并及时阻止危险活动的发生。显然，对视频监控场景中的目标的行为，进行检测识别、理解，并对异常事件采取及时相应的处理措施，是智能视频监控的首要条件。 

1.行为理解的难题

由于视频监控对象的动作往往是自然、连续的，而且与环境上下文有密切的联系，这都给行为识别或理解带来了如下一系列的难题。

       (1)如何通过融合多个摄像机的监控信息来克服光照、距离、视角、遮挡等环境因素带来的干扰和不确定性。

       (2)如何构建自然连续动作和行为的多层次模型，对视频监控目标行为进行分割和分类，而分割和分类又需要对动作和行为理解的高层模型进行指导。

       (3)如何考虑行为理解过程中的环境上下文信息，由于相同的行为在不同的情境下传递不同语义，对动作和行为理解需要了解当时视觉环境以及应用的情境。

2.行为理解的含义

        行为理解又称为行为识别，其特点为直接面向应用层，属于计算机视觉领域中的高层处理阶段。行为理解问题可视为时变特征数据的分类问题，即通过对运动对象的连续跟踪观察，将测试序列与预先设定的参考序列进行匹配，根据其匹配程度确定行为特征，进而对目标行为模式进行分析识别，并对该行为是否属于异常行为作出判断。

3.国内外对行为理解的研究

        目前，世界范围内人们已经开展了大量有关行为理解的研究工作。卡内基梅隆大学等著名研究机构在美国国防高级研究项目署(DefenceAdvancedResearchProjectsAgency,DARPA)资助下联合研制了为未来城市和战场监控应用开发的一种基于视频自动理解技的视频监控与监控系统；英国、葡萄牙和法国，在欧盟的资助下于2002-2005年联合开展CAVIAR(Context Aware VisionusingImage-based Active Recognition)项目，目的是为了解决城市闹市的监控问题和对商业顾客行为的分析；英国的雷丁大学开展了对车辆和行人的跟踪及其交互作用识别的相关研究；IBM和Microsoft等公司也正逐步将基于视觉的手势识别接口、人体运动等人机交互技术应用于商业领域。

       国内，中国科学院自动化所模式识别国家重点实验室、北京大学视觉与听觉信息处理国家重点实验室及清华大学等，对行为理解技术也都展开了相关的研究。

常用行为理解的方法

现阶段，常用的行为理解的方法主要有使用模板匹配法和状态空间法两种。

1.模板匹配方法

(1)模板匹配法的步骤。模板匹配法可以分为三步。

        ①从输入图像序列中提取行为特征。

        ②将该特征与在训练阶段预先保存好的模板进行相似度比较。

        ③从预先保存好的模板中选择与测试序列距离最小的所属类别作为被测试序列识别结果。

(2)几种模板匹配法的改进方法。模板匹配方法是行为理解的基本方法，后续也出现了许多基于此的改进方法。 

        ①Bobick和Davis首先根据图像中目标运动信息的类型，将图像分为运动能量图像(MEI)和运动历史图像(MHI),然后采用马氏距离比较测试序列与给定模块系列之间的相似程度，根据相似程度大小确定最佳匹配行为。

        ②Masoud等人则将目标行为描述为无限冲激响应滤波器响应，然后用测试序列点集和给定模块序列点集之间的Hausdorff距离来度量测试序列与模块序列之间的相似度，进而确定最佳匹配行为。

        ③还有学者釆用Procrustes距离来度量测试序列与模块序列之间的相似程度，如Veeraraghavan等人用动态时间规整(DynamicTimeWarping,DTW)来匹配运动序列。

(3)模板匹配法的优缺点。模板匹配方法的优点是实现简单、计算复杂度低，但只考虑单个序列的匹配程度，忽略了运动序列中相邻时序之间的动态特性，对于噪声和运动时间间隔变化比较敏感。

2.状态空间方法

        (1)状态空间法的步骤。状态空间法大致也可以分为三步。

        ①将每一种静态姿势定义为一种状态。

        ②通过对静态姿势所组成的运动序列对状态空间进行遍历。

        ③在遍历过程中计算联合概率，寻找具有最大概率的行为模板，作为最佳匹配行为。