视觉监控的主要目的，是从一组包含人的图像序列中检测、识别、跟踪人体，并对其行为进行理解和描述。大体上这个过程可分为底层视觉模块(low-levelvision)、数据融合模块(intermediate-level vision)和高层视觉模块(high-levelvision)。 　　

其中，底层视觉模块主要包括运动检测、目标跟踪等运动分析方法；数据融合模块主要解决多摄像机数据进行融合处理问题；高层视觉模块主要包括目标的识别，以及有关于运动信息的语义理解与描述等。 　

如何使系统自适应于环境，是场景建模以及更新的核心问题。有了场景模型，就可以进行运动检测，然后对检测到的运动区域进行目标分类与跟踪。接下来是多摄像机数据融合问题。最后一步是事件检测和事件理解与描述。通过对前面处理得到的人体运动信息进行分析及理解，最终给出我们需要的语义数据。