摘要:通过IVECO车型上开发的车道偏离预警系统实例,对基于单个CMOS图像传感器(摄像头)的车道偏离预警系统的系统组成、硬件选择、软件架构以及标定和路试情况进行介绍,并提出该控制系统升级的个人设想。
车道偏离预警系统(lane departure warningsystem,简称LDWS)是车辆行驶主动安全性技术之一,主要功能是在高速或类似的公路环境中,系统检测到由于驾驶员疲劳、磕睡或注意力不集中,车辆非正常偏离行驶的车道时,对驾驶员发出提示和警告,提醒驾驶员将车辆保持在车道内。
车道偏离预警系统应用的传感器技术,主要包括支持高速行驶的毫米波雷达、激光雷达和光学图像传感器(CCD或CMOS摄像头)。近年来随着CMOS图像传感器(CMOS摄像头)技术的不断完善和图像处理与模式识别技术的迅速发展,以采集信息量大、部件成本低优势的CMOS摄像头采集道路信息的技术路线成为商用车领域的研究热点。
理论上分析,获取道路环境三维信息需要采用双目或多目立体视觉系统,但由于单目系统数据处理过程简单、算法实时性更好,结合高速或类似公路环境的车道结构化特征和车道标识线的灰度特征,通过合理的算法策略,也能满足大部分环境下的车道偏离预警的功能要求。
本文通过IVECO车型上开发的产品实例,对采用单个前装CMOS摄像头进行道路图像采集的车道偏离预警系统进行了较全面的介绍。
1系统组成和原理
本文介绍的车道偏离预警系统,基于南京依维柯公司推出的最新车型PD 14开发,由摄像头(图像传感器)、控制器、仪表组成。安装在前挡风玻璃后的摄像头采集本车前方路况图像信息并发送给控制器,控制器对图像信息进行预处理和对车道线进行识别,结合从CAN总线获取的车辆状态和操纵信息(如转速、转向操纵信号等),判断本车在车道线中的位置;通过车辆偏离决策算法判断车辆是否偏离车道,在预警条件符合时,通过CAN总线适时向仪表发出报警指令,仪表通过蜂鸣和显示界面发出报警,向驾驶员传递车道偏离预警信息。系统组成框图见图1。
2系统硬件设计
考虑到商用车振动强度较大,前挡玻璃后部夏天温度较高,为避开核心元器件在高温区安装,光学摄像头和系统控制器采用分离模块,控制器安装在仪表台下部,摄像头采集的信号通过屏蔽电缆连接到控制器。
2.1光学图像传感器(摄像头)选型
常见光学图像传感器存在CCD和CMOS两种形式,CMOS形式摄像头将采用CMOS技术的像素阵列与外围支持电路集成在同一芯片上,集成化程度高,和CCD图像传感器相比,具有体积小、功耗低、编程方便、成本低等优点。本设计考虑到CMOS传感器的结构特点和价格上的优势,采用普清彩色CMOS模拟信号摄像头。
车载摄像头的选择必须基于车道线识别的应用特点,图像传感器的像素尺寸和最大帧频选择,既要满足前视区域分析的位置精度要求和车辆高速运行时的高速数据处理要求,也要考虑成本、数据量大小对系统实时性的影响。镜头选择要基于减少图像的畸变,满足车用工况高温、振动和不同光照强度的适应性的特殊性要求。通过比较,本设计选用的摄像头主要参数如下:①图像传感器:Aptina 1/4英时CMOS传感器;②数据格式:Raw Bayer 8- ,10-bit,CCIR656/CVBS模拟信号;③像素尺寸NTSC : 720(H)×487(V);④最大帧频:30f/s;⑤光圈F数:1.9±5%;⑥视野范围:水平35°,垂直24°,⑦工作电压:DC 6~16V;⑧工作温度:-40~105℃。2.2系统控制器
系统控制器采用单片机BF608和解码芯片ADV7180组合,框架结构如图2所示。摄像头获取的车前路况图像信息,以模拟视频数据CVBS形式传输到系统控制器上的解码芯片ADV7180的输入通道,该解码芯片为ADI公司生产的一款高性能解码器,芯片集成一个10位ADC,3路具有抗混叠滤波器的视频输入通道、视频增强器和自动增益控制等复杂功能,能够节省开发时间和保证系统可靠性。通过I2C总线正确配置寄存器后,芯片能自动监测输入信号格式,并将其转换成YCrCb型4:2:2的视频图像数据,提供给核心处理器对视频信号进行分析处理。
本设计选用ADI公司生产的BF608处理器为核心处理器,该芯片是ADI公司最近推出的一款双核、1 GHz处理能力的高性能产品,配备一个称为“流水式视觉处理器PVP”的高性能视频分析加速器,可设计用于加速多达5个并行图像算法。两枚独立的500 MHz的Blackfin处理器内核和PVP配合,构成系统以极高的分析能力适应车载嵌入式视觉应用和扩展多路视频监控的要求,来自解码芯片的数字图像信息通过平行端口接收并通过DMA方式存放到SDRAM中,外部FLASH用于存放系统程序,在系统上电或复位时自主加载到处理器内部。
2.3 CAN总线通信信息
核心处理器BF608自带CAN接口,通过车载CAN总线获取本车状态和操纵信息,并将决策后需要报警的信息及时发送到总线上。系统需要和总线交换的信息见表1。
3 系统软件介绍
车道偏离预警系统的软件设计基于坐标系间的坐标变换原则,研究集中在道路感知和车道偏离决策两个方面,道路感知的核心是通过道路图像信息对车道线进行识别,主要是道路识别算法的研究;车道偏离决策的主要任务是根据当前车的运动状态和前方道路几何特征等信息,确定合适的预警时间。系统主要的功能模块和工作流程框图见图3。