基于机器视觉的车辆时空参数识别

(1.湖北工业大学土木建筑与环境学院, 武汉 430068; 2. 中铁大桥科学研究院有限公司, 武汉 430034)

摘要车辆荷载信息是分析桥梁受力和性能评估的重要依据,其中车辆时空信息是准确识别车辆荷载的关键参数。考虑到传统在桥面埋设传感器的方法影响交通、破坏路面,提出了一种基于机器视觉技术的车辆荷载时空参数识别方法,包括车辆的横向定位、车速、车轴数、轴距的识别。基于正面拍摄视频,采用背景差分法来实现车辆检测,进一步通过车牌识别确定车辆在图像中的位置,然后根据车牌与车道线距离来实现车辆横向定位。基于侧面拍摄视频,采用图像标定方法,结合已知长度的辅助检测线来获取车辆的轴距、轴数、车速等车辆参数。通过试验室模型试验和现场试验验证了提出的方法。结果表明,现场试验中车辆横向定位和车速的最大误差分别为2.42%和2.67%,轴距的平均误差为1.63%,识别结果可以为更多其他车辆参数如轴重和总重的识别提供重要的技术支撑。

关键词机器视觉; 时空参数; 荷载识别; 桥梁工程; 健康监测

正交异性桥面板结构局部受力明显,在车辆轮载作用下,面板结构焊缝部位易萌生疲劳裂纹,产生损伤累积,严重时将会影响结构的使用寿命与安全。因此,为了更好的预测正交异性钢箱梁的疲劳特性以及长期使用中可能出现的病害,准确识别车辆荷载时空参数如车辆在桥上的横向分布特征、车轴、轴距、车速等对于结构的健康监测与安全评估具有重要的理论意义和工程应用价值[1]。

针对桥梁车辆荷载的识别,主要方法有基于动力响应的荷载识别和桥梁动态称重系统(bridge weigh-in-motion,BWIM)。基于动力响应的荷载识别通过车-桥耦合系统振动方程求解任意时刻车辆和桥梁接触处相互作用力来识别车辆荷载。这类方法受路面不平整度、车辆速度等因素影响大,需要的系统参数多,计算复杂、不确定因素多[2]。BWIM直接将传感器安装在桥梁结构的底部采集结构动态响应,基于影响线理论识别车辆荷载的轴重、轴距、轴数和速度等参数,对于正交异性桥面板钢箱梁结构,面板结构受力局部性强,识别结果受到车辆横向位置和振动的影响较大[3-4],通常需要采用多个应变传感器联合对荷载横向位置进行精确定位。而且需要在桥上横向不同位置进行现场标定,费时费力。另外,车速,轴数、轴距等时空参数的识别需要在多个监测断面布设较多的传感器。

机器视觉技术是一种非接触式监测技术,可以通过对视频图像进行分析处理实现对运动物体的检测、识别、跟踪、定位等,近年来已被引入基础设施的监控中[5-9]。孔烜等[5]从车辆参数的识别方法和应用研究两方面梳理了机器视觉在车辆参数识别领域的研究现状、最新研究成果和未来发展趋势。王昊等[6]基于机器视觉技术实现了非接触式交通参数的识别,该方法具有测量范围广、无需传感设备、避免封闭交通、长期稳定工作和易于信息集成等优势。Dan等[7]结合高斯混合模型和卡尔曼滤波,沿桥布置多台摄像机采集交通流视频,实现了车辆实时追踪。Xia等[8]针对中小跨径桥梁采用多应变传感器和单摄像头相结合的方式对交通荷载进行检测,实现了对车辆关键参数的有效识别,所提出的方法以基础设施安全为导向,在准确性和成本效益方面更适合对中短跨桥梁进行交通负荷监测。冯汝怡等[9]基于桥梁上车流的航拍视频,分析了行驶车辆的时空信息,应用于交通流理论建模。

现针对桥梁上移动车辆的视频流,提出一种基于机器视觉的车辆时空参数识别方法,包括车辆的横向定位、车速、车轴数、轴距的识别。并通过试验室模型试验和现场试验来验证方法的有效性和精度。

1 系统框架

在监测断面前方(这里定义车行方向为前方)和两侧面分别架设高帧率数字视频监控摄像头,拍摄车辆通过断面时的实时视频,根据正面视频识别车辆在桥上的横向位置,而轴数、轴距及车速通过侧面视频来识别,如图1所示。

2 横向位置识别

2.1 车辆检测

采集摄像头监测的视频流数据,采用背景差分技术来检测车辆[10]。首先将彩色图像转化为灰度图,基于灰度图采用多帧平均法来建立背景模型,表达式为

(1)

式(1)中:Bn为第n帧视频图像中的背景模型; N为图像帧的帧数;B(x,y)为图像中的各个像素点的灰度值;In(x,y)为第n个视频图像帧中(x,y)的像

Z为车牌与车辆右边(顺桥方向)车道线之间的实际距离;W为车道线之间的实际距离;Δs为单位时间内同一车轮经过的距离;L为车辆实际轴距;D为两条检测辅助线之间的实际距离
图1 监测系统框架
Fig.1 The frame of monitoring system

素点值。为了消除光照对背景建模结果的影响,每隔一段时间重新更新一次背景模型为

(2)

在得到背景图像Bn(x,y)之后,从当前帧Pn(x,y)的灰度图像中减去该背景图像,以通过阈值获得前景图像为

(3)

式(3)中:Pn(x,y)为当前图像帧灰度图像的像素点灰度值;Bn(x,y)为背景模型中各个像;F(x,y)为背景差图;T为全局阈值,这里通过Otsu方法确定最佳全局阈值[11]。

2.2 车牌识别

检测到车辆后,需要进一步确定车辆在图像中的位置,这里通过识别车牌来对车辆进行定位。将目标图像灰度化,基于矩形车牌长宽比,采用均值漂移(mean shift, MS)聚类算法实现灰度图像的区域化分割[12]:假如存在一个特征空间,初始确定一个中心点,计算在设置的半径为h的圆形空间内所有的点xi与中心点的向量,计算整个圆形空间内所有向量的平均值,得到一个偏移均值为

(4)

式(4)中:Sh为以x为中心点、半径为h的高维球区域;k为包含在Sh范围内点的个数;xi为包含在Sh范围内的点。

MS结合核函数,能够使计算中距离中心的点具有更大的权值为

width=211,height=93,dpi=110

(5)

式(5)中:x为中心点;xi为带宽范围内的点;n为带宽范围内的点的数量;f(x)为对核函数的导数求负。

基于MS算法分割图像后,采用数学形态学方法,根据矩形图形匹配方法找到车牌候选位置。由于字符的存在,通常车牌区域的像素值具有更高的局部方差。通过计算车牌候选区域边缘密度确定车牌区域为

width=129,height=55,dpi=110

(6)

式(6)中:E(m,n)为像素点(m,n)处的边缘密度;NR为候选区域内像素点个数。

2.3 车道线识别

接下来需要识别车道线,根据车辆与车道线的相互位置关系来定位车辆在桥上的横向位置。这里采用最大稳定极值区域(maximally stable extremal regions, MSER)算法[13],该方法可只识别稳定的极值区域,忽略不可预测的噪声区域(如道路上的坑洼和障碍)。通过Otsu方法确定最佳全局阈值,对目标图像进行二值化。其中,一些连通区域面积随阈值上升变化很小的区域称为MSER,表达式为

(7)

式(7)中:Qi为第i个连通区域的面积;Δ为微小的阈值变化;当v(i)小于给定阈值时,认为该区域为MSER。

基于MESR算法分割图像后,采用Canny边缘算子来提取车道线边缘图像[14]。结合渐进概率霍夫变换[15](progressive probabilistic Hough transform, PPHT)直线检测算法提取车道线。PPHT是一个轻量级版本的Hough变换,即

ρ=xcosθ+ysinθ

(8)

式(8)中:ρ为极坐标系原点到检测线之间的垂直距离;θ为垂直线与x轴的夹角。通过以下约束条件去除不符合车道线角度范围的噪声线段,即

(9)

式(9)中:T1、T2分别为直线角度设置的预定义阈值,T1、T2分别取15°和89°;(x0,y0)和(x1,y1)分别为检测直线的端点坐标。对于检测到的数据点,采用最小二乘法来确定车道线直线方程。

2.4 横向定位

结合车道线直线解析式,计算出车牌中心与车道线边缘之间的距离,从而确定车辆在桥上的横向位置。根据像素比例关系有

(10)

式(10)中:W、WP分别为车道线之间的实际距离和像素距离;Z、ZP分别为车牌与车辆右边(顺桥方向)车道线之间的实际距离和像素距离。

3 轴距和车速识别

3.1 车轮检测

首先,需要通过对车轮进行检测来识别车轴的位置。采用标准圆Hough变换[16](circle Hough transform, CHT)识别车轮,其原理类似Hough直线检测,在笛卡尔坐标系下圆的一般方程为

(x-a)2+(x-b)2=r2

(11)

基于圆的参数方程,在Hough空间中有式(2)成立,即

(12)

对于Hough变换检测直线,若干个共线点映射到Hough空间是若干条相交的直线。同理,若干个共圆的点映射到三维Hough空间是若干个相交的圆锥面。其中,相交次数最多的点就表示圆的方程。

3.2 轴距识别

采用CHT算法识别车轮外圈轮廓,基于车轴与辅助检测线的相对关系和辅助检测线实际间距来识别车辆的轴距。根据像素比例关系,轴距计算公式为

(13)

式(13)中:L为车辆实际轴距;LP为轴距的像素间距;D、DP分别为两条检测辅助线之间的实际距离和像素间距。

3.3 车速识别

基于上述识别轴距的算法,通过不同帧图像中同一车轮的位置差来计算车辆速度,公式为

(14)

式(14)中:Δt为相邻帧数的时间差;Δs为单位时间内同一车轮经过的距离。

4 模型试验

4.1 试验装置

设计了一个钢箱梁桥模型进行实验测试,通过马达牵引试验小车通过主梁,改变马达的皮带盘直径来改变小车速度。为了让小车匀速通过检测段主梁(主梁长为2.7 m),在主梁前后分别设置了一段加速段及减速段钢梁。在主梁上设置了车道线和辅助线,车道线间距为0.625 m,辅助线间距为1.2 m。为了更好验证车辆横向位置,在主梁横向设置了横向定位的检测尺。在试验模型上方和侧面分别架设一部高帧率摄像机,拍摄小车通过时的实时视频。整个试验装置如图2所示。

图2 试验模型图
Fig.2 The whole experimental model

4.2 试验测试

试验中,通过改变小车的横向位置、类型、车速,进行多次跑车试验,拍摄不同工况下的实时视频。采用提出的算法对正面视频中的目标图像进行处理,提取车牌和车道线特征,识别的车道线用红线标出,车牌用绿线标出,如图3所示。

对侧面视频中目标图像进行处理,提取辅助检测线和车轮轮廓特征,提取的辅助线用红线标出,检测的车轮用蓝线标识,如图4所示。

采用提出的方法识别车辆时空参数。其中,根据在主梁横向设置的检测尺来判断小车在桥面上真实的横向位置,根据小车进出主梁(2.7 m)所经过的时间来确定真实车速。识别结果如表1和表2所示。

从识别结果可以看出,基于检测辅助线,采用像素比例计算的横向距离和速度的误差均在2%之内。两种类型小车轴距的识别误差不超过1%。误差的原因可能包括环境振动导致相机抖动或桥面不平整造成车辆振动,摄像头视频分辨率(采用手机拍摄)不高等。

图3 横向位置识别
Fig.3 Identification of the lateral position

图4 轴距识别
Fig.4 Identification of the wheelbase

表1 横向位置和速度识别结果
Table 1 Identification results of lateral position and vehicle speed

表2 不同类型车辆的轴距识别
Table 2 Identification results of the wheelbase of different type vehicle

注: L1为第二轴到第一轴的轴距; L2为第三轴到第二轴的轴距。

5 现场试验

为了进一步评估提出方法的有效性,进行了现场试验。选取了某道路的一段辅路作为测试路段,在试验路段上设置了标注刻度的两条红色布条作为辅助检测线,其间距为7 m,如图5所示。

在监测断面前方(车行方向)人行天桥和侧面人行道上分别架设一台高帧率数字视频监控摄像头来拍摄车辆实时视频。试验采用了一辆两轴轿车,以不同速度分别从不同横向位置驶过路面,拍摄车辆通过断面的实时视频,通过车辆仪表盘显示的速度来校验识别结果,如图6所示。

图5 现场横向定位
Fig.5 Lateral location in site

图6 现场车轴识别
Fig.6 Identification of vehicle axles in site

同样采用提出的方法对车辆时空参数进行识别,结果如表3所示。

从表3识别结果可以看出,采用机器视觉技术识别的车辆横向位置、车速误差均在3%之内,轴距的平均误差为1.63%。由于现场的道路环境比实验室条件差、车道线、车轮等成像清晰度等更低,因此,识别结果误差稍大,但是仍然具有较好的精度,满足实际工程应用中的需求。

6 结论

提出了一种基于机器视觉的车辆载荷时空参数识别方法,并通过实验室试验和现场试验验证了该方法的有效性和精度。

(1) 提出的方法可以有效识别车辆时空参数,具有较高精度,满足实际工程应用中的需求。

(2) 试验车辆的横向位置、车速识别误差均在2%以内,轴距识别均不超过1%。现场试验的车辆时空参数识别误差略高于实验室试验误差,横向位置、车速误差均在3%之内,轴距的平均误差不超过2%。

(3) 基于识别的结果,再结合BWIM系统的应力监测,可以仅利用少量的传感器即可实现轴重和车重的识别,机器视觉技术也可以方便地对BWIM系统进行现场标定。

表3 现场试验车辆时空参数识别结果
Table 3 Identification results of spatio-temporal parameters in site test

参考文献