1 引 言

随着激光技术的发展,复杂环境下的成像逐渐成为科研人员的研究热点。距离选通激光成像雷达作为目前一种较为成熟的激光成像技术,能有效降低后向散射的干扰,可以在相对恶劣的环境下保持较好的成像效果[1-2]。此外,距离选通成像技术还广泛应用于远距离成像[3-4]、水下目标的探测和识别[5-6]、以及多幅图像对观测场景的三维重建[7-8]等领域。距离选通激光成像雷达一般有如下三维重构的方法:时间切片法[9],梯形距离能量相关算法[10],三角形距离能量相关算法[11]等。但目前这三类成像方法都存在一些缺点:时间切片法有着速度慢、数据量大和对快门抖动较敏感的问题；梯形能量距离相关算法和三角形距离能量相关算法对激光脉宽和选通门宽的关系有严格要求。对采集的雷达数据进行三维重构后,为了去除三维点云的噪声,需要对其进行滤波处理,使目标形态更加清晰,比较常用的点云滤波方法有双边滤波[12]、中值滤波[13]和均值滤波[14]等。激光雷达三维图像重构及其去噪滤波算法多采用MATLAB或LabVIEW进行开发,这些软件虽然功能强大,但在点云数据量大的情况下存在实时性差、处理速度慢等问题,并且受到知识产权的限制。

本文选用C++编程语言进行了距离选通激光成像雷达软件开发,其中获取目标点云数据采用了一种新的距离选通激光雷达三维成像方法——相邻帧差法[15],该成像方法具有提取效果稳定、速度快、算法复杂度低等优点；去除点云噪声的滤波方法采用了离群点滤除算法,可以使目标轮廓完整地显现出来,有效滤除被测目标周围的杂乱点。实验结果表明该软件能够实时处理由激光成像雷达获取的点云数据,同时准确获取目标的距离信息,多角度还原目标物的三维图像,在三维图像重构领域具有广泛的应用前景。

2 三维点云成像算法

在距离选通激光成像雷达工作过程中,系统获取到的图像是一组强度图像序列,对其进行图像处理,并结合距离信息将处理后的图像转化成距离矩阵,最后将距离矩阵转换成三维点云并对其进行离群点滤除实现目标点云显示。

2.1 点云数据处理

对不同距离选通门获取的原始强度图像,利用相邻帧差法[15]对其进行数据处理得到三维点云的距离信息。初始化全零矩阵Φfront、Φback、Φd,其中Φfront和Φback分别为ICCD接收到的相邻两帧强度图像,首先判断当前延时时间是否大于设定值,若是则结束循环,否则将当前ICCD采集的原始强度图像转化成像素强度值的Mat矩阵,将当前矩阵与前一帧图像转化的强度矩阵相减即Φback-Φfront,得到差值矩阵ΔΦ,再对差值矩阵进行阈值滤波,认为大于阈值的像素是有效像素,并将计算出的当前距离值赋给所有有效像素所对应的距离矩阵Φd(i,j),最后将距离矩阵解算成点云数据格式,生成三维点云,经过离群点滤波生成最终目标点云。在生成点云之后重新回到循环条件进行判定,直到延时时间大于设定值则结束运行。

图1 点云数据处理流程图

Fig.1 Point cloud data processing flowchart

2.2 离群点滤除算法

在成像过程中,会因为CCD电子噪声和大气散射等对成像效果产生影响,导致目标周围存在使目标形态模糊的杂乱点,对于普通的阈值分割难以将其完美滤波,有时甚至会导致目标物体的部分成像点被删除,因此需要对点云进行离群点滤除。算法模型如图2所示。

图2 离群点滤除算法模型

Fig.2 Algorithm model for outlier filtering

对点云中的每一点P(xi,yi,zi)计算其到邻域内k个点的平均距离,得到的结果是一个近似高斯分布的模型,其概率密度函数为:

(1)

式中,di为点云中的第i个点到k邻域内的平均距离。计算该函数对应的均值和方差,点云集合中每个点到邻近k个点之间平均距离的均值μ计算公式如下:

(2)

式中,A为xi的邻域范围。对应方差σ2计算公式如下:

(3)

由计算出当前概率密度函数对应的均值和方差生成距离阈值dmax,三者关系表达为:

dmax=μ+λ×σ

(4)

其中,λ为比例系数,一般与邻域内点的数目有关。将点云集合中的每个点到邻近的k个点的距离与得出的距离阈值dmax进行比较,把距离阈值外的点定义为离群点将其滤除,满足条件的点保留,最终得到处理后的三维点云。

(5)

式中,N为点云总数据点数。

3 三维成像软件设计

3.1 三维成像软件功能模块设计

本文设计的软件主要由三个模块组成:数据采集模块,数据处理模块以及点云显示模块。如图3所示,其中数据采集模块主要基于距离选通激光成像雷达实现；数据处理模块以及点云显示模块基于电脑端实现。数据采集模块负责获取原始强度图像、实时调节相机参数以及控制延时器延时输出选通门信号；数据处理模块负责图像格式的转化和点云数据的处理；点云显示模块负责点云数据转化、点云的渲染、滤波以及可视化。

图3 软件模块设计图

Fig.3 Software module design diagram

3.1.1 数据采集模块

首先初始化相机驱动COM环境,进行相机列表的遍历找到指定相机并连接,之后调整相机的增益和曝光时间等相机参数。当相机开始工作之后,需要连接延时器进行距离选通。找到延时器所在串口设置串口名、波特率等串口信息,再根据不同距离的目标物体设置相应的初始延时、选通门宽及延时步长,以便于排除来自目标范围外的后向散射等干扰,通过串口发送延时指令控制延时器实现采集过程中的延时自动累加,每增加一次延时时间同时采集当前图像并计算对应的距离信息保存到缓存区,由此完成点云数据的采集。

3.1.2 数据处理模块

对采集到的强度图像做工业相机图像格式到Mat图像格式的转化,同时将其转换成QImage格式并在Qt界面上显示当前采集的图像,再将转换后的图像矩阵进行相邻帧相减,相减后得到的差值矩阵中的像素值与设置好的阈值作对比,强度值低于阈值的点视为无效点,高于阈值的点视为有效点。最后将计算出的当前距离值作为z坐标值给差值矩阵中所有有效点所对应的距离矩阵元,实现点云数据的处理。这一部分主要基于OpenCV视觉库编程实现。

3.1.3 点云显示模块

在Qt界面上显示三维点云,首先需要将用于VTK点云显示控件初始化,再对采集到的图像进行数据处理后得到的距离矩阵用三维坐标的形式进行数据格式转化,并添加点云的宽度、高度、密度及数据点尺寸等点云数据信息,得到可以用PCL点云库进行成像的数据格式,之后利用离群点滤波算法滤除目标周围的杂乱点,再进行z字段渲染以及可视化等处理,最终实现三维成像效果。

3.2 三维成像软件程序设计

三维成像软件流程图如图4所示。程序开始时首先判断延时时间是否到达设定值,若未达到,则发送字符串指令增加一个延时步长,并将计算的当前距离值保存下来,同时将采集的当前图像与缓存中的前一帧图像相减,对相减后的结果做阈值滤波处理,将距离值赋值给保留下来的像素点所对应的距离矩阵元,最后将距离矩阵转换成点云数据格式,并进行离群点滤除、点云的可视化实现三维显示。在生成点云之后,程序继续回到开始进行判断,若不满足条件,将会循环上述过程直至延时时间大于设定值来结束运行。

图4 三维成像软件流程图

Fig.4 Flow chart of 3D imaging software

图5为本文设计的软件系统Qt控制界面。其中界面集成了采集图像,图像监视,停止采集,延时器串口选择,点云处理,调整相机增益和曝光时间及延时器的选通门宽和延时步长,延时范围设置,阈值滤波,离群点滤除等功能。

图5 三维成像软件界面

Fig.5 3D imaging software interface

4 实验结果与分析

实验采用的距离选通激光成像雷达系统如图6所示,其中,激光器中心波长为532 nm,激光脉冲宽度为5 ns,重复频率为1 kHz,单脉冲能量为2 mJ；CCD采用大恒水星相机MER-125-30,像素为1292×964；延时器输出的选通门宽信号可调,范围为5～1000 ns。光学接收镜头、像增强器和CCD组成ICCD接收光学系统,激光器及扩束准直系统组成发射光学系统,信号发生器、光触发器和延时器组成同步控制系统。

图6 距离选通激光成像雷达结构图

Fig.6 Photo of range-gated lidar

采用基于上述雷达系统设计的距离选通激光雷达三维成像软件对距离700 m处高层联排建筑进行成像实验,成像目标为图7中矩形框内楼体。实验设置选通门宽度20 ns,延时步长1 ns。程序运行时,可以通过Qt界面实时调整曝光时间和增益等相机参数,让它更适合激光雷达的成像需求,并根据目标所在区域设置延时步长和选通门宽,待所有参数设置好后便可开始采集图像实时生成目标三维点云。

图7 距离700 m目标建筑图

Fig.7 The target building at a distance of 700 m

在做好相机和串口的准备工作之后,开始循环向延时器发送指令对目标进行距离选通三维成像。三维点云成像结果如图8(a)所示,点云的不同颜色代表不同距离。由于背景噪声的影响,目标周围噪点较多,但仍然可以清晰区分目标建筑顶部形状和整个楼体的轮廓。目标点云俯视图如图8(b)所示,其中,部分点云对应的距离为700 m,部分点云对应的距离为730 m,成像距离范围为30 m,所对应的图像帧数为191,则经分析可知点云的距离分辨率约为0.157 m。

图8 三维点云成像图

Fig.8 Three-dimensional point cloud image

对重建后的三维图像调整邻域k值和比例系数λ进行离群点滤除,使其对点云图像滤波的同时最大限度地保留目标形状。三维点云做离群点滤除后的结果如图9所示。从图中可以看出该种算法可以有效地将目标建筑周围的杂乱点滤除,把目标建筑轮廓清晰准确地还原出来。

图9 三维点云离群点滤除后成像结果图

Fig.9 The 3D point cloud image after filtering out the outliers

5 结 论

本文以C++编程语言为载体,设计了激光雷达实时三维点云成像软件,实现了点云数据实时处理和三维图像显示。利用设计的软件对距离700 m处的建筑进行了三维成像实验,距离分辨率可达0.157 m,通过点云颜色梯度可实现目标复杂细节的精准呈现,实验结果证明,本文设计的三维成像软件实现了距离选通激光雷达三维点云实时成像,在远距离目标成像领域具有较高的分辨率和较好的成像效果；该软件具有精度高、实时性强、操作灵活的优势,在实际对远距离的目标进行探测和侦察等应用中具有重要意义。

参考文献:

[1] Li Li,Gao Zhiyun,Wang Xia,et al.Effects of forward-scattering of fog on range-gated imaging system[J].Infrared and Laser Engineering,2004,(6):562-566.(in Chinese)

李丽,高稚允,王霞,等.雾的前向散射对距离选通成像系统的影响[J].红外与激光工程,2004,(6):562-566.

[2] He Zhiyi,Huang Yu,Zhang Yuyi,et al.Range-gated imaging LiDAR by scanning reception of space light modulator[J].Acta Optica Sinica,2020,40(12):7-13.(in Chinese)

何志毅,黄裕,张雨益,等.空间光调制器扫描接收的距离选通成像激光雷达[J].光学学报,2020,40(12):7-13.

[3] Laurenzis Martin,Christnacher Frank,Monnin David.Long-range three-dimensional active imaging with superresolution depth mapping[J].Optics Letters,2007,32(21):3146-3148.

[4] Xiuda Zhang,Huimin Yan.Three-dimensional active imaging with maximum depth range[J].Applied Optics,2011,50(12):1682-1686.

[5] Lü Wenlei,Zhang Xu,Liu Ke.Design and experimental study on a range-gated underwater laser imaging system[J].Journal of Ordnance Equipment Engineering,2019,40(8):198-202.(in Chinese)

吕文磊,张旭,刘可.一种距离选通水下激光成像系统设计与实验研究[J].兵器装备工程学报,2019,40(8):198-202.

[6] Wang Minmin,Wang Xinwei,Sun Liang,et al.Underwater 3D deblurring-gated range-intensity correlation imaging[J].Optics Letters,2020,45(6):1455-1458.

[7] Wang Baina,Gao Yuyu.Three dimensional image reconstruction based on range-gated laser imaging system[J].Laser Journal,2019,40(6);50-54.(in Chinese)

王柏娜,高煜妤.基于距离选通激光成像系统的三维图像重构[J].激光杂志,2019,40(6):50-54.

[8] Chengkun Fu,Huaibin Zheng,Gao Wang,et al.Three-dimensional imaging via time-correlated single-photon counting[J].Applied Sciences,2020,10(6):930.

[9] Wu L,Zhao Y,Zhang Y,et al.Multipulse gate-delayed range gating imaging lidar[J].Optics Letters,2011,36(8):1365-1367.

[10] Busck J,Heiselberg H.Gated viewing and high accuracythree dimensional laser radar[J].Applied Optics,2004,43(24):4705-4710.

[11] Wang Xinwei,Liu Xiaoquan,You Ruirong,et al.Three dimensional super-resolution range-gated imaging and its applications[J].Infrared and Laser Engineering,2016,45(8):122-129.(in Chinese)

王新伟,刘晓泉,游瑞蓉,等.距离选通超分辨率三维成像及其应用[J].红外与激光工程,2016,45(8):122-129.

[12] Zhang Siwei,Wu Rongxin,Han Ziao,et al.The application of bilateral filtering to denoise processing of ground penetrating radar data[J].Geophysical and Geochemical Exploration,2021,45(2):496-501.(in Chinese)

张斯薇,吴荣新,韩子傲,等.双边滤波在探地雷达数据去噪处理中的应用[J].物探与化探,2021,45(2):496-501.

[13] Zhao Gaochang,Zhang Lei,Wu Fengbo.Application of improved median filtering algorithm to image de-noising[J].Journal of Applied Optics,2011,32(4):678-682.(in Chinese)

赵高长,张磊,武风波.改进的中值滤波算法在图像去噪中的应用[J].应用光学,2011,32(4):678-682.

[14] Maleki A,Narayan M,Baraniuk R G.Anisotropic nonlocal means denoising[J].Applied and Computational Harmonic Analysis,2013,35(3):452482.

[15] Tian Zhaoshuo,Yang Gang,Zhang Yanchao,et al.A range-gated imaging flash Lidar based on the adjacent frame difference method[J].Optics and Lasers in Engineering,2021,141.

C++ based software design of range-gated laser imaging radar system

QU Si-jin,YANG Gang,CUI Zi-hao,BI Zong-jie,TIAN Zhao-shuo

(Institute of Marine Optoelectronic Equipment,Harbin Institute of Technology at Weihai,Weihai 264209,China)

Abstract:Based on the C++ programming language,this paper designs a software of the range-gated imaging lidar to display the 3D point cloud in real-time.The software is based on the imaging principle of range-gated lidar,realizes the7 timing control of laser and time delay controller,high-speed processing of point cloud data,filtering and denoising,and display the 3D images in real-time.Based on the self-developed range-gated lidar and the software designed in this paper,an imaging experiment was carried out on a building with a distance of 700 m.During the experiment,the software can control the multi-parameter of the range-gated lidar and display the 3D image of the target in real-time.The distance resolution of the 3D image reaches 0.157 m.The experimental results show that the software has the advantages of high accuracy,fast speed,and strong operability.It has a broad prospect in applications such as long-distance detection and real-time three-dimensional imaging.