基于离散数学模型的多焦点图像缺失特征填补算法

0 引 言

多焦点图像采用不同的焦点获取源图像，图像具备不同的区域特征，而多焦点图像的亮度闪烁，即视频在获取过程中，由于拍摄曝光时间均衡性差异、拍摄环境影响以及保存不当等原因均会产生亮度闪烁现象，导致图像特征缺失[1⁃3]。这种由于亮度闪烁导致的图像特征缺失产生的视觉效果呈现出帧与帧之间的图像存在较大面积的明暗变更，形成图像序列失真，导致前后图像之间的冗余度和视频压缩率降低[4]。因此为消除多焦点图像的亮度闪烁，本文针对多焦点图像建立去除视频亮度闪烁的离散数学模型，对模型的参数进行估计，并采用两种闪烁消除法修复图像中的亮度闪烁，填补多焦点图像缺失特征[5]。

1 多焦点图像缺失特征填补

1.1 亮度闪烁离散数学模型

多焦点图像序列的亮度闪烁会呈现出图像前后帧之间传递的亮度变化视觉效果[6]，前后帧多焦点图像的连续形式的基础数学模型如下：

式中：Hn+1(x,y)表示多焦点图像序列中帧数为n 的多焦点图像亮度信息；cn,n+1(x,y)，dn,n+1(x,y)分别表示多焦点图像的第n 和n+1 帧间亮度更改乘性因子、加性因子，二者的二维多项式为：

式中：多焦点图像中任意像素的乘性因子及加性因子均与其位置直接相关，基于亮度闪烁可涵盖较大范围的特点。

在此假设乘性因子和加性因子处于较小范围Π((x,y)∈Π)内并维持原状，存在：

且cn,n+1 和dn,n+1 为常 数。

为有效促进多焦点图像序列亮度闪烁模型构建，划分像素为M ×N 的多焦点图像为8×8 的若干块状，采用坐标(x,y)表示，数量为其中，不同位置的块均会形成自身前后帧的局部离散数学模型，表达式如下：

式中：Hn+1(i,j)表示多焦点图像中第n 帧的8×8 位置块(i,j)的亮度矩阵；cn,n+1(i,j)，dn,n+1(i,j)分别表示该位置块在数学模型中的参数。由于位置块的表现为矩阵形式，因此多焦点图像为：

式中：M=结合式（2）和式（4）便能成功构建将前后帧有效离散的数学模型。将Cn,n+1，Dn,n+1 分别视为离散模型中×维乘性及加性参数矩阵，则有：

视频亮度闪烁是在时域上对多焦点图像产生的亮度骤然改变的视觉差异，但在空间域上的改变是连续性的[7⁃8]，因此处于空间域上的Cn,n+1，Dn,n+1 具备平滑性。

1.2 基于块的模型参数估计

由于cn,n+1(i,j)，dn,n+1(i,j)均为块模型参数，那么根据式（3）可得：

式中：E[ · ]表示块内的均值计算；Hn( i,j )，Hn+1( i,j )分别表示第n，n+1 帧的位置块( i,j )的亮度值。利用最小化判断准则进行模型参数估计，具体如下：

利用式（6），并通过设置以下约束条件获取Q 的最小值：

式中分别表示亮度均值；M XY，M XX 分别用于描述方差以及协方差，表达式分别如下：

利用式（11）所示的3×3 加权平滑模板，对Cn,n+1，Dn,n+1 进行空间过滤，降低噪声或其他干扰因素给参数带来的影响。

利用过滤完成的Cn,n+1，Dn,n+1 组建亮度闪烁前后帧数学模型。

1.3 多焦点图像闪烁修复

由于多焦点图像中既存在静止区域又存在运动区域，为此在模型参数估计基础上利用运动区域检测算法划分出静止区域和运动区域，并分别采用基于前向多帧参考闪烁修复算法、基于运动矢量的闪烁参数修复算法对静止区域和运动区域进行亮度闪烁修复，实现缺失特征填补[9⁃11]。算法流程如图1 所示。

1.3.1 运动区域检测

利用亮度闪烁在空间中的存在呈现连续性特点，找出多焦点图像序列中的运动区域。采用目标修复闪烁图像块和其临近图像块的闪烁参数估计值一起对目标修复闪烁图像块的第一行像素亮度进行修复，并计算不相似像素数量。其中，不相似像素表示目标修复图像块的第一行像素。若两个修复值差异大于设定阈值W max，将其判定为不相似像素，若两个修复值差异小于设定阈值W max，则将其判定为相似像素[12]。

图1 多焦点图像闪烁修复流程

不相似像素获取方式如下：

式中：K Rm 以及K Rn 分别表示像素m,n 的未闪烁时的原始图像亮度；bool(·)为布尔函数；Rm,n，Tr 分别表示目标修复闪烁图像块第一行像素集合、像素相似度阈值。若W m,n 比W max 大，则该图像块所在区域为运动区域，若W m,n比W max 小，利用同样方法对目标修复闪烁图像块的左右侧第一列和最末行采取同样操作，若结果均为W m,n 比W max 小，表明该图像块为静止区域，若上下左右四次检测结果中存在一次W m,n 比W max 大的情况，则判定为运动区域，结束检测。

1.3.2 静止区域亮度闪烁修复

采用前向多帧参考闪烁修复算法对禁止区域的亮度闪烁实施修复，以向前多帧图像为参考提升参数估计精准度，维持多焦点图像序列前后帧图像亮度闪烁变更，并获取闪烁参数[13⁃14]，闪烁模型如下：

式中，Yn(x,y)，Kn(x,y)分别表示闪烁图像亮度、未闪烁的原始图像亮度。在基于前向多帧参考的静止区域亮度闪烁修复中，选择F 为参考帧数量，其中，未失真原始图像亮度和前向F 帧的闪烁亮度差距很微小，则有：

1.3.3 运动区域亮度闪烁修复

基于运动矢量的运动区域闪烁修复，是依据前后帧图像中位置块间产生的相对位移实施参数估计，运动适量的计算即是在参考图像中找到与当前图像块相似度最大的图像块。采用亮度值坐标(x-vh,y-vh)替换图像前1 帧坐标(x,y)，多焦点图像G 中坐标为(m,n)的图像块的闪烁参数表达式如下：

基于运动矢量的闪烁参数修复算法可根据图像块运动速度变更搜索策略，同时均衡搜索精度和搜索速度，提升鲁棒性，避免陷入局部最优值[15]。通过设置搜索阈值T 变更搜索模式，算法运行步骤如下：

1）计算零矢量位置的SAD（SAD 表示搜索过程中的最佳匹配块值），若其比阈值T 小，将零矢量点视为最佳匹配点。

2）将具备最小SAD 值的多焦点图像块的运动矢量视为搜索起点。

3）评判运动类型使用当前帧图像中待运动图像块对相邻图像块进行估计并预测其运动矢量和运动矢量长度M。若M ≤1，运动状态为慢速，转步骤4）；若1 ＜M ≤4，运动状态为中速，转步骤5）；若M ＞4，运动状态为高速，转步骤6）。

4）慢速搜索，匹配点搜索采用3×3 矩形窗，最佳匹配点为具备最小SAD 值的点，转步骤7）。

5）中速搜索，采用十字菱形搜索算法搜索最佳匹配点后，转步骤7）。

6）高速搜索，采用大十字搜索模板进行搜索，如果模板中心为最佳匹配点，将搜索模板变更为小十字搜索模板，否则不变更；如果匹配点为小十字模板中心位置，搜索终止，转步骤7），反之，利用小十字模板继续搜索。

7）零矢量位置点与匹配点的相对位移为图像块运动矢量。

2 实验分析

实验选取影视剧《庆余年》中两帧像素为352×288的多焦点图像，验证本文算法的有效性。该多焦点图像中既包含静止区域也包含运动区域，代表性较强，如图2、图3 所示。

图2 前1 帧多焦点图像

图3 后1 帧多焦点图像

由图2 和图3 可知，后1 帧多焦点图像较前1 帧明显暗很多，前后帧间的亮度闪烁较为显著，且不同区域的闪烁程度有所差异，说明闪烁参数在空间上的分布与空间位置相关。亮度闪烁现象导致了图像部分特征缺失，产生了失真现象。

采用本文算法进行亮度闪烁修复后获取的缺失特征填补后的图像如图4 所示。

图4 亮度闪烁修复后多焦点图像

由图4 可知，亮度值变得平滑，图像亮度闪烁得到了很好的修复，有效填补了图像的缺失特征，营造出更好的视觉效果。

对本文算法应用前后的多焦点图像的亮度均值和亮度标准差进行统计，结果如图5 所示。

图5 亮度均值和亮度标准差统计结果

由图5 可知，本文算法修复后的多焦点图像序列的亮度均值曲线变化趋势与原始闪烁图像序列变化趋势大致相同，但平滑性得到了显著增强，且有效降低了峰值，本文算法修复后多焦点图像序列的亮度标准差的波动幅度显著改善，表明本文算法可以有效填补多焦点图像的缺失特征，且效果显著。

为了进一步验证本文算法的性能优势，选取基于图像特征灰度值的图像修复算法和基于样本特征的图像修复算法与本文算法对比，对比验证三种算法的运行时间和缺失特征填补速度，结果见表1。

表1 三种算法运行时间和缺失特征填补速度

由表1 可知，本文算法的运行时间较短仅为27 ms，且修复速度较快，分别为对比算法的3.26 倍和1.15 倍。结果表明，本文算法运行速度较快，可有效节省运行时间，具有图像缺失特征填补效率高的优势。

3 结 论

本文算法主要解决亮度闪烁引发的图像特征缺失所产生的多焦点图像失真问题。通过建立亮度闪烁离散数学模型、基于图像块的参数估计、运动区域检测、运动估计以及图像修复等环节完成多焦点图像缺失特征填补。本文算法优势在于既可应用于静态图像也可应用于动态图像，且缺失特征填补效果好，速度快。希望本文提出的算法可为多焦点图像处理提供参考价值。

参考文献

[1] 杜永生，黄传波.基于质量度量与颜色校正的多曝光图像融合算法[J].电子测量与仪器学报，2019，33（1）：90⁃98.

[2] 刘占伟，李华，赵志凯.有限离散剪切波域的多聚焦图像融合算法[J].电光与控制，2019，26（10）：49⁃53.

[3] 董砚，辛瑞芝，荆锴，等.高速IPMSM 离散滑模电流补偿解耦控制[J].电力电子技术，2018，52（5）：54⁃57.

[4] 肖中杰.基于NSCT 红外与可见光图像融合算法优化研究[J].红外技术，2017，39（12）：1127⁃1130.

[5] 李梦雪，翟东海，孟红月，等.划分特征子区域的图像修复算法[J].计算机应用，2017，37（12）：3541⁃3546.

[6] 陈国军，程琰，曹岳，等.基于目标特征的植株深度图像修复[J].图学学报，2019，40（3）：460⁃465.

[7] 宋晓祥，郭艳，李宁，等.基于压缩感知的时间序列缺失数据预测算法[J].计算机科学，2019，46（6）：35⁃40.

[8] 王家坤，王新华.一种基于线性阈值的网络谣言离散传播模型[J].情报科学，2019，37（6）：163⁃169.

[9] 田雯，胡玉荣.共生矩阵耦合Otsu 阈值的彩色图像边缘提取算法[J].电子测量与仪器学报，2018，32（7）：52⁃60.

[10] 刘丽霞，李宝文，王阳萍，等.改进canny 边缘检测的遥感影像分割[J].计算机工程与应用，2019，55（12）：54⁃58.

[11] 李雪瑾，李昕，徐艳杰.基于生成对抗网络的数字图像修复技术[J].电子测量与仪器学报，2019，33（1）：40⁃46.

[12] 李翌昕，邹亚君，马尽文.基于特征提取和机器学习的文档区块图像分类算法[J].信号处理，2019，35（5）：747⁃757.

[13] 刘英培，张腊，梁海平，等.适用于风电并网的VSC⁃HVDC 系统模型预测控制[J].电力自动化设备，2019，39（6）：102⁃108.

[14] 魏子然，张建林，徐智勇，等.一种基于单像素相机的压缩感知图像重建优化算法[J].半导体光电，2019，40（3）：449⁃454.

[15] 李社蕾，黄梦醒.改进几何活动轮廓模型的水下图像分割算法研究[J].小型微型计算机系统，2019，40（3）：671⁃675.