0.   引言

红外成像技术是基于目标热辐射进行成像的，与可见光成像相比具有抗干扰能力强，不受环境影响等优点^[1]。然而，由于红外成像器件，成像原理和大气衰减，红外图像普遍存在对比度低，细节模糊等问题^[2]。因此，对红外图像进行图像增强是必不可少的。

图像增强方法通常分为两种^[3-4]：变换域的图像增强方法和空间域的图像增强方法。变换域的图像增强方法是基于傅里叶变换的，而空间域的图像增强方法是直接处理图像的像素^[5]。直方图均衡化（histogram equalization，HE）^[6]是一种简单、高效的空间域的图像增强方法。直方图均衡化通常分为两种^[7]：全局直方图均衡化（global histogram equalization，GHE）和局部直方图均衡化（local histogram equalization，LHE）。GHE方法通过对整幅图像的直方图进行处理来完成图像增强，但它可能导致微小目标信息的丢失。LHE将直方图均衡化处理应用于图像的局部区域，有效地增强了局部细节和对比度，其中最具代表性的算法之一是对比度受限的自适应直方图均衡化（contrast limited adaptive histogram equalization，CLAHE）^[8]，它增强效果显著，成熟易于实现^[9]，因此在工程上被广泛应用。在CLAHE中，图像被分割为大小相等的矩形块^[10]，并在每个子块中各自进行直方图均衡处理。然而由于同一目标物体被传统的CLAHE强行分割到不同图像子块，各个图像子块直方图被独立计算，因此会出现块效应，导致图像视觉不自然的现象^[11-12]。CLAHE分块导致的块效应，甚至“块闪烁”现象，影响观感和感知。特别是对一些要求比较高的场景，如：机载、舰载等领域，CLAHE的“块”效应有可能会造成对天空等背景的不均匀误判，导致同一块属性的温度场左右、上下不一致，造成感知误差。

基于此，为了提高红外图像的对比度，同时避免传统算法出现的块效应，视觉不自然等问题，本文提出了基于语义分割的红外图像增强方法。首先采用语义分割网络将原始图像分割成不同的种类块。其次利用语义分割的语义信息，对每个种类块分别进行对比度受限的直方图均衡化。每个种类块在不忽略图像信息的情况下被单独操作，有效地减少了过度增强，同时有效提高了局部对比度。最后采用了新的边缘过渡方法，以避免种类块之间的突变。种类块增强与这种边缘过渡方法相结合，很好地减少了块效应，实现了图像增强。

1.   基本原理

CLAHE算法能够有效地提高局部对比度，其实现流程如图 1所示。在图 1中，CLAHE强行分块，独立计算子块映射函数，因此会出现块效应，导致视觉不自然，如图 2所示。在图 2中，红色矩形框中的天空出现了块效应，同一片天空区域灰度值差异较大，有明显的界限感。因此本文针对这些问题，提出了一种基于语义分割的红外图像增强方法，如图 3所示，包含3个步骤。第一步，使用语义分割网络CGnet^[13]来获得红外图像对应的标签图，将红外图像分割成种类块。第二步，对每个种类块各自进行图像增强。第三步，在种类块之间进行边缘过渡。

图  1  CLAHE整体框架图

Figure  1.  Framework of CLAHE

下载: 全尺寸图片 幻灯片

图  2  CLAHE处理后图像

Figure  2.  The image after CLAHE processing

下载: 全尺寸图片 幻灯片

图  3  本文方法整体框架图

Figure  3.  The overall framework diagram of the proposed method

下载: 全尺寸图片 幻灯片

1.1   语义分割

语义分割是对图像进行像素级别的分割处理，将图像里的每一个像素，配上提前定义好的标签，从而将每一个像素进行分类^[14]。究其本质，语义分割就是对图像进行像素级别的分割与分类。如图 4所示，不同的颜色代表事先设定的不同标签，因此各个种类块包含了不同的语义信息。

图  4  语义分割示意图

Figure  4.  The diagram of semantic segmentation

下载: 全尺寸图片 幻灯片

本文使用Tianyi Wu等人提出的一种拥有上下文引导块，更好地学习局部特征和周围环境的联合特征，分割高效的轻量级语义分割网络：CGNet（context guided network）^[13]。通常来说，高精度的语义分割方法具有更多的参数量，内存占用更大。表 1为各种语义分割网络在公开数据集Cityscape的参数、精度、运行时间。CGNet具有较少的参数数量，同时实现了较高的精度。

表  1  各种语义分割模型在Cityscapes数据集上的参数、精度、运行时间分析

Table  1.  Parameters, accuracy and time analysis of various semantic segmentation models Cityscapes dataset

Method	Parameter(M)	MIoU/(%)	Time/ms
SegNet	29.5	56.1	89.2
ENet	0.4	58.3	19.3
PSPNet	65.6	73.6	> 1000
RefineNet	118.4	78.4	> 1000
CGNet	0.5	64.8	56.8

下载: 导出CSV 

| 显示表格

研究者们提出了轻量化的语义分割模型，这些模型通过对轻量化的结构进行优化，降低模型的参数和计算量，从而有效地提升网络的推理速度。对于我们的数据集而言，图像尺寸为640×480，推理时间为16.8 ms。将红外图像和人为提前定义的标签送入语义分割网络CGnet中训练，之后用红外图像进行测试，测试结果的结果为所需的标签图。输出标签图与红外图像逐像素对应，不同的颜色包含不同种类的语义信息。因此，利用CGNet将红外图像分割成不同种类的种类块。

1.2   种类块图像增强

在标签图中，不同种类块对应的不同RGB值，因此可以获得该种类所有的像素坐标。输出的标签图和红外图像像素点一一对应，因此根据种类块的像素坐标可以获得该像素点的原始灰度值。通过语义分割将整幅图像分割成M个种类块：

式中：X_i＝{X(u, v)}表示由L个离散灰度级组成的给定输入图像种类块i；X(u, v)表示与空间位置(u, v)对应的灰度值；种类块i中所有元素的个数记为N_i。

根据直方图均衡化的原理^[15]，对于种类块i灰度级l的映射灰度级为H_i：

之后，对每个种类块进行裁剪和重映射处理，以减少局部对比度过度增强，如图 5所示。蓝色区域的像素被统一分配到橙色区域。这个过程可以通过迭代来实现。

图  5  直方图的裁剪和重映射

Figure  5.  Clipping and redistribution of histogram

下载: 全尺寸图片 幻灯片

裁剪阈值cliplimit的计算公式为：

式中：N_i表示种类块i的数量；u代表种类块i灰度均值；q代表种类块i灰度方差，表示种类块i灰度范围。

对比限制直方图均衡化后的种类块i映射函数为：

式中：H_i^∗(k)为裁剪后的直方图；T_i(l)是种类块i的映射函数。同理可得不同种类块的映射函数。

1.3   种类块边缘过渡

由于不同图像块的映射函数是独立计算的，因此相邻图像块的映射函数可能存在较大差异，直方图均衡化后，相邻图像块之间不可避免地会产生块效应^[16]。在传统的CLAHE方法中，为了避免相邻图像块间的块效应，采用双线性插值^[17]来减小块效应。

与传统插值方法类似，为了避免相邻种类块之间的块效应，直方图均衡化后的任意像素的映射值都是通过同时考虑其他图像块的映射函数来计算的。对于原始图像上的任意像素p，其映射值为其他种类块对应灰度映射值的边缘过渡处理结果，如图 6所示。种类块经过边缘过渡后，任意像素p的最终映射值T_i^∗(l)计算为：

图  6  种类块边缘过渡图

Figure  6.  The diagram of category blocks edge transition

下载: 全尺寸图片 幻灯片

其中：

其中不同的种类块用不同的颜色来区分。O_i是不同种类块的中心，像素p与其他种类块的中心O_i之间的欧氏距离称为d_i。

种类块的中心$ {O_i}({\bar x_i},{\bar y_i}) $的计算公式为：

式中：种类块的总像素个数表示为N_i；(x_j, y_j)为种类块中像素点的坐标位置。

任意像素点p到种类块i的中心${O_i}({\bar x_i},{\bar y_i})$的欧式距离d_i的计算公式为：

式中：(m, n)为任意像素点p的坐标位置。

2.   实验结果及分析

2.1   实验设置

本文使用公开红外语义分割数据集SODA^[18]（segmenting object in day and night）1800张和自己采集与标注的红外数据集500张，并使用Labelme进行标注，之后再进行数据增广处理，最终得到4600张红外图像，包含了12个常见种类，进行语义分割训练。实验在python中实现，并在一台带有NVIDA RTX a6000 GPU和64 GB RAM的电脑进行。

2.2   评价指标

本文通过主观评价与客观评价相结合来验证本文算法的有效性。主观评价主要通过人眼的视觉感受评判。客观评价主要依靠数学模型定量计算，定量评价^[19-20]。本文采用对比度（Contrast）和熵（Entropy）来对实验结果做出客观评价。

1）图像对比度的计算公式如下^[21]：

式中：$\tau (i,j) = |i - j|$表示相邻像素之间的灰度差；γ_τ(i, j)表示相邻像素之间的灰度差为τ的像素分布概率，图像对比度越高，图像质量越好，图像更清晰。

2）图像熵ENT计算公式如下^[22]：

式中：M×N表示图像的大小；p(m_{(i, j)})表示灰度值m_{(i, j)}的概率。熵值反映了图像灰度特征所包含的信息量。熵值越高，图像的信息量越大，质量越高。

2.3   实验结果与分析

实验结果如图 7~图 10所示。为了验证本文算法的有效性，将其与双直方图均衡^[23]（brightness preserving bi histogram equalization，BBHE）、二维直方图均衡^[24]（two-dimensional histogram equalization，2DHE）和对比度受限的自适应直方图均衡（CLAHE）算法进行比较，并从主观和客观评价两个方面进行分析。

图  7  场景一不同算法的增强效果对比图

Figure  7.  Enhanced comparison of scene one by different algorithms

下载: 全尺寸图片 幻灯片

图  8  场景二不同算法的增强效果对比

Figure  8.  Enhanced comparison of scene two by different algorithms

下载: 全尺寸图片 幻灯片

图  9  场景三不同算法的增强效果对比

Figure  9.  Enhanced comparison of scene three by different algorithms

下载: 全尺寸图片 幻灯片

图  10  场景四不同算法的增强效果对比

Figure  10.  Enhanced comparison of scene four by different algorithms

下载: 全尺寸图片 幻灯片

通过实验结果可以看出本文所提出的算法很好地实现了图像增强，对比度和各种细节都得到了增强，具有不错的视觉效果。CLAHE算法由于强行分块，会导致同一个目标物体被分割到不同图像块，独立计算，忽略了整体信息。如红色矩形框中所示，图 7(d)中的一面墙，图 8(d)中的树、图 9(d)建筑周围的天空和图 10(d)中的地面，同一目标物体中部分区域灰度差异大，有明显的界限，出现了视觉不自然。本文所提出的算法将红外图像分割成种类块，有效地避免了视觉不自然，同时很好地增强了图像。

表 2和表 3给出了图 7~10四组图像使用不同算法的对比度和熵的值。从表 2、表 3可以看出，与原图相比，各种算法得到的对比度和熵都有所增加，并且本文算法的对比度和熵值都略优于其他算法。

表  2  不同算法的对比度

Table  2.  Contrast of different algorithms

	Original	BBHE	2DHE	CALHE	Proposed
Fig.7	23.45	35.10	34.07	38.29	44.94
Fig.8	10.11	15.31	14.82	15.16	17.07
Fig.9	8.11	12.79	16.98	14.45	17.47
Fig.10	13.06	22.93	27.52	32.52	37.13

下载: 导出CSV 

| 显示表格

表  3  不同算法的熵

Table  3.  Entropy of different algorithms

	Original	BBHE	2DHE	CALHE	Proposed
Fig.7	5.54	5.86	6.67	6.54	7.04
Fig.8	7.23	7.72	7.59	7.31	7.94
Fig.9	7.07	7.71	7.73	7.49	7.87
Fig.10	7.30	7.62	7.80	7.76	7.97

下载: 导出CSV 

| 显示表格

综上说明采用本文方法得到的图像对比度更高，层次感更强，细节更突出，图像质量更好。

3.   结论

本文提出了一种基于语义分割的图像增强方法。该方法不同于简单地在空间上分割图像的传统方法，而是采用语义分割的方法将图像分割成种类块。根据各个种类块具有的语义信息，给种类块进行限制对比度的直方图均衡，取得了更好的图像增强效果，并且解决了传统CLAHE分块独立计算视觉不自然的问题，具有更好的视觉效果。通过多组图像，与各种图像增强算法对比，并且从主观和客观评价分析，验证了算法的有效性。