Spatially Adaptive and Content-Aware Infrared Small Target Detection
-
摘要:
由于红外街道图像中小目标像素较少、颜色特征不丰富,容易导致模型漏检、误检以及检测效果不佳等问题,因此提出了一种基于空间自适应和内容感知的红外小目标检测算法。首先,通过堆叠局部注意力与可变形注意力设计一种基于空间自适应的转换器,以增强对长距离依赖特征的建模能力,捕获到更多空间位置信息。其次,采用内容感知特征重组算子进行特征上采样,实现在大感受野内聚合上下文信息以及利用浅层特征信息来自适应地重组特征。最后增加160×160的高分辨率预测头,将输入特征的像素点映射到更细小的检测区域,进一步改善小目标的检测效果。在FILR数据集上的实验结果表明,改进算法的平均精度均值达到85.6%,相较于YOLOX-s算法提高了3.9%,验证了所提算法在红外小目标检测上的优越性。
Abstract:Owing to the scarcity of pixel values and limited color features in infrared street images, issues such as missed detections, false detections, and poor detection performance are common. To address these problems, a spatially adaptive and content-aware infrared small object detection algorithm is proposed. The key components of this algorithm are as follows. 1) Spatially adaptive transformer: This transformer is designed by stacking local attention and deformable attention mechanisms to enhance the modeling capability of long-range dependency features and capture more spatial positional information. 2) Content-aware reassembly of features (CARAFE) operator: This operator is used for feature upsampling, aggregating contextual information within a large receptive field, and adaptively recombining features using shallow-level information. 3) High-resolution prediction head: A high-resolution prediction head of size 160x160 is added to map the pixels of input features to finer detection regions, further improving the detection performance of small objects. Experimental results on the FLIR dataset demonstrate that the proposed algorithm achieves an average precision mean of 85.6%, representing a 3.9% improvement over the YOLOX-s algorithm. These results validate the superiority of the proposed algorithm in detecting small objects in infrared images.
-
0. 引言
常规望远镜热设计为一体化设计,热设计满足整机的热控指标即可。在轨组装望远镜热设计为分体式设计。每个模块都需要进行单独的热设计保证模块可以独立工作,且模块之间存在耦合关系,在轨安装之后通过热接口相互传递热量,完成整机的热控工作。在轨组装望远镜CMOS组件(下文简称为CMOS组件)热设计是在轨组装望远镜热设计中的关键节点。
为解决CMOS组件选取热设计参数数值的难点问题,需对热设计参数进行灵敏度分析。灵敏度分析是一种分析系统的输入对输出响应影响程度的方法,适应于解决复杂的多输入系统的优化设计问题。为了实现望远镜关键部件CMOS组件的控温目标,需要对影响CMOS温度的参数优化调整,但是待优化参数多,遍历每个参数进行优化的工程量大,耗时长,而且参数之间存在耦合关系,这更加大了优化难度。考虑到每个参数对CMOS温度的影响程度不同,对待优化参数进行灵敏度分析确定影响程度较大的参数并对其着重优化,可一定程度上减少参数优化的难度,节省设计成本,提高热设计的可靠性。
在望远镜在轨组装和航天器热设计领域中,国内外学者进行了大量研究。国外方面,詹姆斯韦伯望远镜(James Webb Space Telescope,JWST)由阿丽亚娜5号发射,并在反太阳地球-太阳拉格朗日点的轨道上展开在轨部署[1]。Franck R. A.和Shaughnessy B. M.[2-3]等学者分别针对JWST的尾部光学系统和中红外仪器进行了相关热设计。国内方面也对其进行了大量研究,王洪亮[4-5]等学者针对在轨组装大口径红外望远镜进行热设计并通过灵敏度优化热设计参数。杨雨霆[6-7]等学者针对高空气球平台地-月成像光谱仪载荷系统热设计参数进行了灵敏度分析,提出了热设计的简便思路。郭亮[8-9]等学者运用控制变量灵敏度分析手段,得到太阳吸收系数、红外半球发射率、内部热源及传导换热系数对于空间光谱成像仪温度的影响。Y. Xiong[10-11]等学者提出了改进的思维进化算法的径向基函数(radial basis function neural network,RBF)等神经网络应用于航天器热物理模型的方法,并基于此方法开展热设计参数灵敏度优化。
有限元仿真计算工作中,为了得到大量的温度数据,需要输入不同的热设计参数,单纯的人工输入会带来大量的重复劳动,本文通过对有限元软件二次开发,实现输入数据由文本文件提取,自动计算的功能。在以往工作中,针对热设计参数的灵敏度分析,往往采用单一方法,会导致灵敏度分析结果的不确定性和误差,本文提出了一种基于MIV算法[12-13]并结合传统回归分析Pearson和Spearman算法[14-15]相互对比验证的混合灵敏度分析方法,此方法对于CMOS组件方法对在轨组装望远镜CMOS热设计参数优化提供了方向并对在轨组装望远镜整机热设计具有一定的指导意义。
1. 在轨组装望远镜概述及CMOS组件热控指标
1.1 在轨组装望远镜概述
在轨组装望远镜载荷布局如图 1所示。主反射镜由5个拼接镜拼接而成,分别安装在六足促动器与主体框架相接。次反射镜安装在折叠式次镜支撑与主体相接。CMOS组件安装在主体结构内部。其中,+Z方向为望远镜光轴方向、由主镜指向次镜,+X方向为望远镜前进方向,+Y方向由右手螺旋定则确定。
1.2 CMOS组件热控指标
在轨组装望远镜搭载CMOS组件为可见光成像,CMOS组件应满足的热设计指标如表 1所示。由表 1可知,指标提出在工作工况下CMOS温度控制在15℃~30℃,在存储工况下CMOS温度控制在0℃~40℃。
表 1 CMOS组件主要热设计参数Table 1. Main thermal design parameters for CMOS componentsSymbol Parameter significance ε1 Infrared emissivity of the outer surface of the cooling plate α2 Solar absorption rate on the outer surface of the cooling plate T3 Thickness of cooling plate K4 Thermal conductivity of copper bar K5 Thermal conductivity of heat pipe R6 Thermal resistance between CMOS and CMOS mounting surface R7 Thermal resistance between CMOS and aluminum blocks R8 Thermal resistance between aluminum block and copper bar R9 Thermal resistance between copper bar and heat pipe R10 Thermal resistance between heat pipe and cooling plate 结合以上指标,CMOS组件热设计主要有以下难点:
① 在轨组装望远镜外流热变化频繁,无稳定阳照区、阴影区,散热设计困难。
② 在轨组装望远镜各部件单独热控,相互之间通过接口耦合。CMOS组件和主体框架、辐射冷板相互耦合,耦合关系复杂。
2. CMOS组件热设计
2.1 热设计参数灵敏度分析
热设计参数的灵敏度分析主要有全局灵敏度分析和局部灵敏度分析。局部灵敏度只能分析单个输入对输出的影响,计算效率高。全局灵敏度分析不受模型的限制,能够较为全面地反映多个设计参数之间相互产生的耦合作用对系统响应的影响。本文提出混合灵敏度分析方法对CMOS散热路径上的参数进行灵敏度分析,在混合灵敏度分析方法中,Pearson、Spearman方法为局部灵敏度分析,MIV方法为全局灵敏度分析。
由图 2可知,本模型CMOS组件散热路径包括CMOS、CMOS安装面、导热铝块、导热铜条、热管和辐射冷板。选取CMOS散热路径上的10个热设计参数进行灵敏度分析,热设计参数的详细信息见表 1。
依据参数的取值范围,对参数应用拉丁超立方抽样生成300组参数样本。拉丁超立方抽样相对于随机抽样,具有变量范围全覆盖,均匀性更好的优点。将参数样本代入有限元软件划分的有限元网络模型中计算,得出CMOS中心点温度数据作为输出数据。
2.1.1 Pearson方法
Pearson方法反映两个变量X和Y的线性相关程度。Pearson公式如下:
$$ {\rho _{{X_i}, Y}} = {\rm corr}({X_{ij}}, Y) = \frac{{{\rm Cov}({X_{ij}}, Y)}}{{{S_{{X_{ij}}}}{S_Y}}} $$ (1) 式中:Xi表示第i个X序列。记Xi的第j次采样数据为Xij,j=1, 2, …, 300。利用每组10个采样数据可以得到300个温度值Yi,j=1, 2, …, 300。通过式(1)计算,得出10输入参数和输出温度之间的Pearson相关系数。
2.1.2 Spearman方法
Spearman方法反应秩相关系数,Spearman公式如下:
$$\rho=\frac{\sum_j\left(x_{i j}-\overline{x_i}\right)\left(y_j-\bar{y}\right)}{\sqrt{\sum_j\left(x_{i j}-\overline{x_i}\right)^2 \sum_j\left(y_j-\bar{y}\right)^2}}$$ (2) 式中:xij表示第j个xi数据秩次;yi表示第i个y数据秩次。代入数据计算出Spearman相关系数。
2.1.3 MIV
平均影响值(MIV)方法衡量神经网络输入参数对输出参数影响大小,符号代表影响的方向,大小代表影响的重要性。首先通过300组输入和输出数据拟合神经网络,取80%数据用来训练,10%数据用来验证,10%数据用来测试,构建神经网络模型。基于贝叶斯优化训练BP神经网络,隐含层选取10层。神经网络原理图如图 3所示。
经过神经网络训练,回归R值为0.99,训练均方误差量级在e-4以下,测试均方误差量级在e-3以下,满足工程要求。将输入参数数值分别增加10%、减少10%,分别带入到训练好的神经网络中,得出预测的输出值,求得两组输出值的差值,即为MIV值。计算出基于MIV方法的热设计参数灵敏度。
3种方法计算出灵敏度如图 4所示。
由图 4可知,散热路径热设计参数中,CMOS温度对于ε1、α2、T3、K4、R7、R8、R9参数较为敏感。得到影响CMOS温度的主要热设计参数:ε1为散热面白漆发射率;α2为散热面白漆吸收率;T3为辐射冷板厚度;K4为导热铜索的导热率;R7为CMOS安装面与铝基导热板间热阻;R8为铝基导热板与导热铜索间热阻;R9为导热铜索与热管间热阻。在热设计中,主要优化以上参数,其余参数在设计有余地时也应该适当考虑。
Pearson方法中CMOS温度对ε1、α2、R9、T3参数较为敏感。Spearman方法中CMOS温度对ε1、α2、R9、R7参数较为敏感。MIV方法中CMOS温度对ε1、α2、R8、K4参数较为敏感。比较3种方法,ε1、α2为最重要的灵敏度参数,在热设计中应着重考虑。T3、K4、R7、R8、R9参数也对CMOS温度有一定的影响。在设计中,参数数值增大,CMOS温度随之升高的热设计参数定义为正影响参数,反之定义为负影响参数。其中,α2、R7、R8、R9为正影响参数,ε1、T3、K4为负响应参数。为提高CMOS组件的散热能力,在热设计过程中应增大ε1、T3、K4参数数值,减小α2、R7、R8、R9参数数值。
2.2 热设计方案
依据本文混合灵敏度分析方法结果,制定CMOS组件相关热设计如下。
2.2.1 主动热控手段
1)在CMOS组件上布置控温回路,保证CMOS组件存储工况下温度满足热控指标。
2)辐射冷板背部布置控温回路,防止辐射冷板背部热管在存储工况下过冷导致失效。
2.2.2 被动热控手段
1)在辐射冷板表面上喷涂白漆以获得优良的散热性能,选用S781白漆,太阳吸收率为0.17~0.23,红外发射率为0.85~0.86;
2)导热索材料选择紫铜,导热率为390 W/(m2·K);
3)导热铝块与主体框架隔热安装,增大导热铝块与主体框架间热阻,R为20℃/W;
4)散热路径上零件导热安装,打磨接触面使其光滑,导热系数取1000 W/(m2·K),CMOS安装面与导热铝块间热阻为0.4℃/W,导热铝块与导热索间热阻为0.2℃/W,导热索与热管间热阻为0.04℃/W。
3. 仿真验证
通过有限元软件对在轨组装望远镜进行建模,共划分了16898个壳单元,建立122个热耦合。其中CMOS组件有限元模型如图 5所示。
为验证CMOS组件能否满足温度指标要求,定义高低温两种工况。在高温工况下,外热流选最大值取冬至时刻,白漆属性选择末期属性,红外发射率取0.85,太阳吸收率取0.23。在低温工况下,外热流选最小值取夏至时刻,白漆属性选择初期属性,红外发射率取0.86,太阳吸收率取0.17。两种工况下望远镜整体保留主动热控措施。CMOS整轨运行期间以满功率状态运行10 min,其余时间处于待机状态。
通过有限元软件仿真计算出CMOS温度,得到低温工况下CMOS温度T1和高温工况下CMOS温度T2时间变化曲线如图 6所示。
从图 6可知,在高低温极端工况下CMOS组件温度波动1.6℃~25.4℃,在工作期间满足指标15℃~30℃,在待机期间满足指标0℃~40℃。证明了本文提出的混合灵敏度分析方法的热设计方法可行性。
4. 结语
本文提出了一种混合灵敏度分析方法,该方法基于MIV算法并结合传统回归分析Pearson和Spearman算法相互对比验证。较单一灵敏度方法减少了不确定性和误差。较传统遍历选取热设计参数方法,该方法能够快速准确找出重要热设计参数,为在轨组装望远镜CMOS组件的热设计参数选取提供了依据。
通过仿真分析,在高低温极端工况下CMOS组件温度波动1.6℃~25.4℃,满足工作温度,验证了基于混合灵敏度分析方法在CMOS热设计中可行性,该方法后续可扩展应用到在轨组装望远镜整机热设计中。
-
表 1 模型训练的超参数
Table 1 Hyperparameters for model training
Training hyperparameters Parameter values Maximum learning rate 1e-2 Minimum learning rate (1e-2)*0.01 Weight attenuation value 5e-4 Epochs 300 Batch-size 4 Freeze training 50 表 2 各实验结果对比
Table 2 Comparison of experimental results
Models Backbone AP50/% mAP50/% Params/M FPS Person Bicycle Car FCOS ResNet50 67.7 52.4 73.6 64.6% 32.1 71 Qin[27] EfficientNet - - - 70.8% - 22 YOLOv5s CSPDarknet-53 79.2 66.1 89.6 78.3% 7.1 109 YOLOv5m CSPDarknet-53 83.2 78.3 86.6 82.7% 21.1 64 Li[18] CSPDarknet-53 84.8 67.1 90.5 80.7% 8.1 - LRAF-Net[28] CSPDarknet-53 - - - 80.5% 18.8 - YOLOX-s CSPDarknet-53 78.8 75.6 90.7 81.7% 8.9 104 Improved model SAT-CSPDarknet 86.6 80.1 90.3 85.6% 11.6 95 表 3 消融实验结果
Table 3 The results of ablation experiment
Models SAT CARAFE Head Person/% Bicycle/% Car/% mAP0.5/% YOLOX-s 78.8 75.6 90.7 81.7 √ 78.6 77.2 91.2 82.3 √ √ 82.1 78.6 91.3 84.0 √ √ √ 86.6 80.1 90.3 85.6 -
[1] 楼哲航, 罗素云. 基于YOLOX和Swin Transformer的车载红外目标检测[J]. 红外技术, 2022, 44(11): 1167-1175. http://hwjs.nvir.cn/cn/article/id/3d31e429-9365-4797-ab65-60e06a4414d8 LOU Zhehang, LUO Suyun. Vehicle infrared target detection based on YOLOX and swin transformer[J]. Infrared Technology, 2022, 44(11): 1167-1175. http://hwjs.nvir.cn/cn/article/id/3d31e429-9365-4797-ab65-60e06a4414d8
[2] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60: 91-110. DOI: 10.1023/B:VISI.0000029664.99615.94
[3] Viola P, Jones M. Rapid object detection using a boosted cascade of simple features[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001, 1: I-I. DOI: 10.1109/CVPR.2001.990517.
[4] Pal M, Foody G M. Feature selection for classification of hyperspectral data by SVM[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(5): 2297-2307. DOI: 10.1109/TGRS.2009.2039484
[5] 杜妮妮, 单凯东, 卫莎莎. LPformer: 基于拉普拉斯金字塔多级Transformer的红外小目标检测[J]. 红外技术, 2023, 45(6): 630-638. http://hwjs.nvir.cn/cn/article/id/ad309416-52b1-456f-b972-42f94c2aa3e1 DU Nini, SHAN Kaidong, WEI Shasha. LPformer: aplacian pyramid multi-level transformer or infrared small target detection[J]. Infrared Technology, 2023, 45(6): 630-638. http://hwjs.nvir.cn/cn/article/id/ad309416-52b1-456f-b972-42f94c2aa3e1
[6] 武连全, 楚宪腾, 杨海涛, 等. 基于改进YOLOX的X射线违禁物品检测[J]. 红外技术, 2023, 45(4): 427-435. http://hwjs.nvir.cn/cn/article/id/7e45bcc9-aca9-49c9-8f88-0d8c22e5c7de WU Lianquan, CHU Xianteng, YANG Haitao, et al. X-ray detection of prohibited items based on improved YOLOX[J]. Infrared Technology, 2023, 45(4): 427-435. http://hwjs.nvir.cn/cn/article/id/7e45bcc9-aca9-49c9-8f88-0d8c22e5c7de
[7] 苏海锋, 赵岩, 武泽君, 等. 基于改进RetinaNet的电力设备红外目标精细化检测模型[J]. 红外技术, 2021, 43(11): 1104-1111. http://hwjs.nvir.cn/cn/article/id/3233a6a1-cbf0-4110-baa5-2a56e551f092 SU Haifeng, ZHAO Yan, WU Zejun, et al. Refined infrared object detection model for power equipment based on improved RetinaNet[J]. Infrared Technology, 2021, 43(11): 1104-1111. http://hwjs.nvir.cn/cn/article/id/3233a6a1-cbf0-4110-baa5-2a56e551f092
[8] 徐微, 汤俊伟, 张驰. 基于RA-UNet++的肝癌图像分割方法[J/OL]. 软件导刊: 1-6, [2023-06-28]. http://kns.cnki.net/kcms/detail/42.1671.TP.20230625.2233.048.html. XU Wei, TANG Junwei, ZHANG Chi. Image segmentation method of liver cancer based on RA-UNet++ Network[J/OL]. Software Guide: 1-6, [2023-06-28]. http://kns.cnki.net/kcms/detail/42.1671.TP.20230625.2233.048.html
[9] 刘伟光, 孔令军. 一种基于TransUnet的臂丛神经超声图像分割网络[J/OL]. 无线电通信技术: 1-8. [2023-06-28]. http://kns.cnki.net/kcms/detail/13.1099.TN.20230625.1719.020.html. LIU Weiguang, KONG Lingjun. A brachial plexus nerve ultrasonography segmentation network based on TransUnet[J/OL]. Radio Communications Technology: 1-8. [2023-06-28]. http://kns.cnki.net/kcms/detail/13.1099.TN.20230625.1719.020.html
[10] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014: 580-587.
[11] Girshick R. Fast R-CNN[C]//Proceedings of the IEEE International Conference on Computer Vision, 2015: 1440-1448.
[12] REN S Q, HE K M, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. DOI: 10.1109/TPAMI.2016.2577031
[13] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 779-788.
[14] Redmon J, Farhadi A. YOLO9000: better, faster, stronger[C]// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition, 2017: 6517-6525.
[15] Redmon J, Farhadi A. Yolov3: An incremental improvement[J/OL]. arXiv preprint arXiv: 1804.02767, https://arxiv.org/abs/1804.02767.
[16] LIU W, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]//Computer Vision-ECCV Proceedings, 2016: 21-37.
[17] LIN T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE International Conference on Computer Vision, 2017: 2980-2988.
[18] 李强龙, 周新文, 位梦恩, 等. 基于条形池化和注意力机制的街道场景红外目标检测算法[J/OL]. 计算机工程: 1-13, [2023-05-20]. DOI: 10.19678/j.issn.1000-3428.0065481. LI Qianglong, ZHOU Xinwen, WEI Meng'en, et al. Infrared target detection algorithm based on strip pooling and attention mechanism in street scene[J/OL]. Computer Engineering: 1-13, [2023-05-20]. DOI: 10.19678/j.issn.1000-3428.0065481.
[19] 蒋昕昊, 蔡伟, 杨志勇, 等. 基于YOLO-IDSTD算法的红外弱小目标检测[J]. 红外与激光工程, 2022, 51(3): 502-511. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ202203045.htm JIANG Xinhao, CAI Wei, YANG Zhiyong, et al. Infrared dim and small target detection based on YOLO-IDSTD algorithm[J]. Infrared and Laser Engineering, 2022, 51(3): 502-511. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ202203045.htm
[20] 蔡伟, 徐佩伟, 杨志勇, 等. 复杂背景下红外图像弱小目标检测[J]. 应用光学, 2021, 42(4): 643-650. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX202104012.htm CAI Wei, XU Peiwei, YANG Zhiyong, et al. Dim-small targets detection of infrared images in complex backgrounds[J]. Journal of Applied Optics, 2021, 42(4): 643-650. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX202104012.htm
[21] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J/OL]. Advances in Neural Information Processing Systems, 2017, https://arxiv.org/abs/1706.03762.
[22] LIU Z, LIN Y, CAO Y, et al. Swin transformer: Hierarchical vision transformer using shifted windows[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 10012-10022.
[23] GE Zheng, LIU Songtao, WANG Feng, et al. Yolox: exceeding YOLO series in 2021[EB/OL]. (2021-07-06) [2023-09-27]. https://arxiv.org/abs/2107.08430.
[24] WANG J, CHEN K, XU R, et al. Carafe: Content-aware reassembly of features[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019: 3007-3016.
[25] WANG W, XIE E, LI X, et al. Pyramid vision transformer: a versatile backbone for dense prediction without convolutions[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 568-578.
[26] XIA Z, PAN X, SONG S, et al. Vision transformer with deformable attention[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022: 4794-4803.
[27] 秦鹏, 唐川明, 刘云峰, 等. 基于改进YOLOv3的红外目标检测方法[J]. 计算机工程, 2022, 48(3): 211-219. DOI: 10.19678/j.issn.1000-3428.0060518. QIN Peng, TANG Chuanming, LIU Yunfeng, et al. Infrared target detection method based on improved YOLOv3[J]. Computer Engineering, 2022, 48(3): 211-219. DOI: 10.19678/j.issn.1000-3428.0060518.
[28] FU H, WANG S, DUAN P, et al. LRAF-Net: long-range attention fusion network for visible-infrared object detection[J]. IEEE Transactions on Neural Networks and Learning Systems, 2023: 1-14. DOI: 10.1109/TNNLS.2023.3266452.