Multiscale Retinex Infrared Image Enhancement Based on the Fusion of Guided Filtering and Logarithmic Transformation Algorithm
-
摘要: 针对采用红外成像仪获取红外图像边缘模糊、对比度差等缺点造成图像视觉效果差、质量低等问题。以多尺度Retinex算法为框架,依据引导滤波保边和梯度保持性,提出引导滤波和对数变换算法融合的多尺度Retinex红外图像增强方法。首先,用引导滤波替换MSR算法中的高斯滤波来估计照度分量。其次,将照度分量经过对数变换处理,执行低灰度部分扩展和高灰度部分压缩。最后,引导滤波分割得到的细节层图像线性放大并与MSR(多尺度Retinex)处理后的图像叠加,获得增强的红外图像。实验证明,与传统MSR算法和引导滤波相比该算法效果明显,可以有效地提高红外图像质量。
-
关键词:
- 红外图像 /
- 图像增强 /
- 多尺度Retinex /
- 引导滤波 /
- 对数变换
Abstract: Problems such as blurred edges and poor contrast in infrared images acquired by an infrared imager lead to poor visual effects and low image quality. Based on the multi-scale Retinex (MSR) algorithm, a MSR infrared image enhancement method based using guided filter edge preserving and gradient preserving is proposed. Firstly, a guided filter is used in place of the Gaussian filter in the MSR algorithm to estimate the illuminance component. Secondly, the illumination component is processed via logarithmic transformation, expanding the low end of the gray scale and compressing the high end. Finally, the detail layer image obtained using guided filtering is linearly amplified and superimposed with the MSR processed image to obtain an enhanced infrared image. Experimental results demonstrate that the proposed algorithm can effectively improve the quality of infrared image compared with the conventional MSR algorithm and guided filter.-
Keywords:
- infrared image /
- image enhancement /
- MSR /
- guided filtering /
- Logarithmic transformation
-
0. 引言
近年来,雪崩光电二极管(avalanche photodiodes, APD)被广泛应用在商业和军事领域,包括光通信、雷达成像和单光子检测[1]等方向。在通信领域,相对于PIN光电二极管,APD的内部增益提供了更高的灵敏度和信噪比。APD的增益来源于倍增层载流子的碰撞电离,这是个随机过程,由这种碰撞电离的随机性产生的噪声称为APD的过剩噪声[2]。过剩噪声会影响APD的信噪比(signal-to-noise, SNR),因此,减小过剩噪声一直是APD研发的热点。
APD的重要性能参数有增益、增益带宽积和过剩噪声等,过剩噪声是表征增益不稳定性的参量,通常采用过剩噪声因子(F)来量化表征过剩噪声的大小。目前,国内外研究APD过剩噪声因子的实验方法主要有两种:相敏探测法和直接功率测量法。相敏探测法利用锁相放大器提取出参考信号的光电流噪声,通过与标准PIN器件进行对比从而获得APD的过剩噪声[3]。直接功率测量法则利用噪声分析仪直接测量APD的噪声,从而计算出APD的过剩噪声[4]。国内研究APD过剩噪声因子F起步比较晚,2013年,华中科技大学李奕键等人利用噪声系数分析仪通过偏置器来测试APD过剩噪声因子F[5],2015年,工业和信息化部制定了PIN、雪崩光电二极管测试的电子行业标准,利用锁相放大器来测试过剩噪声因子F[6],2019年,暨南大学李永亮等人利用电子频谱分析仪测试Si APD的过剩噪声因子F[7]。本文对比了相敏探测法和直接功率测量法两种测试方法的优缺点,并总结了每种测试系统最新的优化方案。
1. 过剩噪声测试方法
1.1 相敏探测法
相敏探测法的实验测试系统如图 1所示,该系统采用跨阻放大器(transimpedance amplifier,TIA)作为前端[3],电压源为APD提供偏置电压,使其处于工作状态。激光通过斩波器调制一定的频率后照射在APD的光敏面上,光电流信号接入跨阻放大器后转变为电压信号。跨阻放大器一端连接锁相放大器测量APD的雪崩增益,另一端通过带通滤波器除去光电流信号,只留下与噪声相关的信息,噪声信号经过放大器后进入功率计,功率计的输出端连接第二个锁相放大器进行噪声功率测量。为了精确测量过剩噪声因子F,测试前必须通过测量商用硅PIN光电二极管来校准噪声测量系统并检查系统其他噪声的影响[8]。
图 2是该系统测量GaAs PIN二极管的过剩噪声的测试结果[3]。在测量的雪崩增益范围内,测量结果与Anselm等人[9]和Li等人[10]的结果相似,表明该系统能够可靠地测量过剩噪声因子F。该系统的优点是可以直接提取出光电流的过剩噪声,不需要考虑背景环境和器件暗电流的影响,但是在使用锁相放大器来测量时,测量的频点少,耗时长,还需要进一步改进方案。
Green等人[11]通过设计一种由两个相似的晶体管构成的新跨阻放大器来改善相敏探测法系统。该系统使用基于双极晶体管的跨阻放大器作为前端,可以在高暗电流、电容高达5 nF的雪崩二极管条件下进行精确测量过剩噪声。该系统已被用于测量厚度薄、面积大的硅APD,测试结果与用不同噪声测量系统获得的结果一致。测试了不同厚度的Si PIN APDs的过剩噪声因子,测试结果如图 3所示。
谢菲尔德大学Liang Qiao[12]基于Lau[3]等人的测量系统,通过增加反馈电阻值和降低运算放大器带宽来测量在低光电流的情况下雪崩光电二极管增益和过剩噪声。使用以前的测量系统的过量噪声至少需要0.22 μA光电流,而该系统现在只需要10 nA,灵敏度提高了22倍以上,光电流比文献[3, 10]低两个数量级。光功率衰减10-2.3的AlInP雪崩二极管的过剩噪声因子与Liang等人[13]的数据非常一致,结果如图 4所示[12]。
1.2 直接功率测量法
直接功率测量系统大多数使用噪声系数分析仪[4]来测量过剩噪声,后来也有使用动态信号分析仪[14]、频谱分析仪[15]等,实验测试系统[4]如图 5所示,由于激光带来的相对强度噪声(relative intensity noise, RIN)影响过剩噪声测试,因此,使用发光二极管LED来代替激光作为光源,其发射峰值接近1.3 μm。入射光通过一个空间滤波器与一个直径为10 pm的针孔耦合,以确保照明面积比APD的光敏面积要小得多,从而消除了边缘效应,并减少了增益剖面中不均匀性的影响。用噪声系数分析仪记录在30 MHz~1.4 GHz频率下的噪声功率。该仪器首先用商业噪声源进行校准,以消除放大器的噪声影响,然后测量标准PIN的散粒噪声,在每个测量频率下进行校准。APD的噪声功率在光照下和无光条件下作为偏置电压的函数进行测量,并从每个偏置电压的光电流中计算出增益。
该系统测试方法操作相对简单,直接测量的频点多,最大可覆盖10 MHz~26 GHz。华中科技大学文柯等人[16]提出测量雪崩光电二极管过剩噪声的平衡光学系统,该系统通过分束器使得标准PIN光电二极管与样品APD建立平衡电路,可以有效地抑制来自激光器光源的相对强度噪声,提高雪崩光电二极管过剩噪声因子的测量精度。测量APD的噪声功率谱密度S(f)和在不同偏置电压下的增益M,可以得到拟合曲线,从而能准确地得到样品APD的空穴与电子碰撞电离系数比k。如图 6所示,通过使用测量系统的系统阻抗、APD的光电流、APD的增益和光电流的噪声功率谱密度,计算出样品APD的k值为0.6。该方法可以直接抵消相对强度噪声,而图 5中的直接功率法则还需要计算出RIN,这种方法测试也更加精确。
1.3 两种测试方法的对比
相敏探测法用一台锁相放大器来测量APD光电流的过剩噪声,另一台锁相放大器直接提取出光电流,而直接功率测量法测试系统测试光电流时包含APD的暗电流。背景噪声对噪声系数分析仪的影响也较大,需要在屏蔽间里测试,排除其他背景环境噪声对实验的影响。相敏探测法测试系统能够同时测量增益和噪声,灵敏度也比较高,而直接功率测量法不能同时测量增益和噪声,增益需要I-V特性测试得到,噪声需要分别在有光、无光条件下测量得到,测量步骤相对比较繁琐。相敏探测法测量系统不足的地方是测量的频点低,耗时比较长,而直接功率测量法测量的频点比较多,最大可覆盖到10 MHz~26 GHz,测量时间比相敏探测法要短很多,有效地提高了测量效率。
2. 降低APD过剩噪声的3种方法
2.1 低碰撞电离系数比材料
硅(Si)由于其低碰撞电离系数比[17],对雪崩击穿的温度依赖性非常低,是APD的最佳选择材料之一。Y. Kang等人[18]设计了在硅基底上生长的锗/硅雪崩光电二极管,Ge/Si APD基于传统的分离、吸收、电荷和倍增(SACM)APD结构,光吸收和载流子倍增发生在Ge和Si内部,台面型Ge/Si APD的横截面示意图如图 7所示,通过化学气相沉积,在Si倍增层(0.5 μm)上生长了一个1 μm厚的Ge吸收层,利用硅电荷层来维持硅锗界面的低电场。
在1310 nm波长下,这个直径为30 μm的APD的增益带宽积最大可达到153 GHz,在130 MHz频率下测量总噪声功率密度,在增益达到15时,Ge/Si APD的有效k值~0.1,测试结果如图 8[18]所示。
Min Ren等[19]人报告了一种工作在短波红外的Al0.7In0.3As0.3Sb0.7(separate absorption, grading, charge, multiplication)SAGCM APD,利用固源分子束外延在n型掺杂GaSb基底上生长外延层,Al0.7In0.3As0.3Sb0.7的能带为1.16 eV,Al0.7In0.3As0.3Sb0.7 APD的横截面示意图和电场分布如图 9所示[19],该结构顶部是GaSb接触层,Al0.6In0.4As0.4Sb0.6吸收层在两个渐变带隙层中间,渐变层和倍增层分别是0.15 μm和1 μm的P型Al0.7In0.3As0.3Sb0.7材料。
当反向偏置电压为50 V时,模拟表明吸收层和倍增层的平均电场强度分别为<100 kV/cm和~800 kV/cm,在95%击穿电压处的暗电流~120 nA,约为Ge/Si APD的暗电流的1%。用HP8970B噪声系数仪测量Al0.7In0.3As0.3Sb0.7 SACM APD的过剩噪声,测量出来的有效k值在0.01左右,比Si/Ge材料APD的碰撞电离系数比还小,测试结果如图 10所示[19]。
J. C. Campbell测量了InP材料的InP/InGaAsP/ InGaAs SAGCM APD的过剩噪声[4],在低增益时噪声被抑制,有效k值在0.4左右,在高增益时,k值接近0.6,现在大部分的InGaAs/InP APD的k值范围在0.4~0.6之间。Watanabe等人[20]测量了InAlAs的碰撞电离系数比,发现电场在400~650 kV/cm范围内的k值为0.2~0.35。研究人员还采用了不同的方法来获得其他材料的碰撞电离系数比,不同材料的碰撞电离系数比k值范围[21]如图 11所示。Si是低过剩噪声APD的首选材料,因为它具有非常低的k值,在所有增益下过剩噪声都非常低,选择低碰撞电离系数比的材料有利于降低APD的过剩噪声因子。
2.2 优化倍增层厚度
McIntyre的局域场模型在厚倍增层、电场均匀器件的模拟中,模拟结果与实验测量数据保持一致,但是在薄倍增层器件中,实验结果却相反,测量出具有更好的低噪声特性,McIntyre理论在薄倍增层器件高估了噪声值,已经不适用器件倍增层逐渐变小的情况。载流子在电场的加速下,必须经过一段距离,才能获得足够的能量来发生碰撞电离,这个距离称为弛豫空间(dead space),其表达式为:de=Eth/qE,式中:Eth为电离阈值能量;E为电场强度。一般de的数量级在几个到几十纳米,在厚倍增层器件中,de相对于倍增层厚度ω很小,可以忽略不计,随着倍增层达到超薄的时候,de/ω变大,碰撞电离路径长度的分布函数开始收缩,使碰撞电离的随机性变小,从而改善了噪声特性。
Hu等人对不同倍增层厚度的GaAs APD的噪声特性进行了研究[22],采用PIN结构,制造了倍增层厚度为0.1、0.2、0.5和0.8 μm的APD,其中0.1、0.2和0.5 μm倍增层载流子浓度掺杂为2×1015 cm-3,0.8 μm倍增层掺杂浓度为1×1016 cm-3,击穿时倍增层的电场强度随着厚度的增加而减小,测量结果如图 12所示,倍增层的厚度从0.8 μm减小到0.1 μm,有效k值从0.5减小到0.25,0.8 μm和0.5 μm倍增层还是符合GaAs材料的理论有效k值0.4~0.5,当倍增层厚度低于0.5 μm时,APD的过剩噪声降低很多[22]。
Ong等人[23]使用一个简单的随机生成的电离路径长度(randomly-generated ionization path length,RPL)和硬阈值弛豫空间模型,定量研究了GaAs p+-i-n+ APD的过剩噪声,改变倍增层的厚度分别为1 μm、0.5 μm、0.1 μm和0.05 μm,用RPL模型模拟出来的结果与蒙特卡洛(Monte Carlo, M-C)模型进行比较,发现相同倍增层厚度APD的增益完全一致,对于过剩噪声,RPL模型要比相对复杂的M-C模型略低,这是因为RPL模型的碰撞电离路径长度的分布概率要低和更长的弛豫空间导致的,两种方法的模拟结果如图 13所示,不管是RPL模型还是M-C模型,随着倍增层厚度的降低,APD的碰撞电离系数比k值也降低,因此,在一定的倍增层范围内可以通过降低倍增层厚度利用弛豫空间来降低APD的过剩噪声。
2.3 碰撞电离工程
为了实现器件的更高性能可以利用碰撞电离工程(impact-ionization-engineered, I2E),I2E器件的载流子从宽带隙的材料过渡到窄带隙的材料时,通过碰撞电离阈值能量的突变以降低碰撞电离来实现低噪声,载流子从宽带隙材料中的电场获得能量,并在进入窄带隙层时迅速发生碰撞电离。这种方法最初是用于GaAs/AlxGa1-xAs材料[24],设计新的倍增层结构,它通过碰撞电离工程I2E实现非常低的倍增噪声。Ning Duan等[25]人设计了In0.52Al0.48As/ In0.53Ga0.17 Al0.3As I2E倍增层区域SACM APD,实现了高增益带宽积达到160 GHz,低噪声的有效k值在0.1附近。H. R. Burris[26]制作了直径350 μm的碰撞电离工程InGaAs APD,探测器的灵敏度在51 Mbps时为-51 dBm,APD由于具有高灵敏度和宽视场被用于小型无人机载平台的自由空间激光通信终端中。Mike S.通过分子束外延生长[27],在保持与InP晶格匹配的前提下实现了分区功能设计的倍增层:一个0.5 μm非故意掺杂InAlAs的空穴释放层;一个100 nm p型掺杂InAlAs电场层;一个200 nm InAlAs的载流子加速层;一个10 nm n型掺杂的InAlAs的电场降低层和100 nm非故意掺杂InAlGaAs能隙约为0.92 eV的电子碰撞电离层,器件结构示意图如图 14所示[27]。
相对于之前的设计,该结构的主要区别是倍增层的弛豫层厚度从100 nm增加到500 nm,结果表明,通过增加倍增层的空穴释放层厚度,从更低的场区域注入空穴,降低空穴碰撞电离的概率,进一步降低过剩噪声的产生。500 nm弛豫层厚度在空穴碰撞电离减少和带宽性能降低之间提供了足够的平衡,在M≈15和M≈25处测得的载流子碰撞电离系数比近似于k=0.05和k=0.1,在1550 nm处测量了大约84%的器件量子效率,同时增益带宽积超过80 GHz。
为了抑制空穴引发的电离,Sun等人[28]使用蒙特卡罗模拟表明,将倍增层中弛豫层的厚度从100 nm增加到500 nm有利于空穴在进入InAlGaAs倍增层之前减速。模拟的外延层能带图如图 15所示。
对以上串联I2E InAlAs/InGaAs APD结构的过剩噪声特性进行了理论模拟,计算结果显示,厚度从100 nm增加到500 nm,当增益值高达30时,产生的碰撞电离系数比k小于0.05,模拟结果如图 16[28]所示。仿真结果还表明,当空穴遇到新的平衡带势垒时,其平均能量为<0.12 eV,有效地降低了空穴引起的碰撞电离。
串联APD的复合倍增区域在产生非常低的过剩噪声的同时,也会够降低增益带宽积,随着弛豫层厚度增加,以及空穴能量的减少,空穴将需要更长的时间才能使空穴越过价带障碍。图 17显示了单级I2E APD和三级串联APD的模拟带宽与增益的关系,增益带宽积减少到原来的1/N,其中N是串联APD中的级数[28]。
3. 结论
雪崩光电二极管的过剩噪声限制了器件工作时的性能释放,因此精准地测量过剩噪声并研究抑制过剩噪声的方法对制作低噪声APD具有重要意义。本文介绍了两种测试APD过剩噪声因子的方法:相敏探测法和直接功率测量法,这两种测量方法都存在一定的优势和缺陷,需要对测试系统进行不断地优化。最后,总结了3种降低过剩噪声的方法:开发类似Sb化物低碰撞电离系数比的材料、降低倍增层厚度、采用碰撞电离工程设计多种材料组成的倍增层。选择适合的材料和倍增厚度对APD的过剩噪声降低具有明显的效果,碰撞电离工程可以提高APD的灵敏度和降低噪声,厚弛豫倍增层的多级串联会导致较低的增益带宽积。
-
表 1 场景1客观评价结果
Table 1 Scenario 1 objective evaluation results
Algorithm Evaluation parameters Information entropy Mean gradient Peak signal-to-noise ratio Original photo 7.2768 18.1815 - MSR algorithm 7.4062 15.2745 34.0826 Guided filter 7.3250 11.8575 82.5478 Ours 7.5202 24.9135 71.7486 表 2 场景2客观评价结果
Table 2 Scenario 2 objective evaluation results
Algorithm Evaluation parameters Information entropy Mean gradient Peak signal-to-noise ratio Original photo 6.4174 5.6610 - MSR algorithm 6.0917 3.2130 10.0513 Guided filter 6.5708 2.8815 86.6363 Ours 6.6079 9.0015 66.9985 表 3 场景3客观评价结果
Table 3 Scenario 3 objective evaluation results
Algorithm Evaluation parameters Information entropy Mean gradient Peak signal-to-noise ratio Original photo 6.7321 11.7166 - MSR algorithm 6.8226 10.0725 14.1633 Guided filter 6.4210 6.7830 82.9106 Ours 7.2111 17.9520 68.1152 -
[1] 莫春和, 段锦, 付强, 等. 国外偏振成像军事应用的研究进展(下)[J]. 红外技术, 2014, 36(4): 265-270. http://hwjs.nvir.cn/article/id/hwjs201404002 MO Chunhe, DUAN Jin, FU Qiang, et al. Review of polarization imaging technology for international military application(II)[J]. Infrared Technology, 2014, 36(4): 265-270. http://hwjs.nvir.cn/article/id/hwjs201404002
[2] 龚璐, 沈国土, 蔡继光, 等. 典型物体表面温度的测量及初步计算[J]. 红外技术, 2013, 35(7): 439-442. http://hwjs.nvir.cn/article/id/hwjs201307011 GONG Lu, SHEN Guotu, CAI Jiguang, et al. Measurement and preliminary calculation of typical object surface temperature[J]. Infrared Technology, 2013, 35(7): 439-442. http://hwjs.nvir.cn/article/id/hwjs201307011
[3] 万智萍. 结合视觉特性与灰度拉伸的直方图均衡化红外图像算法[J]. 计算机工程与设计, 2016, 37(3): 714-719. https://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ201603030.htm WAN Zhiping. Histogram equalization infrared image algorithm combining visual characteristics and gray stretching[J]. Computer Engineering and Design, 2016, 37(3): 714-719. https://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ201603030.htm
[4] Land E H, Mccann J J. Lightness and Retinex theory[J]. Journal of the Optical Society of America, 1971, 61(1): 1-11. DOI: 10.1364/JOSA.61.000001
[5] 梁栋, 顾杰宁, 张陈, 等. 基于小波变换的红外热成像图像处理的无损检测技术[J]. 物联网技术, 2020, 10(3): 37-39. https://www.cnki.com.cn/Article/CJFDTOTAL-WLWJ202003016.htm LIANG Dong, GU Jiening, ZHANG Dong, et al. Nondestructive testing technology of infrared thermal imaging image processing based on wavelet transform[J]. Internet of Things Technology, 2020, 10(3): 37-39. https://www.cnki.com.cn/Article/CJFDTOTAL-WLWJ202003016.htm
[6] Jobson Daniel J, Rahman Zia-ur, Woodell Glenn A. Properties and performance of a center surround Retinex[J]. IEEE Transactions on Image Processing, 1997, 6(3): 451-462. DOI: 10.1109/83.557356
[7] Jobson Daniel J, Rahman Zia-ur, Woodell Glenn A. A multi-scale Retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7): 965-976. DOI: 10.1109/83.597272
[8] 温海滨. 基于局部正则先验的Retinex红外图像细节增强方法研究[D]. 西安: 空军工程大学, 2017. WEN Haibing. Research on Detail Enhancement Method of Retinex Infrared Image Based on Local Regularization a Priori[D]. Xi'an: Air Force Engineering University, 2017.
[9] 任崇巍. 基于双边滤波和Retinex算法的货车图像预处理方法[J]. 现代城市轨道交通, 2019(6): 39-43. https://www.cnki.com.cn/Article/CJFDTOTAL-XDGD201906007.htm REN Congwei. Freight car image preprocessing method based on bilateral filtering and Retinex algorithm[J]. Modern Urban Transit, 2019(6): 39-43. https://www.cnki.com.cn/Article/CJFDTOTAL-XDGD201906007.htm
[10] 常戬, 任营, 贺春泽. 改进双边滤波Retinex的多聚焦图像融合[J]. 中国图象图形学报, 2020, 25(3): 432-441. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202003002.htm CHANG Jian, REN Ying, HE Chunze. Multi focus image fusion based on improved bilateral filtering Retinex[J]. Journal of Image and Graphics, 2020, 25(3): 432-441. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202003002.htm
[11] 王秋云, 杨昊亮, 李雄伟, 等. 基于Lab色彩空间改进的多尺度Retinex图像增强算法[J]. 中国刑警学院学报, 2020(1): 123-128. https://www.cnki.com.cn/Article/CJFDTOTAL-XING202001017.htm WANG Qiuyun, YANG Haoliang, LI Xiongwei, et al. Improved multi-scale Retinex image enhancement algorithm based on Lab color space[J]. Journal of Criminal Investigation Police University of China, 2020(1): 123-128. https://www.cnki.com.cn/Article/CJFDTOTAL-XING202001017.htm
[12] 杨福豪, 史启超, 蓝方鸣, 等. 基于色彩衰减补偿和Retinex的水下图像增强[J]. 宁波大学学报: 理工版, 2020, 33(1): 58-64. https://www.cnki.com.cn/Article/CJFDTOTAL-NBDZ202001009.htm YANG Fuhao, SHI Qichao, LAN Fangming, et al. Underwater image enhancement based on Retinex [J]. Journal of Ningbo University: Natural Science and Engineering, 2020, 33(1): 58-64. https://www.cnki.com.cn/Article/CJFDTOTAL-NBDZ202001009.htm
[13] Roberts J W, Aardt J A V. Assessment of image fusion procedures using entropy, image quality, and multispectral classification[J]. Journal of Applied Remote Sensing, 2008, 2(1): 1-28.
-
期刊类型引用(2)
1. 徐乐凤,孙彬,徐鲁波,黄劲,王和欣. 基于改进高速单光子探测器的复合跟踪控制系统设计. 计算机测量与控制. 2023(03): 155-161 . 百度学术
2. 柯程虎,包晶,梁静远,韩美苗,秦欢欢,柯熙政. 探测器及其噪声模型研究进展. 光学技术. 2023(03): 329-348 . 百度学术
其他类型引用(2)