Direct Coupling of Low Light Image Intensifier with Large Size CMOS
-
摘要: 通过将直径为40 mm的像增强器与全画幅尺寸CMOS直接耦合，对大尺寸直耦工艺进行了研究。针对使用透镜耦合制成的大尺寸ICCD/ICMOS体积大、光能损失大以及光锥耦合的器件莫尔条纹较多等问题提出采用直接耦合的工艺制作ICCD/ICMOS。文中研制的大尺寸ICMOS可获取更大视场内的信息，整机分辨率可达3800×1900 LW/PH，画面清晰，无明显莫尔条纹，结构紧凑，整机仅为手持数码相机大小，隐蔽性强，有利于在复杂环境中更准确、快速地获取目标信息。Abstract: The large size direct coupling technology was studied by coupling a 40 mm diameter image intensifier with a full-frame CMOS. To solve the problems of large-size ICCD/ICMOS made by lens coupling, such as large volume, large light energy loss, and large number of moiré fringes in optical cone coupling devices, a direct coupling process is proposed to make ICCD/ICMOS. The large-size ICMOS developed in this study can obtain more information in the field of view. The resolution of the entire device is up to 3600×1800, the picture is clear, there is no obvious moiré fringe, and the structure is compact. The entire device has the size of a handheld digital camera and has strong concealability, which is conducive to obtaining target information more accurately and quickly in a complex environment.
-
Keywords:
- direct coupling /
- ICMOS /
- light cone coupling /
- low light level enhancement
-
0. 引言
混凝土材料往往因为预埋钢筋的腐蚀、水的侵蚀、连续的冻融循环、荷载等多种因素共同作用，产生裂缝、孔洞和分层等缺陷[1]。这些内部缺陷随着时间的推移会逐渐积聚、扩展，严重威胁着结构的耐久性和安全性[2]。主动红外热像检测方法作为一种无损检测手段，由于具有检测面积大、非接触式和应用操作简单等优点在混凝土结构检测领域得到了广泛的关注，并逐渐被应用到了隧道、桥梁现场检测中。
主动红外热像检测技术是一种利用红外热像仪检测材料内部缺陷的无损检测方法，其检测的基本原理是：材料被热激励后其表面红外辐射量因内部缺陷的存在而表现出差异，红外热像仪通过记录该差异，以获得材料内部的缺陷信息[3]。红外图像的信息提取与分析是红外热像检测技术的核心内容。理论上，根据热图像缺陷区域和正常区域之间的红外辐射差异可获得缺陷的信息。但实际上，红外图像本质是根据缺陷与正常区域之间的温度和辐射率生成的灰度图，而且红外光辐射的能量远比可见光低，因此到达光学镜头的红外辐射能很小，导致了红外图像与可见光图像相比只有较低的对比度，分辨弱小目标和细节能力差[4]；另外，红外光子的随机性、红外成像系统的固有特性以及热激励不均匀等给红外图像引入了许多噪声，在一定程度上改变了图像的原始信息，增加了图像分割及后续图像处理的难度[5-6]。传统的基于空域的红外图像处理方法主要分为两个大的步骤：首先，是对红外图像进行降噪和增强，常用的方法有高斯滤波、中值滤波、引导滤波、小波变换、Contourlet变换、三维块匹配算法等[7-10]；其次，对红外图像进行边缘特征的提取，常用的方法有：基于边缘的检测算法、基于数学形态的检测算法和最近发展较快的基于网络模型的检测算等[11-12]。传统的基于单张空域的红外图像处理方法虽然在一定程度上可以消除噪声的影响、提高图像的对比度，但是仍存在一些问题。第一，采集的数据集包含大量的热图像，每一帧红外图像都对应着某一时刻，依靠视觉手动选择缺陷信息丰富的红外图像进行缺陷信息的提取的识别费时费力。第二，在图像降噪、增强和图像分割过程中设定阈值会引入主观成分，干扰红外图像的解释。第三，仅仅分析单张红外图像，忽略采集过程中的时序信息可能会导致忽略一些边缘的缺陷信息[13-14]。
针对上述问题，本文提出了一种基于时序信息的红外图像缺陷信息提取方法。首先，通过室内实验制作含缺陷分层的混凝土试块，其次利用主动红外热像检测技术进行红外数据的采集，提取每个像素点的温度特征曲线，然后采用基于时序信息的提取方法进行含分层缺陷混凝土的缺陷提取，并与传统的基于空域的处理方法进行对比分析。
1. 基本原理
1.1 主动红外热像检测技术原理和系统
主动红外热像检测技术中，当以一定的距离对混凝土材料表面持续加热时，物体会吸收入射波的能量并将其转化为热能，并以温度场的形式表现出来。如果试样存在缺陷（本研究采用的是隔热型缺陷，模拟混凝土内部的空气分层缺陷），到达缺陷的大部分能量将反射到试样表面，引起表面正常区域和有缺陷区域温度场的差异。
利用红外热像仪记录整个检测过程中物体表面温度场的空间和时间分布信息，通过对红外图像数据进行分析和处理进而可以提取材料近表层的分层缺陷信息。主动红外热像检测技术采集到的一系列红外图像组成了一个三维的图像数据集[15]（尺寸：Nx×Ny×Nt，见图 1(a)），在空间维度上，每一帧对应着某一时刻红外热像仪所采集到的物体表面温度场信息，其像素个数为Nx×Ny；在时间维度上，每个像素点可以看作是一条随时间变化的温度特征曲线（Nt时间点组成），如图 1(b)所示，其中标签NT11 DEFECT表示缺陷区域的温度特征曲线，标签NT11 NORMAL表示正常区域的温度特征曲线。
![]()
图 1 主动红外热成像采集的数据结构：(a) 三维红外数据；(b) 像素点温度特征曲线Figure 1. Active infrared thermal imaging acquisition of data structures (a) Three-dimensional infrared data; (b) Temperature characteristic curves of pixels1.2 基于时序信息的缺陷信息提取原理
主动红外热像技术采集到的三维红外图像数据，其正常区域和含缺陷的区域每个像素点的温度特征曲线在冷却阶段会存在差异，如图 1(b)所示，利用这个特点我们可以采用许多能够分辨这个特征曲线差异值的相关算法进行缺陷信息的提取，本文采用相对简单、容易实施的K-means方法来提取混凝土的缺陷信息。K-means聚类方法的原理是同一类内的实体是相似的，一个类是测试空间中点的集合，同一类内任意一个点到其类中心的距离小于其到其它类中心的距离，我们可以用此算法分辨正常区域和缺陷区域的温度特征曲线[16]。K-means方法的关键是核函数的选取，核函数决定了其分辨能力，本文采用常用的马氏距离进行度量。其具体算法原理如下[17]：
假设给定的数据集为Y={y1, y2, …, ym}，其中yi=[X1, X2, …, Xn]，将数据对象划分为k类C={c1, c2, …, ck}，每个类有一个类中心U={u1, u2, …, uk}。选取欧式距离作为相似性和距离判断准则，计算ck类内各点到聚类中心uk的距离平方和，见公式(1)：
$$ J\left( {{c_k}} \right) = \sum\limits_{{x_i} \in {C_k}} {{{\left\| {{x_i} - {u_k}} \right\|}^2}} $$ (1) 聚类的目标是使各类总的距离平方和最小，见公式(2)：
$$ J(C) = \sum\limits_{k = 1}^K J \left( {{c_k}} \right) = \sum\limits_{k = 1}^K {\sum\limits_{{x_i} \in {C_k}} {{{\left\| {{x_i} - {u_k}} \right\|}^2}} } $$ (2) 根据最小二乘法和拉格朗日原理，聚类中心uk应该取为类别ck类各数据点的平均值。
K-means算法是一个反复迭代过程，目的是使聚类域中所有的点到聚类中心距离的平方和最小。
2. 实验与数据分析
2.1 实验过程
本次实验混凝土试件的设计强度为C50，尺寸为50 cm×50 cm×20 cm，在混凝土中嵌入4块尺寸为10 cm×10 cm的聚苯乙烯材料（隔热型材料），模拟混凝土中的分层缺陷，混凝土试块见图 2(a)。试验采用美国FLIR公司的A655SC非制冷型红外热像仪，其热灵敏度为30 mK，图像分辨率为640×480，标准测温范围为－40℃~150℃，波长范围为7.5~14 μm，见图 2(b)。主动热激励系统采用自制的配有自动控制加热时间的碳化硅远红外加热板，共2块，每块加热板的加热功率为500 W，见图 2(c)。整个实验过程中加热时间为5 min，冷却时间为10 min；加热完成后，立即用红外热像仪采集试样表面的冷却温度场，整个采集系统见图 3所示，本文选用的是持续加热法。
![]()
图 2 实验试块和仪器：(a) 混凝土试块；(b) 红外热像仪；(c) 红外加热板Figure 2. Test blocks and instruments: (a) Concrete test block; (b) Infrared thermal imager; (c) Infrared heating plate2.2 红外图像数据
实验采集到的红外图像序列如图 4所示，根据红外图像可以发现一共存在4块分层缺陷，各个缺陷之间存在温度场相互影响的干扰区，而且各个缺陷的轮廓比较模糊，存在被隐藏的缺陷信息。整个采集的红外图像数据的第一帧（0 s）最清晰，其正常区域和缺陷区域存在较大的温差；之后随着冷却的进行，正常区域和缺陷区域的温差逐渐减小，缺陷信息逐渐模糊，至最后一帧很难用肉眼分辨。
3. 红外图像处理和对比分析
3.1 红外图像缺陷提取
主动红外热像检测技术所采集的图像每一帧都含有大量的噪声，为了测试基于时序信息红外图像缺陷信息提取的可行性以及性能，本次在图像特征提取前不对图像进行预处理。首先，将红外图像数据按像素点逐个提取时间序列，组成聚类数据集；然后将时序数据序列输入到K-means程序中，进而得到每一帧各个像素点的聚类信息。为了提高运算效率，本次在图像序列处理中采样间隔为1，其序列长度减小为原来的一半。聚类完成后得到图像中每一个像素点所属的类别，进而完成对图像缺陷信息的提取。
图 5为经过聚类后的提取结果，通过观察发现4个缺陷信息都被提取出来，与原始红外图像相比（图 4），其缺陷信息有了明显的增强，缺陷信息完全肉眼可见，每个识别出的缺陷区域呈近似正方形，完整性相当好，接近于预埋缺陷的形状，而且缺陷提取后的图像序列的时序信息得以保留。
3.2 对比分析
为了测试基于时序信息红外图像分层缺陷的信息提取效果，本文采用基于空域的二维K-means图像缺陷信息提取算法与其进行对比。由于采集的红外图像数据集第一帧（0 s）缺陷信息最清晰，因此选用第一帧红外图像进行基于空域的分层缺陷信息提取。两种方法的分层缺陷信息提取结果见图 6，由图 6(b)所示，基于时序信息的分层缺陷提取方法4个分层缺陷都被完全提取出来，图 6(a)中模糊、隐藏的信息也被提取出来，缺陷细节分辨能力较好。由图 6(c)所示，基于空域信息的分层缺陷信息提取方法4个分层缺陷被识别为一个缺陷，缺陷细节分辨能力较差。通过分析可能是受缺陷之间温度场叠加的相互影响，缺陷之间区域（图 6(a)中虚线框内部所示的无缺陷区域）的温度信息和分层缺陷的温度场信息较为接近，而和图 6(a)的无缺陷边缘温度场信息差异较大，导致基于空域信息的提取方法效果较差；根据含缺陷混凝土试块的物理特性可知，存在分层缺陷和正常区域的温度特征曲线是存在差异的，基于时序信息的提取方法主要是根据每个像素点的温度特征曲线差异来提取特征，其提取缺陷的分辨能力和效果更好。
![]()
图 6 处理结果对比分析：(a) 红外原图；(b) 基于时序K-means方法；(c) 基于空域K-means方法Figure 6. Comparative analysis of processing results: (a) Original infrared image; (b) K-means method based on temporal information; (c) K-means method based on spatial information4. 结论
主动红外热像检测技术中，传统的红外图像处理方法在一定程度上可以消除噪声、提高图像的对比度，但是仍存在一些问题。针对上述问题，本文根据主动红外热成像的数据特点提出了一种基于时序信息的红外图像缺陷信息提取方法。结果表明，基于时序信息的缺陷提取方法是可行的，其可以提取到隐藏的缺陷信息，分层缺陷信息提取效果优于基于空域的K-means方法。
-
![]()
图 1 光锥耦合ICCD/ICMOS成像系统中的莫尔条纹以及干涉条纹
Figure 1. Moire fringes and interference fringes in ICCD/ICMOS fiber optic taper coupling imaging systems
![]()
图 2 像增强器与CCD/CMOS耦合方式示意图
Figure 2. Schematic diagram of coupling mode between image intensifier and CCD/CMOS
表 1 耦合器件的主要参数
Table 1 The main parameters of the coupler
Main parameters of CMOS Chip size Silent frame
(35.6 mm×23.8 mm)Effective pixels 24 million Video-capture 4K/60P, 50P Main parameters of image intensifier Screen diameter 40 mm Radiation sensitivity(2856K) 790 mA/W Signal noise ratio 23 Central resolution 60 lp/mm Luminance gain 9782 cd/m2/lx Maximum output brightness 6.4 cd/m2 Equivalent background brightness 1.4×10-9 lx 
下载: 导出CSV
-
[1] 白廷柱. 光电成像技术与系统[M]. 北京: 电子工业出版社, 2016. BAI Tingzhu. Photoelectric Imaging Technology and System[M]. Beijing: Electronic Industry Press, 2016.
[2] PROXITRONIC Detector Systems GmbH. Image- intensifier- general- information[EB/OL][2011-07-21]. www.proxitronic.de.
[3] 金伟其, 陶禹, 石峰, 等. 微光视频器件及其技术的进展[J]. 红外与激光工程, 2015, 44(11): 3167-3176. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201511001.htm JIN Weiqi, TAO Yu, SHI Feng, et al. Progress of low-light video device and its technology[J]. Infrared and Laser Engineering, 2015, 44(11): 3167-3176. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201511001.htm
[4] 王红球. 用于生物探测的制冷型ICCD系统[D]. 北京: 清华大学, 2007. WANG Hongqiu. Refrigerated ICCD System for Biological Detection[D]. Beijing: Tsinghua University, 2007.
[5] 闫晓梅, 王志社. 基于光锥耦合的X射线像增强器[J]. 光学学报, 2010(5): 1478-1482. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201005051.htm YAN Xiaomei, WANG Zhishe. X-ray image intensifier based on optical cone coupling[J]. Acta Opticasinica, 2010(5): 1478-1482. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201005051.htm
[6] 崔志刚. ICCD光锥耦合技术研究及性能分析[D]. 北京: 北京理工大学, 2008. CUI Zhigang. Research and Performance Analysis of Optical Cone Coupling Technology of ICCD[D]. Beijing: Beijing Institute of Technology, 2008.
[7] PROXITRONIC Detector Systems GmbH. Intensified CCDs with Direct Fiber Optical Coupling[EB/OL][2011-07-21]. www.proxitronic.de.
[8] 朱广亮. ICCD系统耦合工艺研究与结构设计[D]. 北京: 北京理工大学, 2016. ZHU Guangliang. Research and Structure Design of ICCD System Coupling Process[D]. Beijing: Beijing Institute of Technology, 2016.
[9] 张宇. ICCD/ICMOS莫尔效应及其影响研究[D]. 北京: 北京理工大学, 2018. ZHANG Yu. Study on ICCD/ICMOS Mohr Effect and its Influence[D]. Beijing: Beijing Institute of Technology, 2018.
[10] 俞斯乐, 郭福云, 李桂苓, 等. 电视原理[M]. 北京: 国防工业出版社, 1984. YU Sile, GUO Fuyun, LI Guiling, et al. Television Principles[M]. Beijing: National Defense Industry Press, 1984.
-
期刊类型引用(2)
1. 黄坤琳，吴国周，徐维新，李利东，王海梅，李航，李自翔，司荆柯，刘洪宾，吴成娜. 呼伦贝尔东部农田区动态融雪过程及其影响因子. 干旱区研究. 2024(09): 1514-1526 . 
百度学术
2. 黄林，李晖，康璇. 基于Freeman全极化分解的干雪识别指数模型构建. 厦门理工学院学报. 2023(05): 40-48 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 513
- HTML全文浏览量: 183
- PDF下载量: 118
- 被引次数: 4
