微光像增强器与大尺寸CMOS的直接耦合

高天阳, 曹峰梅, 王霞, 崔志刚

高天阳, 曹峰梅, 王霞, 崔志刚. 微光像增强器与大尺寸CMOS的直接耦合[J]. 红外技术, 2021, 43(6): 537-542.
引用本文: 高天阳, 曹峰梅, 王霞, 崔志刚. 微光像增强器与大尺寸CMOS的直接耦合[J]. 红外技术, 2021, 43(6): 537-542.
GAO Tianyang, CAO Fengmei, WANG Xia, CUI Zhigang. Direct Coupling of Low Light Image Intensifier with Large Size CMOS[J]. Infrared Technology , 2021, 43(6): 537-542.
Citation: GAO Tianyang, CAO Fengmei, WANG Xia, CUI Zhigang. Direct Coupling of Low Light Image Intensifier with Large Size CMOS[J]. Infrared Technology , 2021, 43(6): 537-542.

微光像增强器与大尺寸CMOS的直接耦合

基金项目: 

国家重点研发计划项目 2019QY0902

详细信息
    作者简介:

    高天阳(1996-),男,河北廊坊人,硕士,主要从事微光夜视、图像处理方面的研究工作。E-mail:xiuchuan1115@foxmail.com

    通讯作者:

    崔志刚(1967-),男,河北石家庄人,研究员,博士,主要从事微光夜视光锥耦合等方面的研究工作。E-mail:forest508@163.com

  • 中图分类号: TN223, TN206

Direct Coupling of Low Light Image Intensifier with Large Size CMOS

  • 摘要: 通过将直径为40 mm的像增强器与全画幅尺寸CMOS直接耦合,对大尺寸直耦工艺进行了研究。针对使用透镜耦合制成的大尺寸ICCD/ICMOS体积大、光能损失大以及光锥耦合的器件莫尔条纹较多等问题提出采用直接耦合的工艺制作ICCD/ICMOS。文中研制的大尺寸ICMOS可获取更大视场内的信息,整机分辨率可达3800×1900 LW/PH,画面清晰,无明显莫尔条纹,结构紧凑,整机仅为手持数码相机大小,隐蔽性强,有利于在复杂环境中更准确、快速地获取目标信息。
    Abstract: The large size direct coupling technology was studied by coupling a 40 mm diameter image intensifier with a full-frame CMOS. To solve the problems of large-size ICCD/ICMOS made by lens coupling, such as large volume, large light energy loss, and large number of moiré fringes in optical cone coupling devices, a direct coupling process is proposed to make ICCD/ICMOS. The large-size ICMOS developed in this study can obtain more information in the field of view. The resolution of the entire device is up to 3600×1800, the picture is clear, there is no obvious moiré fringe, and the structure is compact. The entire device has the size of a handheld digital camera and has strong concealability, which is conducive to obtaining target information more accurately and quickly in a complex environment.
  • 滚动轴承作为机械设备中应用极其广泛的一种零部件,其种类繁多,结构各异。当设备轴承发生故障时,往往会造成经济损失,甚至给现场的设备操作人员带来人身安全威胁,因此对滚动轴承进行状态监测与故障诊断显得十分重要[1]。滚动轴承的状态检测与故障诊断技术历经多年的迭代更新发展,主要的技术手段包括振动信号、温度信号、声发射信号、电磁信号、超声信号、油样分析等[2],其中振动信号发展应用相对广泛。伴随着科学技术的不断发展以及新兴技术的创新融合,滚动轴承状态监测与故障诊断技术逐渐体现出自动化、智能化特点。

    红外热成像技术可以根据物体对外辐射强度进行具体成像,所得热图像不仅包括物体轮廓而且对于物体表面温度场分布可以进行直观表征[3]。当滚动轴承发生故障时,空间温度场分布也发生相应改变[4];因此,基于温度的轴承监测技术已被广泛应用,同样地通过轴承红外热图像变化也可以进行轴承状态判别[5]。近年来,国内外利用红外热成像技术进行滚动轴承状态判别的研究逐渐增多,该技术方法将轴承状态判别转换到了一个全新的视角,利用热图像特征丰富结合快速发展的图像处理技术实现轴承诊断监测,可以实现远距离、无损伤、高精度、智能化等优点,已逐渐发展成为轴承状态判别领域新的研究方向。

    本文首先对红外热成像技术基本原理进行介绍;然后,对国内外利用红外热成像进行滚动轴承状态监测与故障诊断的研究工作进行总结论述,最后对红外热成像滚动轴承状态检测与故障诊断研究趋势进行总结展望。

    物体表面温度超过绝对零度时,会向外界辐射电磁波,自然界中一切的物体都可以向外界进行红外辐射。根据温度的不同,电磁波的辐射强度与波长分布特性也存在差异[6]。电磁波按波长进行划分可分为不可见光线和可见光线,可见光线波长区间为0.4~0.76 μm,其余波长区间为不可见光线。物体所散发的红外辐射属于不可见光线中的0.76~1000 μm波段;按波长进行划分可分为0.76~3 μm的近红外、3~6 μm的中间红外、6~1000 μm的远红外[7]

    光谱图如图 1所示,大部份红外热像仪主要针对3~5 μm以及8~14 μm这两个波段进行检测[8],通过光学系统将采集光线进行过滤实现红外辐射聚焦,红外探测器将光学信号转化为电信号,然后生成对应的红外图像。红外探测器探测目标本身和背景之间的红外辐射插值计算并显示物体的表面温度分布[9]。此外,虽然红外辐射穿透传播能力较差,但是远红外传播时相对于近、中红外损失较少,更适合全天候、远距离传播[7]。红外热成像检测是以测量物体表面的红外线辐射能量为主;常见的红外热像仪包括制冷型和非制冷型[10]。制冷型响应速度快,探测距离远、测量精度高,价格相对较高,主要应用于军事领域。非制冷型红外热像仪随着红外焦平面探测器技术的发展进步,其检测速度和精度有了一定程度提升,在民用领域得到广泛应用[11]

    图  1  光谱图
    Figure  1.  Spectrogram

    对高速旋转轴承的性能和使用寿命进行评价时,温度被认为是最重要的影响参数[12-13]。为了研发出使用寿命长、工作性能稳定的轴承,研究工作者进行了轴承不同工况下的温度场分布研究,其中红外测温仪由于操作简单、快速便捷、可以大面积温度场监测被广泛使用[14]。进行测量时,对被测物体进行拍照,通过热图像灰度值对比可以确定图像中每个单一像素区域的温度值,进而可以实现多点的实时整体测温。

    侯新玉指出目前轴承温度测量采用多类型温度传感器,但是仅局限于单点测温,利用红外热成像可以实现轴承无接触的快速测温[15]。李艳超等人针对航空发动机轴承试验时轴承温度场分布这一最为重要的监视参数,将设计的红外测温系统测量温度与热电偶测量温度进行对比[12],结果表明红外测温系统测量误差可以满足相关技术要求,且能够推广应用于其它轴承温度测量。铁路领域中红外测温应用较为广泛且发展成熟的是红外轴温探测系统,通过红外探头在列车经过时对轴箱局部进行扫描,通过采集的温度信号判断轴箱轴承工作状态[16]。李彬彬等人在高速旋转轴承温度测量技术综述中指出轴承红外辐射测温法虽然能够实现非接触式温度动态特性监测,但是也容易受到背景以及环境中的红外辐射影响,导致温度测量结果与实际温度存在一定偏差,需要进行相应的结果补偿与修正[17]图 2为B6204型深沟球轴承运行速度为1000 rpm时,处于正常、润滑油不足、滚道表面脱落3种情况下的红外热图像[14]

    图  2  滚动轴承红外热图像
    Figure  2.  Rolling bearing infrared thermal images

    滚动轴承隶属于旋转机械[18],因此滚动轴承红外热成像故障诊断与状态监测可以划分为旋转机械红外智能状态监测与故障诊断。旋转机械红外智能状态监测与故障诊断技术流程主要包括:图像采集、图像预处理增强、图像特征参数提取、故障特征分类[19-20]。通过红外热像仪采集滚动轴承原始热图像之后需进行预处理增强,使得图像信噪比降低,故障特征更加明显。预处理增强后的图像包含了滚动轴承的状态特征,提取更具代表性的图像特征参数可以训练得到性能参数更佳的分类器,实现更高的分类诊断精度。对应不同的图像特征,对其进行准确分类,即可判断出滚动轴承当前的工作状态。图 3即为一个完整的利用红外热成像进行滚动轴承状态判别的技术流程图[21]。首先红外热像仪采集滚动轴承红外热图像并制作图像数据集,之后采用二维离散小波变换(2-dimensional discrete wavelet transform, 2D-DWT)进行预处理增强,其次进行特征提取降维,最后对其进行故障分类及结果验证。

    图  3  滚动轴承红外热成像状态判别
    Figure  3.  Rolling bearing infrared thermal imaging status discrimination

    1)图像采集与预处理增强

    在实际工程应用中所得热图像视场中不仅包括轴承,而且包括电机、齿轮、轴承支架等其他多种目标,如果需要对多个单一目标进行状态判别,则需要对图像进行裁剪、切割才能进行后续处理[22]。王洋等人对于这一问题提出了较好方案,利用深度学习目标检测算法,通过训练的模型可以对红外热图像视野中的多类别目标进行识别分类、定位裁剪[18],将红外热图像中的滚动轴承快速自动识别裁剪,可以为后续滚动轴承红外智能状态监测与故障诊断提供了较大便利。孙富成、Van Tung Tran等利用二维经验模态分解(bi-dimensional empirical mode decomposition, BEMD)将轴承红外热图像分解成本征模式函数(intrinsic mode function, IMF),利用主成分分析法(principal component analysis, PCA)进行降维后再进行图像融合[22-23],从而实现图像预处理增强。杨二斌等人将列车转向架可见光图像与红外热图像通过仿射变换的方法进行融合后用于后期的轴箱轴承故障诊断与模型训练[24]。Deila-msalehy H.等人由于直接采用霍夫变换(Hough transform, HF)检测红外热图像中椭圆计算速度缓慢,于是先采用Canny边缘检测器检测出图像边缘,然后再采用HF从而加快图像中车轮椭圆区域、轴箱轴承区域检测[25]。Anurag Choudhary等人利用二维离散小波变换对轴承热图像进行分解,然后选择所需的小波系数作为特征提取阶段的输入;文献[5, 20-21, 26-28]中也采用二维离散小波变换在图像预处理阶段进行滚动轴承红外热图像预处理增强。

    2)图像特征参数提取

    图像特征包括直方图、颜色、纹理等多种参数[29]。图像处理技术中,卷积神经网络(convolutional neural network, CNN)受到了工程师的广泛赞誉,其主要原因是CNN具有强大的自动特征提取能力,在滚动轴承红外热成像故障诊断中能实现较好效果[5, 30]。直方图能够较好表征图像信息和特点,因此被广泛应用,Deila-msalehy H.等人在判断热图像中车轮和轴箱轴承状态时提取了图像的方向梯度直方图特征(histogram of oriented gradient, HOG特征)[25]。Lixiang Duan等人针对旋转机械红外图像信息不明显、噪声强问题,采用离散度区域选择准则,提出了一种新的图像分割方法来增强红外图像分析中的特征提取[31]。红外热成像(infrared thermography, IRT)和传统的振动信号对旋转机械进行故障诊断的精度相比较而言,IRT最初对旋转机械的诊断精度不能超过振动信号。对于这一现象,ZHEN JIA等人指出旋转机械的红外智能诊断精度高度依赖于红外热图像特征选择,传统模式识别在特征选取阶段人为设定了需要提取的特征,特征选择不当往往导致不能达到较高的诊断精度[32],因此他们采用视觉词袋(bag-of-visual word, BoVW)和CNN这两种流行的图像特征提取方法提取特征后利用支持向量机(support vector machines, SVM)进行分类,结果中IRT诊断精度高于传统的振动信号方法。Yongbo Li等人后续利用BoVW从IRT图像中提取故障特征采用SVM进行分类,也实现了较好效果[33]。Tauheed Mian等人在轴承双重及多重故障条件下,将振动信号和非侵入式红外热成像的轴承故障诊断精度进行了比较,振动信号在双重和多重故障条件下都实现了足够的准确性,范围为99.39%~99.97%,非侵入式红外热成像利用CNN进行自动特征提取分类,分类准确性达到了100%效果[5]。对图像进行特征提取后,往往会获得维数较高的特征矢量,如果将较高维数的特征矢量输入映射分类函数,往往会引发分类函数的过度拟合;同时特征矢量各个维度之间存在较高的相关性;在尽可能减少信息损失的前提下,对数据进行降维,不仅可以保证分类精度而且可以加快分类速度;常见的降维方法有PCA,又称K-L变化、遗传算法以及线性判别分析(linear discriminant analysis, LDA)等也可用于数据降维[21, 27-28, 32]

    3)故障特征分类

    对于滚动轴承红外热图像的故障特征分类,与利用普通图像进行识别预测的特征分类方法并无较大差异。在分类问题中机器学习备受青睐,经由最初的浅层学习到如今迅速发展的深度学习,机器学习逐渐在滚动轴承红外热成像故障诊断与状态监测中发挥越来越重要的作用。在有监督学习中,二分类广义线性分类器支持向量机被广泛应用于滚动轴承红外热图像故障特征分类[20-21, 25-26, 28, 32-33]。此外,朴素贝叶斯分类器(Naive Bayes)、k近邻分类算法(k-nearest neighbor, KNN)、线性判别分析、复杂决策树(complex decision tree, CDT)在红外热成像滚动轴承故障特征分类中也有所应用[20, 32]。非监督学习中聚类分析的典型代表k-means算法在红外热成像轴承特征分类中也能实现较好分类效果[22]。Anurag Choudhary等人采用马氏距离(Mahalanobis distance, MD)准则得到最优特征集后,将特征分别传递给复杂决策树、线性判别分析和支持向量机进行故障分类和性能评价[21],结果表明,SVM优于CDT和LDA。Ankush Mehta等人利用二维离散小波变换对轴承红外热图像分解融合且利用主成分分析降维后,采用支持向量机、线性判别分析和KNN作为分类器进行故障分类和性能评价[28];结果表明,SVM优于LDA和KNN。CNN是具有深度结构的前馈神经网络,是深度学习的代表算法之一,按照生物的视觉机制进行构建,可以进行监督学习和非监督学习;Kunal Sharma等人对滚动轴承在内圈、外圈、以及滚动体故障下的红外热图像进行特征提取后,利用支持向量机SVM和使用AlexNet架构的卷积神经网络进行分类性能对比,结果证明卷积神经网络分类性能更佳[5, 34]

    针对滚动轴承红外热成像故障诊断与状态监测相关文献进行调研,对该技术方法中图像采集与预处理增强、图像特征参数提取与分类各个环节所采用方法进行对比分析,可以发现:相较于传统图像裁剪切割以及滤波降噪等预处理增强方法而言,基于深度学习的目标检测方法对图像要求较低,通过卷积计算可以快速、准确地发现图像视野中的滚动轴承及其他类别物体,甚至可以直接判断出红外热图像中的滚动轴承状态,具有较大的发展前景和优势,但是存在的问题是分类性能良好的检测模型获取需要大量不同类型的图像样本数据进行训练。通过可见光图像与红外图像进行融合可以极大弥补滚动轴承红外热图像边界轮廓模糊的先天缺陷,可以得到高质量红外热图像,但是两种图像的有效融合方法也是需要积极探索的关键问题。而霍夫变换、二维经验模态分解、二维离散小波变换等图像处理方法,图像诊断步骤相对复杂,需要占用较多计算资源,且对于大尺寸图像效率不高、兼容适应性不强。图像特征参数提取时,数据量较大且相关性较高的高维特征参数往往会导致计算缓慢且产生分类模型过度拟合,需要对其进行适当降维并选择具有代表性的典型特征进行后续分类,特征参数是否有效选取一定程度上作为关键因素限制了后续的最终分类诊断精度。卷积神经网络具有强大的图像特征提取能力,通过多次上、下采样,以及特征空间金字塔的植入,可以对图像特征进行全面、有效的提取,实现较高的分类精度。方向梯度直方图(HOG特征)对于大尺寸图像而言,特征数据会呈现指数级增长,需占用较多计算存储资源,且HOG特征对于图像轮廓边缘敏感,对于图像小范围的灰度亮暗变化不能很好适应。在进行滚动轴承故障特征分类时,支持向量机、线性判别分析、k近邻分类算法等方法,分类诊断精度受限于上一阶段图像特征是否有效提取;但是卷积神经网络就图像特征提取、识别分类体现出巨大优势,通过特征池化连接至全连接层,以及网络结构的不断优化改进,可以实现较好分类效果,具有广阔的应用发展前景。K-means算法作为无监督学习聚类分析中的典型代表,在进行滚动轴承状态判别时,不同的K类别划分将会达到不同的诊断精度,寻求最优K值将会实现相对较好的分类效果。视觉词袋法通过提取图像特征后结合聚类分析建立训练集、测试集词袋,提取特征向量后对分类模型进行训练、验证,可以实现较高的分类诊断精度,并且相较于有监督学习避免了对大量图像进行耗时的标签标记工作。

    利用红外热成像对滚动轴承进行故障诊断与状态监测的技术方法,相较于传统的振动信号、温度信号等,红外热图像的诊断方法结合了红外热成像技术以及图像处理技术,将滚动轴承的状态判别转换到了相对新颖的技术视角。具有远距离。无接触、高效便捷、泛化适应性强的技术优势。初始时期,利用红外热成像技术进行滚动轴承故障诊断的诊断精度低于应用广泛的振动信号,伴随着CNN、2D-DWT、BEMD以及视觉词袋等多种图像处理技术在图像预处理增强、图像特征提取、分类环节的应用,利用红外热成像进行滚动轴承故障诊断的诊断精度已经高于振动信号。与此同时伴随着红外热像仪分辨率的不断提高、响应速度逐渐加快,高质量的红外热图像将为后续的状态监测、故障特征分类带来便利,进而实现更高的诊断精度。此外,红外热图像的高噪声特点为滚动轴承红外热图像诊断带来了困扰,对其进行有效地滤波降噪,才能使图像特征更加明显。红外测量的滚动轴承温度与实际温度存在的测量误差也不可忽视,需要对其进行必要的补偿校正。伴随着人工智能、图像处理技术的快速发展,机器学习、深度学习正在红外热成像滚动轴故障诊断与状态监测中发挥重要作用,将能够实现更高精度的、更加智能的滚动轴承状态判别。

  • 图  1   光锥耦合ICCD/ICMOS成像系统中的莫尔条纹以及干涉条纹

    Figure  1.   Moire fringes and interference fringes in ICCD/ICMOS fiber optic taper coupling imaging systems

    图  2   像增强器与CCD/CMOS耦合方式示意图

    Figure  2.   Schematic diagram of coupling mode between image intensifier and CCD/CMOS

    图  3   CMOS的激光开窗

    Figure  3.   CMOS laser windowing

    图  4   像增强器荧光屏微观图

    Figure  4.   Microscopic view of image intensifier screen

    图  5   像增强器实物图与打磨过程图

    Figure  5.   Photo and polishing process diagram of image intensifier

    图  6   直耦器件实物图

    Figure  6.   Photo of direct coupled device

    图  7   镜头卡口截圈示意图

    Figure  7.   Schematic diagram of lens mount

    图  8   微光夜视相机整机图

    Figure  8.   Photo of low light night vision camera

    图  9   微光夜视器件的分辨力测试图像

    Figure  9.   Resolution test image of LLL night vision device

    图  10   整机分辨力测试图像

    Figure  10.   Resolution test image of whole device

    图  11   全画幅与半画幅拍摄画面对比

    Figure  11.   Full frame and half frame photo contrast

    表  1   耦合器件的主要参数

    Table  1   The main parameters of the coupler

    Main parameters of CMOS
    Chip size Silent frame
    (35.6 mm×23.8 mm)
    Effective pixels 24 million
    Video-capture 4K/60P, 50P
    Main parameters of image intensifier
    Screen diameter 40 mm
    Radiation sensitivity(2856K) 790 mA/W
    Signal noise ratio 23
    Central resolution 60 lp/mm
    Luminance gain 9782 cd/m2/lx
    Maximum output brightness 6.4 cd/m2
    Equivalent background brightness 1.4×10-9 lx
    下载: 导出CSV
  • [1] 白廷柱. 光电成像技术与系统[M]. 北京: 电子工业出版社, 2016.

    BAI Tingzhu. Photoelectric Imaging Technology and System[M]. Beijing: Electronic Industry Press, 2016.

    [2]

    PROXITRONIC Detector Systems GmbH. Image- intensifier- general- information[EB/OL][2011-07-21]. www.proxitronic.de.

    [3] 金伟其, 陶禹, 石峰, 等. 微光视频器件及其技术的进展[J]. 红外与激光工程, 2015, 44(11): 3167-3176. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201511001.htm

    JIN Weiqi, TAO Yu, SHI Feng, et al. Progress of low-light video device and its technology[J]. Infrared and Laser Engineering, 2015, 44(11): 3167-3176. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201511001.htm

    [4] 王红球. 用于生物探测的制冷型ICCD系统[D]. 北京: 清华大学, 2007.

    WANG Hongqiu. Refrigerated ICCD System for Biological Detection[D]. Beijing: Tsinghua University, 2007.

    [5] 闫晓梅, 王志社. 基于光锥耦合的X射线像增强器[J]. 光学学报, 2010(5): 1478-1482. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201005051.htm

    YAN Xiaomei, WANG Zhishe. X-ray image intensifier based on optical cone coupling[J]. Acta Opticasinica, 2010(5): 1478-1482. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201005051.htm

    [6] 崔志刚. ICCD光锥耦合技术研究及性能分析[D]. 北京: 北京理工大学, 2008.

    CUI Zhigang. Research and Performance Analysis of Optical Cone Coupling Technology of ICCD[D]. Beijing: Beijing Institute of Technology, 2008.

    [7]

    PROXITRONIC Detector Systems GmbH. Intensified CCDs with Direct Fiber Optical Coupling[EB/OL][2011-07-21]. www.proxitronic.de.

    [8] 朱广亮. ICCD系统耦合工艺研究与结构设计[D]. 北京: 北京理工大学, 2016.

    ZHU Guangliang. Research and Structure Design of ICCD System Coupling Process[D]. Beijing: Beijing Institute of Technology, 2016.

    [9] 张宇. ICCD/ICMOS莫尔效应及其影响研究[D]. 北京: 北京理工大学, 2018.

    ZHANG Yu. Study on ICCD/ICMOS Mohr Effect and its Influence[D]. Beijing: Beijing Institute of Technology, 2018.

    [10] 俞斯乐, 郭福云, 李桂苓, 等. 电视原理[M]. 北京: 国防工业出版社, 1984.

    YU Sile, GUO Fuyun, LI Guiling, et al. Television Principles[M]. Beijing: National Defense Industry Press, 1984.

图(11)  /  表(1)
计量
  • 文章访问数:  511
  • HTML全文浏览量:  181
  • PDF下载量:  117
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-09-13
  • 修回日期:  2020-10-24
  • 刊出日期:  2021-06-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日