Terahertz Imaging of Caries Wavelet Gradient Domain Reconstruction Fusion
-
摘要: 龋病是发病率最高的口腔疾病，也是全世界最流行的疾病之一。太赫兹光谱成像技术因具有宽频带光谱分析能力强、空间分辨率高、电离辐射低等优势，有望成为龋病诊断的新技术手段。本文以含牙本质龋的牙齿切片为研究对象，进行反射式太赫兹光谱扫描，以频域幅值为参数对样品的光谱数据做二维重构成像，获得多幅不同频率下的龋齿太赫兹光谱图像。为了解决单一参数所得的龋齿太赫兹图像动态范围小、对比度低，边缘和细节位置模糊不清的问题，采用小波梯度域重建的融合方法，将多幅图像中梯度幅值较大的部分集中于一幅图像上，得到了一幅细节特征更加清晰完整的新图像。实验结果表明，融合后的图像相较于融合前的图像在信息熵、平均梯度以及对比度上均有所提高，不同组织之间的区分效果更加显著。Abstract: Caries is one of the most prevalent oral diseases worldwide. Terahertz spectral imaging technology has the advantages of strong broadband spectral analysis ability, high spatial resolution, and low ionizing radiation and is expected to be a new technical means for caries diagnosis. In this study, tooth slices containing dentin caries were used as the research object, and reflective terahertz spectral scanning was performed. The spectral data of the samples were reconstructed using two-dimensional imaging with the frequency-domain amplitude as the parameter, and several terahertz spectral images of caries were obtained at different frequencies. To solve the problems of small dynamic range, low contrast, and ambiguous edges, the detailed position of the terahertz image was obtained using a single parameter. Using the fusion method of wavelet gradient domain reconstruction, the larger gradient amplitudes of several images are concentrated in one image, and a new image with clearer and more complete detailed features is obtained. The experimental results show that the information entropy, average gradient, and contrast of the fused images are improved compared with those of the pre-fused images, and the discrimination effect between different tissues is more significant.
-
Keywords:
- caries detection /
- terahertz image /
- gradient domain reconstruction /
- image fusion
-
0. 引言
龋病是发病率最高的口腔疾病，多发生在牙釉质和牙本质上，是正常硬组织被酸蚀脱矿后形成的。现阶段常用的龋齿检测方法多是根据探针触碰的手感判断[1-2]，或是使用X线片检测。然而探针触碰诊断法可能会产生一定的人为误差，X线片不易检测到还没有形成龋洞的龋损[3]，并且存在较大的电离辐射，对人体有害。因此急需探索一种安全、灵敏度高的检测方法应用于龋齿诊断。
太赫兹光谱成像技术因电离辐射小，检测灵敏度高等优势，使其在医学诊断领域具有广阔的应用前景[4-6]。尤其在口腔龋齿诊断方面，由于牙体硬组织的含水量较少，一定程度上可以消除水对THz波的吸收影响，使得该技术能更加方便地应用于龋齿检测。研究表明，利用太赫兹成像技术能够有效区分牙齿不同硬组织及龋损[7-9]，但是所成图像普遍存在动态范围小、对比度低、边缘模糊、分辨率较差等问题，难以达到医学诊断的标准，利用合适的处理算法提高牙齿太赫兹图像质量的相关研究也鲜有报道。
图像的梯度能够反映图像的边缘，纹理等显著变化的信息。借助梯度域的融合处理能将不同图像中的特征信息有效整合在一起，改善人眼视觉效果，在提高图像细节分辨率的同时，还能保证图像有一个较大的动态范围，是近年来图像融合技术研究的热点[10-13]。
本文以含牙本质龋的牙齿为主要研究对象，采用基于太赫兹时域光谱技术的反射式扫描成像方法，对含有牙本质龋齿的切片样品进行了成像检测，并采用基于小波梯度域重建的融合方法，将不同频率参数所成的图像上细节清晰的区域融合在一起，从而获得一幅动态范围大、边缘细节清晰，牙釉质、牙本质和本质龋区分更明显的龋齿太赫兹图像。
1. 样品及实验系统介绍
本实验选取经过人工生物龋化处理后含有牙本质龋的牙齿样品，用慢速切割机和水砂纸将其打磨成厚度约为0.5 mm的薄片并放入4℃生理盐水中保存。图 1的(a)、(b)、(c)所示为切片样品的光学照片，牙齿上边较为透明的部分为牙釉质，中间呈乳白色部分为牙本质，下边外侧呈透明状的部分为牙骨质，牙本质龋主要分布在牙本质上，呈棕黑色状，如图中箭头位置所示。其中，01、02、03号样品大小依次约为15 mm×12 mm，13 mm×11 mm，15 mm×13 mm，牙本质龋面积依次约为3 mm×3mm，2 mm×6 mm，2 mm×5 mm。实验前，将牙齿样品取出于室温下自然干燥2 h后，再于干燥环境下进行扫描成像实验。
使用德国Menlo Systems公司生产的太赫兹时域光谱系统TeraSmart，搭配二维平移台构成反射式扫描成像系统，其原理示意图如图 2所示。
![]()
图 2 反射式太赫兹时域光谱成像系统原理示意图Figure 2. Schematic diagram of the THz TDS system in the reflection mode系统的快速扫描范围设置为60 ps，时间分辨率为0.1 ps。在实验过程中，样品被平整地固定在一块光滑平整的金属片上，并将金属片固定在二维平移台的载物支架上。设置平移台的X和Y方向上扫描步径为0.1 mm。样品每移动一个点位，即可获得一个采样点的太赫兹时域信号。
2. 龋齿的太赫兹光谱成像
图 3显示了样品牙釉质、牙本质和牙本质龋表面的平均太赫兹时域波形及其频谱。由图可以看出，牙本质龋与牙釉质和牙本质之间存在较为明显的区分。在时域波形中，牙釉质和牙本质的信号近似，难以区分。在频谱信号中，三者信号强度在0.6 THz~1.4 THz范围内存在一定的区分度。因此我们将扫描的原始数据进行傅里叶变换，以频域信号强度作为参数重构龋齿样品的太赫兹光谱图像。
![]()
图 3 牙本质、牙本质龋、牙釉质表面的平均太赫兹时域波形（左）及频谱（右）Figure 3. Mean terahertz time domain waveform(left) and spectrum(right) of surfaces of dentin, caries and enamel低频率的太赫兹波由于波长大，图像的分辨率会受到限制，图像较为模糊，而高频率的太赫兹波所成的太赫兹图像会有更高的空间分辨率，因此在选取成像频率时，我们选取较高的频率所对应的信号强度重构图像。样品成像结果如图 4(a)~(i)所示。太赫兹图像中样品不同区域之间的对比度是由入射太赫兹光束以不同比例吸收造成的，其中高吸收区域呈现深色。图中，牙本质龋的底层轮廓部分呈现出比周围更深的颜色，中上部分颜色较浅，是因为牙本质龋底层因矿物质沉积，导致密度变大，对太赫兹吸收更高。在部分图像上，牙釉质（较浅）和牙本质（较深）也有一定的区分度。这些组织在太赫兹图像上的存在的位置与可见光照片显示的位置相似。
![]()
图 4 01~03号样品反射式太赫兹光谱成像结果Figure 4. Reflection terahertz spectral images of sample No.01-03然而通过频谱重构的太赫兹图像整体动态范围较小，且不同频率参数所得的图像存在局部模糊不清的问题。例如01号样品的0.996 THz成像在左上角的牙釉质与牙本质边界区分不够明显；1.244 THz成像的右侧部分牙本质区域与牙釉质的边界区分不明显；1.311 THz成像牙釉质、牙本质以及牙本质龋的区分度较好，但在右侧牙齿边界处存在明显的伪影。02号样品的0.995 THz成像中，牙釉质和牙本质的边界较为明显，但在牙本质龋的上边缘存在伪影；1.147 THz成像的左侧边界模糊不清；1.375 THz成像右侧牙釉质边缘存在伪影。03号样品0.964THz成像左上角牙釉质处模糊不清；1.030 THz成像牙釉质和牙本质区分较为明显，中间牙釉质和本质龋上边界区域较为模糊；1.344 THz成像轮廓细节清晰，但牙釉质和牙本质区分不明显。
3. 小波梯度域重建的图像融合方法
图像中模糊不清的区域梯度值一般比较小，而区分度高、细节信息丰富的区域梯度值一般较大。因此，可将不同图像中梯度幅值较大的区域融合在一起，从而获得一幅动态范围大、边缘细节清晰，牙釉质、牙本质和牙本质龋区分度较好的龋齿太赫兹图像。本文首次将基于小波梯度域重建的融合方法运用到太赫兹图像的优化处理中。以3幅待融合的太赫兹图像为例阐述该图像融合方法，其算法流程框图如图 5所示，具体过程如下[10-13]：
![]()
图 5 Haar小波梯度域重建融合算法流程Figure 5. Flow chart of Haar wavelet gradient domain reconstruction fusion algorithm1）对输入的3幅待融合图像进行X与Y方向上的梯度计算，获得图像上每个像素点位置的梯度幅值。图像梯度可表示为：
$$ {\mathit{\Phi}} _n^x\left( {x, y} \right) = {I_n}\left( {x + 1, y} \right) - {I_n}\left( {x, y} \right) $$ (1) $$ {\mathit{\Phi}} _n^y\left( {x, y} \right) = {I_n}\left( {x, y + 1} \right) - {I_n}\left( {x, y} \right) $$ (2) 式中：Φnx和Φny分别代表X方向和Y方向的梯度，梯度幅值大小则可定义为：
$$ {H_n}\left( {x, y} \right) = \sqrt {{\mathit{\Phi}} _n^x{{\left( {x, y} \right)}^2} + {\mathit{\Phi}} _n^y{{\left( {x, y} \right)}^2}} $$ (3) 选取3幅图像中同一点(x, y)处梯度幅值的最大值作为融合后图像的梯度幅值，同时得到融合后图像每一点处的融合梯度分量，进而获得图像在X和Y方向的梯度融合图像。此时图像的融合梯度可表示为：
$$ \mathit{\boldsymbol{ \boldsymbol{\varPhi} }}＝[{\mathit{\Phi}}_{ }^{x}, {\mathit{\Phi}}_{ }^{y}]^{{\rm{T}}}$$ (4) 2）在获得X和Y方向的梯度融合图像后，为了真实还原图像的细节，需要从梯度域上进行重建。采用Haar小波，先对融合后的X方向和Y方向梯度数据进行逐级分解，获得各级Haar小波分解系数，然后对这些系数进行重建。
融合梯度Φ和最终融合图像I的关系可表示为：
$$ \mathit{\boldsymbol{\nabla}}I＝\mathit{\boldsymbol{ \boldsymbol{\varPhi} }}$$ (5) 式中：$ \mathit{\boldsymbol{\nabla}} {\text{ = }}{\left[ {{{\text{d}} \mathord{\left/ {\vphantom {{\text{d}} {{\rm{d}}x}}} \right. } {{\rm{d}}x}}, {{\rm{d}} / {{\rm{d}}y}}} \right]^{\rm{T}}} $。由于X方向和Y方向融合梯度Φx和Φy是由3幅图像经过组合处理所得，不满足保守向量场的条件，所以可将其转化为求解泊松方程，即：
$$ \mathit{\boldsymbol{\nabla}}_{ }^{2}I＝\mathit{\boldsymbol{\nabla}}_{ }^{{\rm{T}}}\mathit{\boldsymbol{ \boldsymbol{\varPhi} }}$$ (6) 在重建时使用Sevcenco[11]等人提出的迭代泊松方程求解器，从而消除梯度受损带来的影响。迭代泊松方程求解器公式为：
$$ \begin{array}{l} I\left( {k + 1} \right) = I\left( k \right) - 0.25 \times \hfill \\ \left( {\left[ {\begin{array}{*{20}{c}} { - 1}&0&{ - 1} \\ 0&4&0 \\ { - 1}&0&{ - 1} \end{array}} \right] \otimes I\left( k \right)} \right.\left. { + \left[ {\begin{array}{*{20}{c}} 1&{ - 1} \\ 1&{ - 1} \end{array}} \right] \otimes {{\mathit{\Phi}} ^x}\left( k \right){\text{ + }}\left[ {\begin{array}{*{20}{c}} 1&1 \\ { - 1}&{ - 1} \end{array}} \right] \otimes {{\mathit{\Phi}} ^y}\left( k \right)} \right) \hfill \\ \end{array} $$ (7) 式中：k为迭代次数；⊗表示二维卷积。
3）采用类似Gamma校正的非线性映射将重建的图像强度校正在标准范围内，输出最终融合后的图像。重建后的图像会存在一些像素点的强度超出标准范围的情况，这是因为融合梯度是通过合并多幅图像的梯度得到的，相邻梯度值之间差异较大，导致重建图像具有高动态范围。映射公式为：
$$ I\left( {i, j} \right) = {\left( {\frac{{I\left( {i, j} \right) - {{\min }_{i, j}}I\left( {i, j} \right)}}{{{{\max }_{i, j}}I\left( {i, j} \right) - {{\min }_{i, j}}I\left( {i, j} \right)}}} \right)^\gamma } \times {R_C} + L $$ (8) 式中：γ＝ln(RC)/ln(RI)，RI表示经过小波梯度域重建所得图像的强度动态范围。RC表示重建图像灰度的最大值和最小值的差值，选取H＝255，L＝0，则RC＝255。
4. 结果与讨论
经小波梯度域重建融合算法处理后，结果如图 6(a)~(c)所示。从融合图像上可以看出，图像整体动态范围获得明显提升，牙釉质、牙本质以及牙本质龋之间的区分效果更加显著，尤其是颜色较深的龋齿区域（如图 6红色箭头位置所示）与周围组织间的对比度更高，检测效果更好。图像中边缘以及较为模糊的细节位置也都得到改善，变得更加清晰，伪影得到明显消除。
为了验证小波梯度域重建融合算法的客观效果，采用图像信息熵、平均梯度以及对比度作为图像质量的评价指标[14-15]。信息熵（information entropy, IE）反映了一幅图像里信息量的多少。平均梯度（average gradient, AG）能够反映图像的清晰程度，同时还能反映出图像中微小细节和纹理特征。对比度（contrast, CON）和图像的动态范围有很大关系，反映了图像由黑到白的渐变层次。
表 1给出了3个样品的太赫兹图像融合前后的各项评价指标。从对比结果可以看出，样品融合后图像的3项评价指标计算值都大于融合前图像的计算值。其中，IE值的提高，说明融合后图像上样品的缺失信息得到了补充，信息含量更加丰富。AG值的提高说明了融合后图像的边缘纹理更加清晰，样品整体轮廓以及各组织之间的区分度更加明显。CON值的提高说明了融合后图像的动态范围得到明显提升，更有层次感，视觉效果更好。
表 1 龋齿样品的融合前后太赫兹图像评价指标对比Table 1. Terahertz image evaluation index comparison of caries samples before and after fusionSample Image IE AG CON 01 0.996THz 6.1947 0.0136 12.3335 1.244THz 6.5509 0.0215 27.3449 1.311THz 6.2496 0.0178 21.4012 Fusion image 7.0893 0.0266 35.4942 02 0.995THz 6.9376 0.0223 31.0891 1.147THz 7.1184 0.0249 36.5763 1.375THz 6.7764 0.0264 41.5308 Fusion image 7.4126 0.0319 50.7427 03 0.964THz 7.1886 0.0232 29.7532 1.030THz 7.1353 0.0206 24.6868 1.344THz 7.0889 0.0280 42.8916 Fusion image 7.6641 0.0399 73.7251 5. 结语
本文采用基于太赫兹时域光谱技术的反射式扫描成像方法，对含有牙本质龋齿的切片样品进行了光谱成像检测，并首次将基于小波梯度域重建的图像融合方法运用在太赫兹图像的后期处理中，将多幅图像上梯度幅值较大的区域融合在一幅图上，使得融合后图像的信息熵、平均梯度以及对比度得到了明显提升，解决了单一频率下的龋齿太赫兹图像动态范围小、对比度差，边缘细节模糊不清，牙釉质、牙本质的区分度不明显等问题，提高了龋齿太赫兹图像质量。本文的研究结果也为太赫兹医学图像的优化处理提供了一种新的思路。
-
![]()
图 2 反射式太赫兹时域光谱成像系统原理示意图
Figure 2. Schematic diagram of the THz TDS system in the reflection mode
![]()
图 3 牙本质、牙本质龋、牙釉质表面的平均太赫兹时域波形（左）及频谱（右）
Figure 3. Mean terahertz time domain waveform(left) and spectrum(right) of surfaces of dentin, caries and enamel
![]()
图 4 01~03号样品反射式太赫兹光谱成像结果
Figure 4. Reflection terahertz spectral images of sample No.01-03
![]()
图 5 Haar小波梯度域重建融合算法流程
Figure 5. Flow chart of Haar wavelet gradient domain reconstruction fusion algorithm
表 1 龋齿样品的融合前后太赫兹图像评价指标对比
Table 1 Terahertz image evaluation index comparison of caries samples before and after fusion
Sample Image IE AG CON 01 0.996THz 6.1947 0.0136 12.3335 1.244THz 6.5509 0.0215 27.3449 1.311THz 6.2496 0.0178 21.4012 Fusion image 7.0893 0.0266 35.4942 02 0.995THz 6.9376 0.0223 31.0891 1.147THz 7.1184 0.0249 36.5763 1.375THz 6.7764 0.0264 41.5308 Fusion image 7.4126 0.0319 50.7427 03 0.964THz 7.1886 0.0232 29.7532 1.030THz 7.1353 0.0206 24.6868 1.344THz 7.0889 0.0280 42.8916 Fusion image 7.6641 0.0399 73.7251 
下载: 导出CSV
-
[1] 陈智, 卢展民, Falk Schwendicke, 等. 龋损管理: 龋坏组织去除的专家共识[J]. 中华口腔医学杂志, 2016, 51(12): 712-716. DOI: 10.3760/cma.j.issn.1002-0098.2016.12.003 CHEN Z, LU Z M, Falk S, et al. Managing carious lesions: consensus recommendations on carious tissue removal[J]. Chinese Journal of Stomatology, 2016, 51(12): 712-716. DOI: 10.3760/cma.j.issn.1002-0098.2016.12.003
[2] Maeng Youjin, Lee Hyungsuk, Lee Eunsong, et al. Noninvasive detection of microleakage in all-ceramic crowns using quantitative light-induced fluorescence technology[J]. Photodiagnosis and Photodynamic Therapy, 2020, 30: 101672. DOI: 10.1016/j.pdpdt.2020.101672
[3] Brouwer F, Askar H, Paris S, et al. Detecting secondary caries lesions: a systematic review and meta-analysis[J]. J. Dent Res. , 2016, 95(2): 143-151. DOI: 10.1177/0022034515611041
[4] FAN Shuting, HE Yuezhi, Benjamin S Ung, et al. The growth of biomedical terahertz research[J]. Journal of Physics D: Applied Physics, 2014, 47(37): 374009. DOI: 10.1088/0022-3727/47/37/374009
[5] 张卫方, 杜潮海, 刘濮鲲. 太赫兹技术在医学成像方面的应用和进展[J]. 标记免疫分析与临床, 2019, 26(9): 1603-1608. https://www.cnki.com.cn/Article/CJFDTOTAL-BJMY201909036.htm ZHANG W F, DU C H, LIU P K. The applications and developments of teraherz radiation in medical imaging[J]. Labeled Immunoassays and Clinical Medicine, 2019, 26(9): 1603-1608. https://www.cnki.com.cn/Article/CJFDTOTAL-BJMY201909036.htm
[6] 严芷瑶, 黄婉霞, 黄青青, 等. 太赫兹医学成像研究进展[J]. 光电工程, 2020, 47(5): 79-89. YAN Zhiyao, HUANG Wanxia, HUANG Qingqing, et al. Research progress of terahertz medical imaging[J]. Opto-Electronic Engineering, 2020, 47(5): 190721.
[7] Daniela S Lopes, Wellington S Souza, Renato E de Araujo, et al. Terahertz time-domain spectroscopy of healthy and carious dental tissues[C]//The European Conference on Lasers and Electro-Optics, 2019: 1-1(DOI: 10.1109/CLEOE-EQEC.2019.8871841).
[8] Karagoz B, Kamburoglu K, Altan H. Terahertz pulsed imaging for the monitoring of dental caries: a comparison with X-ray imaging[C]//Proceedings of SPIE, 2017, 10417P(https://doi.org/10.1117/12.2285991).
[9] Kamburoğlu Kıvanç, Karagöz Burcu, Altan Hakan, et al. An ex vivo comparative study of occlusal and proximal caries using terahertz and X-ray imaging[J]. Dento Maxillo Facial Radiology, 2019, 48(2): 20180250. DOI: 10.1259/dmfr.20180250
[10] Hampton P, Agathoklis P, Bradley C. A new wave-front reconstruction method for adaptive optics system using wavelets[J]. IEEE Journal of Selected Topics in Signal Processing, 2008, 2(5): 781-792. DOI: 10.1109/JSTSP.2008.2006386
[11] Sevcenco I S, Hampton P J, Agathoklis P. Seamless stitching of images based on a Haar wavelet 2D integration method[C]//17th International Conference on Digital Signal Processing (DSP), 2011: 1-6(DOI: 10.1109/ICDSP.2011.6004934).]
[12] Ioana S Sevcenco, Peter J Hampton, Panajotis Agathoklis. A wavelet based method for image reconstruction from gradient data with applications[J]. Multidimensional Systems and Signal Processing, 2015, 26(3): 717-737.
[13] YAN Qing, XU Yi, YANG Xiaokang, et al. Single image super resolution based on gradient profile sharpness[J]. IEEE Transactions on Image Processing, 2015, 24(10): 3187-3202. DOI: 10.1109/TIP.2015.2414877
[14] 杨艳春, 李娇, 王阳萍. 图像融合质量评价方法研究综述[J]. 计算机科学与探索, 2018, 12(7): 1021-1035. https://www.cnki.com.cn/Article/CJFDTOTAL-KXTS201807002.htm YANG Yanchun, LI Jiao, WANG Yangping. Review of image fusion quality evaluation methods[J]. Journal of Frontiers of Computer Science and Technology, 2018, 12(7): 1021-1035. https://www.cnki.com.cn/Article/CJFDTOTAL-KXTS201807002.htm
[15] 王跃华, 陶忠祥. 红外与可见光图像融合质量评价方法综述[J]. 红外, 2012, 33(6): 7-11. https://www.cnki.com.cn/Article/CJFDTOTAL-HWAI201206003.htm WANG Y, TAO Z. Overview of quality evaluation methods of fused infrared and visible images[J]. Infrared, 2012, 33(6): 7-10. https://www.cnki.com.cn/Article/CJFDTOTAL-HWAI201206003.htm
-
期刊类型引用(1)
1. 单幼芳. 基于深度学习算法的太赫兹人体安检图像处理技术研究. 电脑编程技巧与维护. 2024(07): 127-129 . 
百度学术
其他类型引用(1)
计量
- 文章访问数: 183
- HTML全文浏览量: 45
- PDF下载量: 27
- 被引次数: 2
