Method of High Precision Medical Infrared Thermography
-
摘要: 医学红外热像设备测得的红外数据及转换得到的温度数据难以直接判定其所属的人体区域，常需将其转为图像数据，利用图像处理技术得到感兴趣区域并从区域内温度数据得到生物特征，实现疾病的筛查或诊断。然而，从14位红外数据转换到8位图像数据存在严重的数据精度损失，导致处理性能欠佳。本文提出一种新的热像图表达方法，所得到的彩色热像图含原精度的温度数据信息，且含温度观察窗设定尺度下的彩色增强效果，同时载有温度数据记录和观察窗设定规则，通过对图像数据的逆变换，可以再现原始温度数据，并可改变彩色增强效果。该方法提供的热像图无需额外存取温度数据文件，在不同的红外热像系统间具有通用性，将更符合大数据和人工智能的发展趋势。Abstract: It is difficult to directly distinguish the human body area identified by the infrared data measured by medical infrared thermal imaging equipment from the temperature data obtained by conversion. It is often necessary to convert it into image data and use image processing technology to obtain the region of interest and the biological characteristics from the temperature data in the given area. Accordingly, disease screening or diagnosis can be realized. However, conversion from 14-bit infrared data to 8-bit image data incurs a serious loss of data accuracy, resulting in poor processing performance. In this paper, a new expression method for thermal images is proposed. The obtained color thermal image contains the original precision temperature data information and the color enhancement effect under the setting scale of the temperature observation window. At the same time, it contains the temperature data record and the setting rules of the observation window. Through the inverse transformation of the image data, the original temperature data can be reproduced and the color enhancement effect can be changed. The thermal image provided by this method can be used in different infrared thermal image systems without requiring additional access to temperature data files. This will be more aligned with the development trend of big data and artificial intelligence.
-
0. 引言
医学红外热成像技术因其非侵入性，以及与CT、超声、MIR、造影成像等影像诊断手段相比可提前筛查一些疾病的特性而获得了广泛研究。Bhowmik[1-9]等将其作为乳腺癌的筛查和诊断手段获得了较好的应用效果。Fokam[10-13]等将其作为关节炎的诊断技术进行了研究。Haq[14-15]等对检测锁骨上皮肤温度的应用进行了研究。Lin[16-17]等研究了其在血管疾病上的诊断性能，Carriere[18]等采用该技术对伤口愈合过程进行了研究。Knobel[19-20]等采用该技术实现了对新生儿监护的应用。该技术在越来越多的医学领域展现了可观的应用前景。这些现有的研究主要基于两类数据，分别是温度数据和热图像数据。因温度数据不便于直观体现人体部位，一般需先在红外热图像上采用人工或自动分割算法，在人体图像上得到感兴趣区域（region of interest，ROI）部位，然后在ROI区域内对温度数据进行特征分析，从而实现研究目标。例如，Pereira[21-24]等采用了人工提取ROI方法，Pauk[11, 25]等采用了各种图像分割算法。在这些研究方法中，都需要在热图像数据文件和温度数据文件间多次切换数据。热图像数据一般为8位的灰度图像，或是24位的伪彩色图像，都是整数数据，而温度数据一般是浮点数据，其存取方式与图像数据不同。在这两类文件间频繁切换数据增加了分析过程的额外工作量。导致这样结果的原因在于现有红外热成像（infrared thermography，IRT）系统提供的热图像不能通过变换得到原始精度的温度数据，而原始温度数据又不能提供人体区域信息。
实际上，温度数据和热图像数据都源自红外热像仪的红外数据，在红外热像系统内各种数据的产生过程是：首先通过非制冷红外焦平面探测器得到14位的红外数据，然后通过非线性变换得到温度数据，随后将温度数据或红外数据通过预先设定的最低温度、最高温度阈值转为灰度图像[26]，则设定的最低温度阈值对应灰度图像的最小值0，最高温度阈值对应灰度图像的最大值255，最后，通过预先设定的调色板，将灰度图像转为伪彩色图像。在从14位的红外数据或与其对应的温度数据转为8位的灰度图像过程中，因数据位数的降低，必然存在温度数据精度损失问题，例如，一般医学热成像系统设定的温度范围为10℃~50℃，温度数据的原始分辨率目前较高的可达0.02℃，当将10℃~50℃范围内的温度数据转为0~255的灰度图像数据时，灰度图像数据所表示的温度最小分辨率变为：(50－10)/256＝0.15625℃，其分辨精度远低于0.02℃。可见，灰度图像数据会严重损失原始温度数据的精度。从灰度图像得到的伪彩色图像只是增强了人的视觉分辨效果，并不能提高已受损的温度精度。与可见光谱图像相比，红外热图像像素值主要映射的是温度幅值，在温度精度已受损的热图像上进行分析，会影响分析结果的精确性。虽然文献[27-29]等提出了一些热图像增强方法，但这些方法是基于红外热像系统提供的灰度图及其伪彩色图像，而非原始的高精度温度数据，在已受损的信息上进行增强无法还原已损失的精度。
当前的医学热成像系统，在将灰度图像转为伪彩色图像过程中，一般是采用调色板方法。现有的调色板都是8位的，最多只有256种颜色，同样地，对于10℃~50℃范围内的温度数据，相邻两种颜色能区分的温度差为0.15625℃，不能满足0.02℃的温度分辨率的需求。因此，在色彩分辨率的维度上，现行的伪彩色热像图同样存在温度精度损失问题。为弥补该缺陷，在人工分析热像过程中，常采用一种温度窗的方式增强显示预先设定的一小段温度范围内的温度数据，常需要反复修改温度窗口的位置，以在不同温度区间获得较高的色彩分辨效果。然而，采用不同的调色板和温度观察窗口，得到的伪彩色图像不同，而这些伪彩色图像并未载有所采用的调色板和温度观察窗的有关信息，从而无法通过变换实现在同等设置下进行图像对比，这严重制约了这些图像在不同热像系统或图像库间的通用性。
简而言之，现有的医学热像图数据存在的问题主要有：①温度数据和热像图数据需要在不同的文件中分别存取，文件的数据类型不同，增加了人工或自动分析的工作量；②热像图数据损失了温度数据的原始精度，在此基础上进行分析，会导致分析结果精确度不高；③现行的伪彩色图像数据的颜色种类较少，在色彩分辨维度上也存在精度损失，导致分析过程中需要人工反复调整温度窗口位置；④伪彩色图像因采用不同调色板或温度观察窗口而存在差异，而现行伪彩色图像未载有相关的参数设置信息，导致伪彩色图像缺乏通用性；⑤不能直接利用现行的温度数据直观分析人体部位；⑥现有的研究中，关于热像图的灰度图像或伪彩色图像与温度数据间存在问题的探讨较为少见。为解决这些问题，本文提出了一种新的医学热像图数据的彩色图像表示方法，所呈现的彩色图像含有可设定的温度观察窗信息，以实现对感兴趣的温度段进行图像增强，从而可直观分析人体特定温度区域的温度分布，同时，彩色图像包含原始温度数据信息，使得后续的分析过程无需再另取温度数据。此外，图像还载有图像增强的有关参数信息，使得不同增强方式的图像可通过设置相同的参数以进行对比。通过本文提出的方法，可将彩色图像的直观视觉效果、温度观察窗、图像增强及其参数信息、原始温度数据这4个特性融合在同一个彩色图像文件内。
1. 实现方法和测试实验
1.1 实验装置
IR263红外热像机（武汉高德红外股份有限公司），采用非制冷红外焦平面探测器，像素分辨率为800×600，测温精度为±0.5℃，温度分辨率0.03为℃@37℃，带黑体校正，黑体温控精度±0.3℃@37℃，测温距离2 m，红外热像机放置高度1 m，测试小隔间宽2 m、长4 m、高3 m。测温环境：无阳光等干扰光源直射，无空气流动，空调在测温小隔间外，以避免空调的气流扰动引起的测温隔间内的温度不均匀。空调调温稳定1 h以上，以确保测温隔间内温度分布一致。通过温湿度计测定室内温度20℃，湿度60%。
1.2 红外热像数据获取和处理方法
红外热像机通过网线与PC机相连，在高德公司提供的库函数基础上，采用VC编程实现原始温度数据的获取，该温度数据由14位的红外数据通过给定的红外-温度变换矩阵得到，温度数据存储的文件格式为.dat，温度数据格式为浮点数，精确到小数点后两位，温度范围为0~50℃。此外，同时获取通过库函数直接得到的灰度图像及其伪彩色增强图像。再用MATLAB（R2012b版本）软件编程，对温度数据进行读取与后续处理。
令原始温度数据为T0(i, j)，其中i, j分别为像素点行、列位置，范围为1≤i≤800，1≤j≤600。T0(i, j)为浮点数，有效小数位数为2。令T_n＝100，则Tr＝1/T_n＝0.01表示温度数据所能表示的最小分辨率Tr为0.01℃。当前医用红外热像机的温度分辨率≥0.02℃，小于0.01℃的小数没有真实物理意义。因人体表面温度大于20℃且小于40℃，因此，可取阈值Th1＝20℃，Th2＝40℃，对T0(i, j)处理为：
$${T_1}\left( {i,j} \right) = \left\{ {\begin{array}{*{20}{l}} {0,\quad \quad \quad \quad \quad {T_0}\left( {i,j} \right) \leqslant {\rm{T}}{{\rm{h}}_{\rm{1}}}} \\ {{T_0}\left( {i,j} \right) - {\rm{T}}{{\rm{h}}_1},\;{\rm{T}}{{\rm{h}}_1} < {T_0}\left( {i,j} \right) < {\rm{T}}{{\rm{h}}_2}} \\ {{\rm{T}}{{\rm{h}}_2} - {\rm{T}}{{\rm{h}}_1},\quad \;\;\,{\rm{T}}{{\rm{h}}_2} \leqslant {T_0}\left( {i,j} \right)} \end{array}} \right.$$ (1) 则T1(i, j)可去除大部分无关的背景温度数据。
再令：
$$ {T_2}\left( {i,j} \right) = {T_1}\left( {i,j} \right) \times T\_n \times {T_{\rm{f}}},{\rm{ }}1 \le {T_2}\left( {i,j} \right) \le 65535 $$ (2) 式中：Tf表示彩色色阶值的变化步长，即彩色值的增量。式(2)表示先将T1(i, j)的小数放大T_n倍转换为整数形式，然后再放大Tf倍。当Th2－Th1＝20℃时，则Tf≤32，T2的取值范围为：
$$ 1 \le {T_2}\left( {i,j} \right) \le ({\rm{T}}{{\rm{h}}_2} - {\rm{T}}{{\rm{h}}_1}) \times 100 \times 32 = 64000 $$ (3) 再令：
$$ {T_z}\left( {i,j} \right) = {f_1}\left( {{T_2}\left( {i,j} \right)/256} \right) $$ (4) $$ {T_y}\left( {i,j} \right) = {f_2}({T_2}\left( {i,j} \right)/256) $$ (5) 式中：f1为向下取整函数；f2表示取余数函数。
最后，采用RGB格式的24位真彩色图像格式，R、G、B表示3个颜色分量，则可将Tz，Ty分别赋给R、G、B中的任意两个，令剩下的一个量为常量Tb，（0≤Tb≤255），例如，令：
$${I_{{\rm{RGB}}}} = \left\{ {\begin{array}{*{20}{l}} {{T_{\rm{b}}} = 0} \\ {R\left( {i,j} \right) = {T_{\rm{b}}}} \\ {G\left( {i,j} \right) = {T_z}\left( {i,j} \right)} \\ {B\left( {i,j} \right) = {T_y}\left( {i,j} \right)} \end{array}} \right.$$ (6) 式中：i, j分别为像素点行、列位置，范围为1≤i≤800, 1≤j≤600。
通过式(1)~(6)，可将原始温度数据T0转换为RGB格式的24位真彩色图像IRGB，IRGB可表示的温度数据分辨率为0.01℃，温度范围为Th1~Th2，每0.01℃的RGB值间隔为Tf，RGB颜色的基值由常量Tb决定。当红外热像机的实际温度分辨率Tp_d是0.01℃的tm_d倍时，则Tp_d对应的RGB值间隔为tm_d倍Tf，例如，本文的Tp_d＝0.03℃，则对应的RGB值间隔为3Tf。Tp_d也可由下式得到：
$${T_{{\rm{p\_d}}}} = \left( {\frac{1}{{T\_n}}} \right) \times {T_{{\rm{m\_d}}}}$$ (7) 为用彩色增强显示某一段温度数据，可利用式(6)中原来是常数值的R作为色彩增强参数，引入温度观察窗操作，即设定一个温度段作为观察窗口，该窗内不同的温度用不同的R值对应，因R值取值范围为0~255，当选定中间值127对应温度观察窗设定的中间温度值时，则R值最大可做±127的变化，代表温度观察窗可从中心点向两侧最多各拓展127个观测点，从而有如下定义：
令Tm表示温度观测窗的中心温度值，f_ls表示从温度观测窗中心向两边拓展的点数，取值范围为[1, 127]，有：
$${R_{{\rm{en}}}}\left( {i,j} \right) = \left\{ {\begin{array}{*{20}{c}} {127 + {f_1}\left[ {\frac{{{T_1}\left( {i,j} \right) - {T_{\rm{m}}}}}{{{T_{{\rm{p\_d}}}}}}} \right],\quad 0 \leqslant [{T_1}\left( {i,j} \right) - {T_{\rm{m}}}] \leqslant \left( {\frac{{{\rm{f\_ls}}}}{{T\_n}}} \right) \times {T_{{\rm{m\_d}}}}} \\ {127 - {f_1}\left[ {\frac{{{T_1}\left( {i,j} \right) - {T_{\rm{m}}}}}{{{T_{{\rm{p\_d}}}}}}} \right],\quad 0 \leqslant [{T_{\rm{m}}} - {T_{\rm{1}}}\left( {i,j} \right)] \leqslant \left( {\frac{{{\rm{f\_ls}}}}{{T\_n}}} \right) \times {T_{{\rm{m\_d}}}}} \end{array}} \right.$$ (8) 式中：f1()表示向下取整函数。
注意，Tm通过f_ls向两侧拓展得到的温度观察窗的温度范围应在Th1~Th2之内。
将式(8)替换式(6)的R(i, j)，即：
$${I_{{\rm{RG}}{{\rm{B}}_{{\rm{en}}}}}}\left( {i,j} \right) = \left\{ {\begin{array}{*{20}{c}} {R\left( {i,j} \right) = {R_{{\rm{en}}}}\left( {i,j} \right)} \\ {G\left( {i,j} \right) = {T_z}\left( {i,j} \right)} \\ {B\left( {i,j} \right) = {T_y}\left( {i,j} \right)} \end{array}} \right.$$ (9) 通过式(9)所得到的RGB彩色图像，其G、B分量组合的16位数包含了原始温度数据，R分量包含了根据设置的温度观察窗进行彩色增强的信息。
为在图像内记录图像的温度观察窗等设置信息，可利用图像的第一行前8个像素的R值，即令：
$$\left\{ {\begin{array}{*{20}{l}} {R\left( {1,1} \right) = T\_n} \\ {R\left( {1,2} \right) = {T_{\rm{f}}}} \\ {R\left( {1,3} \right) = {T_{{\rm{m\_d}}}}} \\ {R\left( {1,4} \right) = {T_{\rm{m}}}} \\ {R\left( {1,5} \right) = f\_{\rm{ls}}} \\ {R\left( {1,6} \right) = {\rm{RG}}{{\rm{B}}_{{\rm{ec}}}}} \\ {R\left( {1,7} \right) = {\rm{T}}{{\rm{h}}_1}} \\ {R\left( {1,8} \right) = {\rm{T}}{{\rm{h}}_2}} \end{array}} \right.$$ (10) 式中：RGBec表示R、G、B三分量的排列方式，根据排列组合方式，有6种排列方式，式(6)、(9)中根据不同的排列顺序赋值，得到的彩色图像结果不同。
定义RGBec取值与R、G、B三分量的排列方式关系如下：
$$ {\rm{RGB}}_{\rm{ec}}\rm{=}\left\{ \begin{array}{l}1,\rm{\hspace{1em}}\left(R、G、B\right) \\ 2,\rm{\hspace{1em}}\left(R、B、G\right) \\ 3,\rm{\hspace{1em}}\left(G、R、B\right) \\ 4，\rm{\hspace{1em}}\left(G、B、R\right) \\ 5,\rm{\hspace{1em}}\left(B、R、G\right) \\ 6,\rm{\hspace{1em}}\left(B、G、R\right) \end{array}\right.$$ (11) 一般地，红外热图像边缘数据因受镜头畸变等影响，其第一行数据不作为处理对象，因此，采用式(10)的方式，不影响红外热图数据的分析。至此，可在红外热图数据内部同时装载温度数据记录所采用的规则信息，包括：所能表示的最小温度分辨率、最小温度分辨率对应的RGB值间隔、红外热像机温度实际分辨率对本数据所能表示最小温度分辨率的倍数、温度观察窗的中心温度、温度观察窗的步长数、RGB三分量排列方式编码、背景温度分割的上下限阈值。通过这种方式，无需额外数据信息或文件信息，单个RGB彩色图像数据即可包含分析所需的全部信息：原始温度数据、记录该温度数据所采用的规则、彩色图像的增强方法信息、温度观察窗的设置信息，以及彩色图像增强后的直观视觉效果。
基于式(6)、(9)、(10)建立的RGB彩色热像图${I_{{\rm{RG}}{{\rm{B}}_{{\rm{en}}}}\left( {i,j} \right)}}$，可进行如下逆运算反向得到温度数据T1(i, j)：
$$ {T_1}\left( {i,j} \right) = [G\left( {i,j} \right) \times 256 + B\left( {i,j} \right)]/(T\_n \times {T_{\rm{f}}}) $$ (12) 最后，通过下式，可得到原始的温度数据：
$$ {T_0}\left( {i,j} \right) = {T_1}\left( {i,j} \right){\rm{ + T}}{{\rm{h}}_1} $$ (13) 此时，可通过${I_{{\rm{RG}}{{\rm{B}}_{{\rm{en}}}}}}\left( {i,j} \right)$第一行前8个像素的R值记录的式(10)表示的信息，改变式(10)的一些设定值，从而可按式(7)~(11)，实现新的彩色图像增强效果，例如，可改变温度观察窗的中心值和向两侧拓展的点数，或按式(11)改变彩色的色带。
此外，可以通过下式将RGB彩色图像转为灰度图像：
$$ \begin{array}{l} {I_{{\rm{gray}}}}\left( {i,j} \right) = R\left( {i,j} \right) \times 0.299 + G\left( {i,j} \right) \times 0.587 + \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;B\left( {i,j} \right) \times 0.114 \end{array} $$ (14) 对式(14)得到的灰度图像可进一步测试边缘检测算法，以对比IRT系统通过常规方式提供的灰度图像的边缘检测效果。
为使得图像内包含的温度数据精度保持不变，本文涉及的参数在设置时需满足条件式(15)：
$$ \left\{ \begin{array}{l}0℃<{\rm{Th}}_{\rm{1}}<{\rm{Th}}_{\rm{2}}<500℃ \\ T\_n=\{1,10,100\} \\ {T}_{\rm{f}}\le 32 \\ 1\le {T}_{\rm{m\_d}}\le 100 \\ {\rm{Th}}_{1}<{T}_{\rm{m}}<{\rm{Th}}_{2} \\ 0<f\_\rm{ls}\le 127 \\ {\rm{RGB}}_{\rm{ec}}=\{1,2,3,4,5,6\} \\ 0<\left({\rm{Th}}_{2}-{\rm{Th}}_{1}\right)\times T\_n\times {T}_{\rm{f}}<65536 \\ {T}_{\rm{m}}+f\_\rm{ls}\times \frac{{\mathit{T}}_{\rm{m\_d}}}{\mathit{T}\_n}<{\rm{Th}}_{\rm{2}} \\ {T}_{\rm{m}}-f\_\rm{ls}\times \frac{{\mathit{T}}_{\rm{m\_d}}}{\mathit{T}\_n}>{\rm{Th}}_{1} \end{array}\right.$$ (15) 2. 实验结果
根据本文所采用的红外热像机及实验条件，设置式(10)的相关参数值为：
T_n＝100，Tf＝32，Tm_d＝3，Tm＝31，f_ls＝127，RGBec＝1，Th1＝20℃，Th2＝40℃，即温度数据能表示的最小温度分辨率为0.01℃，对应的RGB增量为32，实际的温度分辨率为0.03℃，温度观测窗的中心为31℃，步长为127，RGB三分量排列顺序为（R、G、B），背景温度分割的上、下限分别为20℃、40℃。
直接通过IR263红外热像机的库函数得到测试者背部和侧部的灰度图像及其伪彩色增强图像如图 1。
![]()
图 1 红外热像机输出的原灰度图和伪彩色图Figure 1. Original gray scale and pseudo color image output by infrared thermal imager图 1(a)、(c)所示的灰度图像是IRT系统通过捕获的红外数据经变换得到温度数据，再由温度数据转为0~255的灰度值，图 1(b)、(d)是由灰度图像经过选用的调色板得到的伪彩色图像，常用的IRT系统主要采用这种方式。
将图 1对应的原始温度数据，通过式(1)~(6)，得到RGB彩色图像如图 2(a)、(b)，根据GB（R＝0）的值从0~64000，每个色带的RGB值间隔32，共有2000个色带，其所采用的色带如图 2(c)，对应的温度范围为20℃~40℃，每个色带对应0.01℃，颜色越绿亮的表示温度越高，颜色越蓝暗的温度越低。
![]()
图 2 新方法得到的红外热图像及其色带Figure 2. Infrared thermal image and its color band obtained by new method图 2中人体周围的深蓝色，是因为环境温度是20℃，导致背景布的部分温度也接近20℃，在人体散热作用下，人体周围部分空气也可能呈现20℃。若设置Th1高于20℃可去除这些蓝色，但可能会损失手指和脚趾等末端的部分信息。
再通过式(7)~(9)，得到对应的增强彩色图像如图 3(a)、(b)，通过R值调节后的GB（R＞0）值从0~64000对应的色带如图 3(c)。与图 2相比，图 3中不同的色带即为温度观测窗内的温度数据对应的色带。
![]()
图 3 对新的红外热像图通过温度观察窗进行增强Figure 3. Enhance the new infrared thermal image through the temperature observation window通过图 3(c)可知，图 3(a)、(b)中亮黄色为通过设定的温度观察窗进行图像增强的区域，对应的温度范围为31±3.81℃，在该增强区域内，颜色越黄亮表示温度越高。亮绿色为高于31+3.81＝34.81℃的区域，其中的绿色越亮表示温度越高。
再通过式(14)，得到对应的灰度图像如图 4(a)、(b)，其局部放大效果如图 4(c)、(d)。
图 4(c)、(d)可见，图 4的灰度图比图 1的灰度图具有更丰富的纹理细节信息，这些纹理代表不同的温度分布区域，而一般的IRT系统直接提供的图像则不能提供这样的细节信息。可见，常规的IRT系统直接提供的灰度图像及其伪彩色图像已损失了温度更微观的细节信息。
最后，将温度数据的设置信息通过式(10)装载入彩色图像第一行的前8个像素的R分量字节内，因所占的图像空间非常小，且图像边缘的GB分量一般等于0使得其主色为暗深色，可忽略其对视觉的影响。目标图像因一般位于图像空间的中央，在分析和处理中不受这8个像素的影响。
分别对图 1(a)、图 1(c)、图 4(a)、图 4(b)的灰度图像用MATLAB进行边缘检测测试，采用Canny算子和相同的参数0.08，得到的边缘检测结果分别如图 5(a)、图 5(c)、图 5(b)、图 5 (d)。
![]()
图 5 原灰度图像和新灰度图像的边缘检测对比Figure 5. Comparison of edge detection between original gray image and new gray image图 5(a)、(c)中，人体外的边缘线是背景布的边缘，由图 5(a)、(c)可见，对IR263相机直接提供的灰度图像进行边缘检测，不能检测出人体区域内不同温度区域的边界。而由图 5(b)、(d)可见，通过本文提出的方法得到的灰度图像，能有效检测出人体区域内部存在不同温度区域。虽然两种图像的边缘检测都会受到背景干扰，如图 5(a)、(c)、(d)所示，但因本文提出的彩色图像内包含原始温度数据，可以按式(1)提高Th1值，即可直接将背景信息去除，例如设置Th1＝23℃时，则图 2(b)、图 3(b)、图 5(d)内的背景干扰可完全去除，结果如图 6所示。而要去除图 5(a)、(c)中的背景干扰，则需要通过复杂的图像处理算法，例如要通过分析每幅图像的直方图获得背景与目标间的分割阈值，不同背景和目标可能需要不同的阈值，降低了算法的通用性。
![]()
图 6 新图像去除背景信息的效果图Figure 6. Effect picture of removing background information from new image对图 3(a)的彩色图像，按式(11)的后5种R、G、B三分量的赋值顺序，得到新的伪彩色图像如图 7所示。
![]()
图 7 不同RGB排列方式得到的新的红外热像图的效果图Figure 7. Effect picture of new infrared thermal image obtained by different RGB arrangement对比图 3和图 7的彩色效果，可见图 3的色彩更符合人体的真实肤色。
仅改变式(10)中的Tf值，即改变GB色带的阶值，其它参数值保持不变，分别对Tf取值24、16、8、4，得到图 3(a)的彩色图像为图 8(a)~(d)，可见，Tf值越小，人体内不同温度的色彩差异越小，温度边界特征越弱，但色彩因更连贯显得更细腻。此外，Tf值会改变图 3(c)的色带，Tf值越小，会导致GB的值越小，使得温度窗外的颜色向蓝色增强，而温度窗内因R值占比增加，使得温度窗内的颜色向红色逐渐增强。
![]()
图 8 新的红外热图在不同色阶和不同温度观察尺度下的效果图Figure 8. The effect of new infrared thermogram in different color scales and different temperature scales对比图 8(a)~(d)可见，在Tf＝4时，在人体上的温度边界和色彩对比上仍然都有较好的显示效果，根据式(15)的条件0＜(Th2－Th1)×T_n×Tf＜65536，在Tf＝4、Th1＝23℃，Th2＝39.3℃时，T_n可取值1000，即温度数据的最小分辨率Tr可达到0.001℃，远高于当前的主流温度分辨率0.05℃，因此，本文提出的方法在未来的温度分辨率发展中将有很好的可拓展空间。
仅改变式(10)中的f_ls值，即改变温度观察窗向两侧拓展的步数，其它参数保持不变，分别取f_ls值为100、80、50、20，得到图 3(a)的彩色图像为图 8(e)~(h)，根据31±f_ls×0.03℃，图 8(e)~(h)内黄色增强显示的温度范围分别为31±3℃、31±2.4℃、31±1.5℃、31±0.6℃。
由式(1)~(9)可知，式(10)的参数在改变时只要满足式(15)，图像内包含的温度数据将保持不变，图 8的结果验证了这个性能。
3. 实验结果分析
红外热成像系统的核心数据是温度数据，温度数据的测温精度和温度分辨精度决定了整个系统的性能。而目前采用的红外热图像的自动分析算法中，多采用基于可见光的图像分析算法，如基于灰度直方图的图像增强和目标与背景图像分割，基于灰度图像的边缘提取等，在这些自动分析算法中没有充分利用温度这个重要生物特性，仅在图像自动分析完成后，再在ROI区域内采用温度数据作为特征值。这种基于可见光谱的图像处理算法，其处理结果易因调色板和温度观察窗的不同而受影响，且易因不同IRT系统所采用的温度数据转灰度图像的算法差异而出现不同结果。而且，还需要分别读写图像文件和对应的温度数据文件，需要建立文件间的严格对应规则，这些因素都对红外热图像自动分析的性能和通用性产生不利影响。
红外热图像与普通可见光谱图像存在明显区别，可见光谱图像在像素值的强度上对比度明显，易于视觉识别，而红外热图像并不具有这样的点，相反地，人体红外热图像在像素值的强度上对比度非常低。将可见光图像的分析方法直接应用于红外热图像，就需要先将其进行图像增强，然而，现有的红外图像增强方法是先在灰度级上进行对比度增强，再通过伪彩色变换增强视觉效果，在此过程中，因灰度级只有0~255级，采用256级的灰度图要表达20℃~40℃，每级表达的温度分辨率约0.08℃，而当前的医学红外热像相机分辨率通常≤0.03℃。因此，当前普遍采用的图像增强方法在增强对比度的同时会明显损失温度数据的精度，可见，这种方式不适合于医学红外热像图数据的分析。
4. 结论
本研究提出的彩色红外热像图不是由灰度图像变换而来，而是直接从原始温度数据变换得到，在变换过程中未损失温度数据精度，对这样的图像进行后续的图像分析则不存在温度精度丢失的问题。通过对该彩色图像的反变换，可以获得原始温度数据，无需另外读取温度数据文件。此外，该彩色图像还附加了温度观测窗口的视觉增强效果，并装载有温度数据记录的规则信息，以便于后续处理时可通过这些信息改变彩色增强方式。本文提出的方法在温度数据分辨率上可实现0.001℃，具有很好的可拓展性。最终，通过单个的彩色图像文件，即可融合原始温度数据、视觉增强的人体图像数据、温度观察窗、温度数据记录规则的信息，为后续分析过程提供便利。
-
![]()
图 1 红外热像机输出的原灰度图和伪彩色图
Figure 1. Original gray scale and pseudo color image output by infrared thermal imager
![]()
图 2 新方法得到的红外热图像及其色带
Figure 2. Infrared thermal image and its color band obtained by new method
![]()
图 3 对新的红外热像图通过温度观察窗进行增强
Figure 3. Enhance the new infrared thermal image through the temperature observation window
![]()
图 5 原灰度图像和新灰度图像的边缘检测对比
Figure 5. Comparison of edge detection between original gray image and new gray image
![]()
图 6 新图像去除背景信息的效果图
Figure 6. Effect picture of removing background information from new image
![]()
图 7 不同RGB排列方式得到的新的红外热像图的效果图
Figure 7. Effect picture of new infrared thermal image obtained by different RGB arrangement
-
[1] Bhowmik M K, Gogoi U R, Majumdar G, et al. Designing of Ground-Truth-Annotated DBT-TU-JU Breast Thermogram Database Toward Early Abnormality Prediction[J]. IEEE Journal of Biomedical and Health Informatics, 2018, 22: 1238-1249. DOI: 10.1109/JBHI.2017.2740500
[2] De Santana M A, Pereira J M S, Da Silva F L, et al. Breast cancer diagnosis based on mammary thermography and extreme learning machines[J]. Research on Biomedical Engineering, 2018, 34: 45-53. DOI: 10.1590/2446-4740.05217
[3] Dua G, Mulaveesala R. Applicability of active infrared thermography for screening of human breast: a numerical study[J]. Journal of Biomedical Optics, 2018, 23: 9. https://www.ncbi.nlm.nih.gov/pubmed/29560626
[4] Mambou S J, Maresova P, Krejcar O, et al. Breast Cancer Detection Using Infrared Thermal Imaging and a Deep Learning Model[J]. Sensors, 2018, 18: 19.
[5] Morales-Cervantes A, Kolosovas-Machuca E S, Guevara E, et al. an Automated Method for the Evaluation of Breast Cancer Using Infrared Thermography[J]. Excli Journal, 2018, 17: 989-998. https://www.ncbi.nlm.nih.gov/pubmed/30564079
[6] Santana M A d, Pereira J M S, Silva F L d, et al. Breast cancer diagnosis based on mammary thermography and extreme learning machines[J]. Research on Biomedical Engineering, 2018, 34: 45-53. DOI: 10.1590/2446-4740.05217
[7] Wahab A A, Salim M I M, Yunus J, et al. Comparative evaluation of medical thermal image enhancement techniques for breast cancer detection[J]. Journal of Engineering and Technological Sciences, 2018, 50: 40-52. DOI: 10.5614/j.eng.technol.sci.2018.50.1.3
[8] Abdel-Nasser M, Moreno A, Puig D. Breast Cancer Detection in Thermal Infrared Images Using Representation Learning and Texture Analysis Methods[J]. Electronics, 2019, 8: 18. http://www.researchgate.net/publication/330412196_Breast_Cancer_Detection_in_Thermal_Infrared_Images_Using_Representation_Learning_and_Texture_Analysis_Methods
[9] Singh D, Singh A K. Role of image thermography in early breast cancer detection- Past, present and future[J]. Computer Methods and Programs in Biomedicine, 2020, 183: 61-69. https://www.sciencedirect.com/science/article/pii/S0169260719311277
[10] Fokam D, Lehmann C. Clinical assessment of arthritic knee pain by infrared thermography[J]. Journal of basic and clinical physiology and pharmacology, 2018, 30: 21-25. http://www.ncbi.nlm.nih.gov/pubmed/30375348
[11] Pauk J, Wasilewska A, Ihnatouski M. Infrared thermography sensor for disease activity detection in Rheumatoid arthritis patients[J]. Sensors (Switzerland), 2019, 19: 34-48. https://www.mdpi.com/1424-8220/19/16/3444/pdf
[12] Pauk J, Ihnatouski M, Wasilewska A. Detection of inflammation from finger temperature profile in rheumatoid arthritis[J]. Medical & Biological Engineering & Computing, 2019, 57: 2629-2639. DOI: 10.1007/s11517-019-02055-1.pdf
[13] Gatt A, Mercieca C, Borg A, et al. A comparison of thermographic characteristics of the hands and wrists of rheumatoid arthritis patients and healthy controls[J]. Scientific Reports, 2019, 9: 172-180. DOI: 10.1038/s41598-018-36890-3
[14] Haq T, Crane J D, Kanji S, et al. Optimizing the methodology for measuring supraclavicular skin temperature using infrared thermography; implications for measuring brown adipose tissue activity in humans[J]. Scientific Reports, 2017, 7: 9. DOI: 10.1038/s41598-017-00053-7
[15] Jimenez-Pavon D, Corral-Perez J, Sanchez-Infantes D, et al. Infrared Thermography for Estimating Supraclavicular Skin Temperature and BAT Activity in Humans: A Systematic Review[J]. Obesity, 2019, 27: 1932-1949. DOI: 10.1002/oby.22635
[16] LIN P H, Echeverria A, Poi M J. Infrared thermography in the diagnosis and management of vasculitis[J]. Journal of vascular surgery cases and innovative techniques, 2017, 3: 112-114. DOI: 10.1016/j.jvscit.2016.12.002
[17] Gauci J, Falzon O, Formosa C, et al. Automated Region Extraction from Thermal Images for Peripheral Vascular Disease Monitoring[J]. Journal of Healthcare Engineering, 2018, 2018: 14. https://www.hindawi.com/journals/jhe/2018/5092064/
[18] Carriere M E, de Haas L E M, Pijpe A, et al. Validity of thermography for measuring burn wound healing potential[J]. Wound Repair and Regeneration, 2019, 10: 1-8. https://pubmed.ncbi.nlm.nih.gov/31777128/
[19] Knobel-Dail R B, Holditch-Davis D, Sloane R, et al. Body temperature in premature infants during the first week of life: Exploration using infrared thermal imaging[J]. Journal of Thermal Biology, 2017, 69: 118-123. DOI: 10.1016/j.jtherbio.2017.06.005
[20] Topalidou A, Ali N, Sekulic S, et al. Thermal imaging applications in neonatal care: a scoping review[J]. Bmc Pregnancy and Childbirth, 2019, 19: 14. DOI: 10.1186/s12884-018-2132-3
[21] Pereira T, Nogueira-Silva C, Simoes R. Normal range and lateral symmetry in the skin temperature profile of pregnant women[J]. Infrared Physics & Technology, 2016, 78: 84-91. https://www.sciencedirect.com/science/article/pii/S1350449516302067
[22] Martini G, Cappella M, Culpo R, et al. Infrared thermography in children: a reliable tool for differential diagnosis of peripheral microvascular dysfunction and Raynaud's phenomenon?[J]. Pediatric Rheumatology, 2019, 17: 9. DOI: 10.1186/s12969-019-0307-8
[23] Garcia-Porta N, Gantes-Nunez F J, Tabernero J, et al. Characterization of the ocular surface temperature dynamics in glaucoma subjects using long-wave infrared thermal imaging[J]. Journal of the Optical Society of America a-Optics Image Science and Vision, 2019, 36: 1015-1021. DOI: 10.1364/JOSAA.36.001015
[24] Debiec-Bak A, Wojtowicz D, Pawik L, et al. Analysis of body surface temperatures in people with Down syndrome after general rehabilitation exercise[J]. Journal of Thermal Analysis and Calorimetry, 2019, 135: 2399-2410. DOI: 10.1007/s10973-018-7345-1
[25] Hernandez-Contreras D A, Peregrina-Barreto H, Rangel-Magdaleno J D, et al. Plantar Thermogram Database for the Study of Diabetic Foot Complications[J]. IEEE Access, 2019, 7: 161296-161307. DOI: 10.1109/ACCESS.2019.2951356
[26] 丁德红. 16位高精度在线式红外热像仪的技术方案与实现[J].红外技术, 2017, 39(9): 841-847. http://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201709011.htm Dehong D. Online Temperature Measurement Technology Solutions and Implementationof 16 bit Infrared Thermal Imager[J]. Infrared Technology, 2017, 39(9): 841-847. http://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201709011.htm
[27] Tan J H, Acharya U R. Pseudocolours for thermography-Multi-segments colour scale[J]. Infrared Physics & Technology, 2015, 72: 140-147. https://www.sciencedirect.com/science/article/pii/S1350449515001875
[28] Kermani S, Samadzadehaghdam N, EtehadTavakol M. Automatic color segmentation of breast infrared images using a Gaussian mixture model[J]. Optik, 2015, 126: 3288-3294. DOI: 10.1016/j.ijleo.2015.08.007
[29] LI T J, WANG Y Y, CHANG C, et al. Color-appearance-model based fusion of gray and pseudo-color images for medical applications[J]. Information Fusion, 2014, 19: 103-114. DOI: 10.1016/j.inffus.2012.07.002
-
期刊类型引用(0)
其他类型引用(1)
下载:
计量
- 文章访问数: 817
- HTML全文浏览量: 434
- PDF下载量: 111
- 被引次数: 1
