Study on BRDF Scattering Characteristics of Relay Wall in Non-Line-of-Sight Imaging Based on Time-gated SPAD Array
-
摘要:
非视域成像是当前针对实际应用而迅速发展的成像技术之一，基于SPAD阵列的非视域成像模式相较于其他模式具有凝视成像，设备轻量化等优点。针对基于门控SPAD阵列的非视域成像方法进行分析，重点关注基于门控SPAD阵列的非视域成像的中介面BRDF（bidirectional reflectance distribution function, BRDF）散射特性及其对成像的影响，并选用Cook-Torrance模型对作为中介面的典型建筑材料BRDF散射特性进行建模分析；选取黑色亮光瓷砖、白色亚光瓷砖和黑色防护挡板3种典型建筑材料测量了BRDF数据，通过RANSAC（random sample consensus）算法剔除测量异常值，再采用遗传算法获得模型的特征参数，验证了通过特征参数描述材料BRDF散射特性的有效性，可为进一步的基于门控的SPAD阵列非视域成像研究奠定重要基础。
-
关键词:
- 时间门控 /
- SPAD阵列 /
- 非视域成像 /
- 中介面BRDF /
- Cook-Torrance模型
Abstract:Non-line-of-sight imaging is a rapidly developing imaging technology aimed at practical applications. The imaging mode based on a SPAD array has advantages such as staring imaging and lightweight equipment compared with others. This study analyzes a non-line-of-sight imaging method based on a time-gated SPAD array, focusing on the scattering characteristics of the BRDF of the relays in the time-gated SPAD array mode of non-line-of-sight imaging and its impact on imaging. The Cook-Torrance model was selected to model and analyze the BRDF scattering characteristics of typical building materials that serve as relays. The BRDF data of three typical building materials, namely black glossy tiles, white matte tiles, and black protective shields, were measured. The RANSAC algorithm was used to eliminate measurement outliers, and a genetic algorithm was employed to obtain the characteristic parameters of the model. This study validates the effectiveness of describing the BRDF scattering characteristics of materials using characteristic parameters, which can lay an important foundation for further research on time-gated SPAD-array-based non-line-of-sight imaging.
-
Keywords:
- time-gated /
- SPAD array /
- non-line-of-sight imaging /
- BRDF of relay /
- cook-torrance model
-
0. 引言
非视域（non-line-of-sight, NLOS）成像技术指借助于中介面，利用中介面返回的光子信息对非视域场景进行重构的技术（非视域目标物体与探测器分居障碍物两侧）[1-2]。根据是否发出主动光源可分为主动及被动NLOS成像系统，而非视域场景反射回的光子信号会被中介面散射，中介面在NLOS成像方法中起着至关重要的作用。目前在公共安全领域实现NLOS成像的光电成像传感器主要有激光选通像增强CCD[3]和单光子成像器件[4–6]。前者由于光电阴极的长波限约900 nm，在保证隐蔽性条件下可用的激光器大多在800~900 nm，但存在红曝问题；后者采用基于Si基或InGaAs材料的单光子雪崩响应，单光子光谱响应可延伸到900 nm或短波红外波段，不仅在夜间具有很好的隐蔽性，而且其脉冲激光器具有更多的选择。
中介面散射是影响NLOS成像质量的重要环节。双向反射分布函数[7]可用于描述材料表面的光学散射特性，表示光从某一角度入射到材质表面后从不同角度观测时的反射特性[8]，广泛用于星载遥感探测、卫星通信、地面辐射测量及计算机图形学等领域[9–12]。由于BRDF表征的是任意角度下材料的光学散射特性，在测量过程中无法简单地获得任意入射及出射角度组合下的BRDF，故实际应用中通常将测量的真实BRDF数据与有效的BRDF散射模型结合，利用优化方法求解模型的未知参数，得到实际材料的BRDF模型以描述材料的散射特性。2014年Zhao等[13]以Harvey-Shack表面散射理论分析材料表面传递函数及角扩散函数，建立了典型中介面材料的BRDF反射模型，以描述NLOS成像中中介面的镜面反射和前向散射特性。2020年Xu等[14]基于BRDF对NLOS场景进行建模，针对典型材料粗糙度等对NLOS的影响进行了仿真分析。2023年方宇杰等[15]以Blinn-Phong模型和Torrance-Sparrow模型的线性组合来模拟材料表面的散射特性，实现了NLOS目标光强信号的追踪与仿真。
目前BRDF模型种类很多，可根据模型依赖的理论分为经典模型、物理模型及数据驱动模型[16]，其中物理模型分为理论模型和半经验模型。半经验模型基于物理原理，更加符合物理现实规律，能够更准确地模拟光线与材料表面之间的相互作用，并且具有未知参数少、复杂程度低的优点，被广泛地用于材料表面反射特性分析。Cook-Torrance模型[17]（简称C-T模型）使用微面元概率密度分布、菲涅尔反射比和几何衰减因子对材料的散射特性进行描述，由于形式简单，符合物理规律，成为广泛使用的BRDF半经验模型之一，且衍生了很多BRDF模型，适用于瓷砖等材料介质表面的散射特性模拟。基于时间门控SPAD阵列的NLOS成像原理，本文将采用C-T模型对瓷砖等实际建筑样品表面进行散射特性建模及参数分析，对NLOS场景中不同粗糙度的中介面进行量化，为基于门控SPAD阵列的NLOS成像研究提供技术支撑。
1. 基于门控SPAD阵列的非视域成像
早期基于SPAD的NLOS成像方法大多利用单点SPAD与空间扫描相结合以进行非视域场景信息的获取[4-5]，再结合光子传输路径进行光子传输过程建模，与相应算法相结合进行反卷积或对成像逆过程的建模再进行求解来获取隐藏空间内物体的三维成像结果。图 1是基于单点SPAD与激光扫描模式相结合的成像系统通过扫描结构获得三维成像的示意图[4]，系统获取目标场景信息的时间过长，且只有接近镜面方向的能量被单光子探测器接收，再通过时间相关单光子计数（time-correlated single photon counting，TCSPC）技术获取返回光子的光子数-时间分布直方图数据（瞬态数据），由二维光机扫描设备控制获取非视域范围内的成像信息，即中介面的影响主要对应激光入射和反射角的BRDF散射特性。
![]()
基于SPAD阵列的NLOS成像技术通常将SPAD阵列与TCSPC技术或时间门控（time gating，TG）技术相结合，与TCSPC技术相结合时将SPAD探测器面阵的每个像元视为在中介面上对应的探测点[18]，可以避免空间扫描过程。基于TG-SPAD阵列的NLOS成像方法如图 2所示（图中“BIT”字样为非视域目标），其与基于单点SPAD结合空间扫描的NLOS成像方法之间不同是中介面的影响。TG技术可控制SPAD在接收中介面光子反射回来时间之前保持关闭状态，再通过时间积分或时间门控偏移的方式获取景物返回时间段内的光子或景物深度信息，再结合图像去噪算法获取非视域的目标场景，提升成像结果信噪比。将基于SPAD阵列的NLOS成像光路进行折叠，得到的等效光路如图 3所示，SPAD成像系统聚焦在非视域范围内的景物上（一般假设物镜焦距为f′，物距和像距分别为l0和l′，景物为郎伯体），通过TG技术滤除照射辐射在中介面上形成的后向散射，而前向辐射照射在景物上；景物反射辐射被物镜聚焦成像在SPAD阵列探测器上；由于在展开的等效光路图中中介面为倾斜散射面，其光轴中心与物镜距离为l，由此形成NLOS成像与常规成像不同之处：①由于中介面的散射光子属于非聚焦状态，将在SPAD阵列靶面形成弥散光斑干扰，降低成像空间分辨率（理想情况为镜面反射，随着中介面的粗糙度提高，中介面的散射效应不断提高，需要采用BRDF进行描述）；②由于脉冲激光以及选通门宽的控制，实际接收的辐射存在时间窗。因此，中介面在成像过程中造成包括空间与时间窗积分的复杂干扰辐射。
![]()
图 2 基于TG-SPAD阵列的非视域成像原理示意图Figure 2. Schematic diagram of the principle of NLOS imaging based on TG-SPAD array![]()
图 3 SPAD阵列成像等效光路及中介面弥散影响Figure 3. Equivalent optical path for SPAD array imaging and the effect of the diffusion of relay采用PI Imaging公司单光子成像器件SPAD512S（如图 4），响应波段为400~950 nm，像元数512×512，像素间距16.38 μm；填充率＞50%；暗计数＜25 cps；采集频率400 fps(8-bit)/5000 fps(4-bit)/100000 fps(1-bit/s)；具有门控功能，最小门控宽度6 ns；最小门宽延迟步进间隔17 ps；激光同步频率10/20/40 MHz；有连续强度积分和选通层析门宽内强度积分的两者成像工作模式。图 5为帧率400~100000 fps捕获的快速移动物体(风扇扇叶)。
![]()
图 5 帧率400~100000 fps的成像效果Figure 5. The imaging effects from frame rates 400 to 100 000 fps采用SPAD阵列成像组件SPAD512S可进行多种非视域成像模式的研究，但需要首先确定典型中介面材料的BRDF散射特性模型，进而确定中介面前向散射对非视域成像的影响，并重构NLOS场景。
2. 中介面的BRDF散射模型
2.1 BRDF数据测量
BRDF指光源从某一入射角度入射到材料表面一点，再从某个出射角度反射出部分光线，出射光的辐射亮度与入射光的辐射照度之间的比值，单位是sr－1，如图 6。向量n是物体表面法线方向，x为与表面相切的方向，入射光的方向由(θi, ϕi)确定，出射光的方向由(θr, ϕr)确定，入射天顶角为θi∈[0°, 90°]，入射方位角为ϕi∈[0°, 360°]，出射天顶角为θo∈[0°, 90°]，出射方位角为ϕo∈[0°, 360°]，入射方位角与出射方位角的差为Δϕ∈[0°, 360°]。由dEi表示入射光在材料表面产生的辐射照度，dLr表示出射光的辐射亮度，则材料的BRDF可表示为：
$$ {\rm{BRD}}{{\rm{F}}_{\rm{r}}}({\theta _{\rm{i}}}, {\phi _{\rm{i}}}, {\theta _{\rm{r}}}, {\phi _{\rm{r}}}) = \frac{{{\rm{d}}{L_{\rm{r}}}({\theta _{\rm{i}}}, {\phi _{\rm{i}}}, {\theta _{\rm{r}}}, {\phi _{\rm{r}}})}}{{{\rm{d}}{E_{\rm{i}}}({\theta _{\rm{i}}}, {\phi _{\rm{i}}})}} $$ (1) ![]()
图 6 BRDF角度几何关系示意图Figure 6. Schematic diagram of the geometric relationships in BRDF angles实验中使用环境特性研究所的BRDF测量系统对NLOS场景中常用的3种建筑材料：黑色防护挡板、白色亚光瓷砖、黑色亮光瓷砖进行数据测量，如图 7，得到人为设置角度组合的BRDF数据。BRDF测量系统（如图 8）主要包括光源系统、信号探测系统、旋转扫描系统、载物台、伺服控制系统及软件控制平台等部分[19]。光源系统波长范围是400~800 nm，固定在光源臂上；信号探测系统为亮度探测计，可探测波段为410~2550 nm，可调谐波长精度为1 nm，固定在两轴转台上；旋转扫描系统为三轴转台，由光源车的转动可以改变光源入射到样品上的入射天顶角θi。由于机械结构限制，该系统的测量范围为半球空间，光源车转动范围限制在10°~85°内；由探测车的转动可以改变出射天顶角θr，可测量范围是10°~85°；由探测轨的转动可以改变出射方位角ϕr，可转动范围是0°~360°，测量精度均为0.1°。
BRDF的测量方法分为绝对测量法和相对测量法两种，相对测量法又可以分为对比测试法和单一参考标准法两种，该系统适用于对比测试法，引入已知BRDF的参考标准板（聚四氟乙烯）作为标准试样，非常接近朗伯体，其半球反射率为ρ，双向反射分布函数为ρ/π。在相同的测量设备、入射光照条件及环境下分别对参考标准板和待测材料进行测量，待测样品的BRDF可表示为：
$$ {f_{\rm{S}}}({\theta _{\rm{i}}}, {\phi _{\rm{i}}}, {\theta _{\rm{r}}}, {\phi _{\rm{r}}}) = \frac{{{V_{\rm{S}}}}}{{{V_{\rm{B}}}}}{f_{\rm{B}}}({\theta _{\rm{i}}}, {\phi _{\rm{i}}}, {\theta _{\rm{r}}}, {\phi _{\rm{r}}}) $$ (2) 式中：fS和fB分别表示待测材料和参考标准板的BRDF；VS和VB分别表示待测材料和参考标准板的亮度探测器输出的测量值。
考虑到测量设备的入射天顶角及出射天顶角的范围限制，将测量角度设置到合理范围，入射天顶角θi设置为：30°、40°和50°，出射天顶角θr设置为：20°、30°、40°、50°、60°和70°，固定入射方位角为0°，改变出射方位角ϕi，即方位角之差Δϕ设置为30°、60°、90°、120°、150°和180°。
考虑到瓷砖具有光泽性，在镜面反射方向附近的反射光强度较大，因此在对应方向附近测量的点设置的较密集，在入射光镜面反射方向的±1°，±2°，±3°，±4°和±5°也进行测量。对于每一个固定的出射方位角差，设定的θi与θr的组合如表 1所示。
表 1 入射天顶角和出射天顶角的角度组合Table 1. The combination of angles of incidence and angles of reflectionAngles of incidence θi/(°) Angles of reflection θr/(°) 30 20 25 26 27 28 29 30 31 32 33 34 35 40 50 60 70 40 20 30 35 36 37 38 39 40 41 42 43 44 45 50 60 70 50 20 30 40 45 46 47 48 49 50 51 52 53 54 55 60 70 2.2 BRDF散射模型
BRDF在不同领域衍生出了很多不同的模型，C-T模型是应用广泛的半经验模型，具有物理意义且表达公式简洁，可有效模拟光线与瓷砖等材料之间的相互作用，本文基于该模型对待测材料的散射特性进行建模。
微平面理论是基于物理的BRDF模型的基石，从微观角度出发，可以用无数个具有随机朝向的带有理想反射的微平面对材料表面进行模拟，其中每个微面元都遵循菲涅尔反射定律。具有不同粗糙度的物体表面会有不同的表面结构分布，表面越粗糙，微表面结构分布越混乱。入射光、出射光与材料宏观表面和微面元之间的关系如图 9所示。其中wi和wr分别为入射光和反射光方向，n为材料表面宏观法线方向，n′为入射面元的微观法线方向，θi和θr分别为入射和反射天顶角，α为微面元法线与宏观法线之间的夹角，θo为入射光与微面元法线之间的夹角，同时等于出射光与微面元法线之间的夹角。根据图中各角度的角度关系可得：
$$ \cos {\theta _{\rm{o}}} = \sqrt {\frac{{\cos {\theta _{\rm{i}}}\cos {\theta _{\rm{r}}} + \sin {\theta _{\rm{i}}}\sin {\theta _{\rm{r}}}\cos \Delta \varphi + 1}}{2}} $$ (3) $$ \cos \alpha = \frac{{\cos {\theta _{\rm{i}}} + \cos {\theta _{\rm{r}}}}}{{2\cos {\theta _{\rm{o}}}}} $$ (4) 微面元的法线概率密度分布函数D(α)应满足三个条件：恒为非负数；D(α)的期望值应与宏观表面法线方向相同；且：
$$ \int_\varOmega {D(\alpha ){\rm{d}}\alpha = 1} $$ 法线概率密度分布函数可表示为：
$$ D(\alpha ) = \frac{1}{{{{\cos }^4}\alpha }}{\chi _{[0, \frac{{\pi} }{2}]}}(\alpha )P({\tan ^2}\alpha ) $$ (5) $$ {\chi }_{[0, \frac{{\rm{ \mathsf{ π}}} }{2}]}(\alpha )=\left\{ \begin{array}{l} 1\;\;\;\;\;\;\text{ }\alpha \in [0, {\rm{ \mathsf{ π}}} /2]\\ 0\;\;\;\;\;\;\;\;\text{ }其他 \end{array} \right. $$ (6) 式中：P(α)是概率密度分布函数。
C-T模型包含漫反射和镜面反射部分。由菲涅尔定律，镜面反射分量可表示为：
$$ \begin{array}{l} {f_{\rm{s}}}({\theta _{\rm{i}}}, {\theta _{\rm{r}}}, \Delta \varphi ) = \hfill \\ \;\;\;\frac{{D({\theta _{\rm{i}}}, {\theta _{\rm{r}}}, \Delta \varphi ) \cdot G({\theta _{\rm{i}}}, {\theta _{\rm{r}}}, \Delta \varphi ) \cdot F({\theta _{\rm{i}}})}}{{4|n \cdot {w_{\rm{i}}}||n \cdot {w_{\rm{r}}}|}} \hfill \end{array} $$ (7) 根据图 9，可将C-T模型表示为：
$$ \begin{array}{l} {\rm{BRD}}{{\rm{F}}_{C - T}}({\theta _{\rm{i}}}, {\theta _{\rm{r}}}, \Delta \varphi ) = \frac{{{k_{\rm{d}}}}}{{\rm{ \mathsf{ π}}} } + \hfill \\ \;\;\;{k_{\rm{s}}}\frac{{D({\theta _{\rm{i}}}, {\theta _{\rm{r}}}, \Delta \varphi ) \cdot G({\theta _{\rm{i}}}, {\theta _{\rm{r}}}, \Delta \varphi ) \cdot F({\theta _{\rm{i}}})}}{{4\cos {\theta _{\rm{i}}}\cos {\theta _{\rm{r}}}}} \hfill \end{array} $$ (8) 式中：kd与ks分别表示漫反射与镜面反射分量；由于能量守恒，有ρd+ρs≤1；D表示法线分布函数，对所有微面元法线分布概率进行描述；G表示几何函数，对入射与反射时产生的阴影与遮蔽情况进行描述，取值范围为[0, 1]；F为菲涅尔反射比，对不同入射光角度下反射光所占比率进行描述，取决于入射角度和介质折射率，取值范围为[0, 1]；θi与θr分别是入射角与反射角。
C-T模型使用Beckmann分布作为法线概率密度分布
$$ P(x) = \frac{1}{{{\rm{ \mathsf{ π}}} {m^2}}}{{\rm{e}}^{ - \frac{x}{{{m^2}}}}} $$ (9) 式中：x＝tan2α；m表示微面元的均方根斜率，即材料粗糙度。
C-T模型将相邻微面元看成V腔结构，并考虑遮蔽和阴影的作用，可表示为：
$$ G = \min (1, \frac{{2\cos \alpha \cos {\theta _{\rm{r}}}}}{{\cos {\theta _{\rm{o}}}}}, \frac{{2\cos \alpha \cos {\theta _{\rm{i}}}}}{{\cos {\theta _{\rm{o}}}}}) $$ (10) s与p偏振光的菲涅尔反射比可表示为：
$$ \left\{ \begin{array}{l} {r_{{{\rm{s}}}}} = {\left[ {\frac{{{n_1}\cos {\theta _{{i}}} - {n_2}\sqrt {1 - {{(\frac{{{n_1}}}{{{n_2}}}\sin {\theta _{{i}}})}^2}} }}{{{n_1}\cos {\theta _{{i}}} + {n_2}\sqrt {1 - {{(\frac{{{n_1}}}{{{n_2}}}\sin {\theta _{{i}}})}^2}} }}} \right]^2} \hfill \\ {r_{\rm{p}}} = {\left[ {\frac{{{n_1}\sqrt {1 - {{(\frac{{{n_1}}}{{{n_2}}}\sin {\theta _{{i}}})}^2}} - {n_2}\cos {\theta _{{i}}}}}{{{n_1}\sqrt {1 - {{(\frac{{{n_1}}}{{{n_2}}}\sin {\theta _{{i}}})}^2}} + {n_2}\cos {\theta _{{i}}}}}} \right]^2} \hfill \end{array} \right. $$ (11) 式中：n1为空气折射率（n1＝1）；n2为介质折射率。当非偏振光入射时，菲涅尔方程可表示为：
$$ F({n_1}, {n_2}, {\theta _{{i}}}) = {{({r_{\rm{s}}} + {r_{\rm{p}}})} / 2} $$ (12) 采用C-T模型对非视域场景的中介面材料表面散射特性进行建模时，需获得材料微面元的均方根斜率m、介质折射率n2、漫反射系数kd与镜面反射系数ks四个特征参量。
图 10为C-T模型以入射天顶角θi＝40°，方位角之差Δϕ＝180°，[m, n2, kd, ks]＝[0.08, 1.60, 0.05, 0.90]时材料的BRDF全空间分布示意图，可以看出：散射在子午面外是对称分布，但在子午面内不对称。为了分析特征参量对C-T模型拟合的影响，以入射天顶角θi＝40°为例，设置基础[m, n2, kd, ks]＝[0.08, 1.60, 0.05, 0.90]，通过控制变量，依次微调各参量的值来讨论参量对BRDF分布的影响，选取方位角之差为180°时的测量数据进行对比，如图 11。
![]()
图 11 中介面参数对C-T模型的影响Figure 11. The impact of parameters of the relays on the C-T model图 11(a)中设置参量m值为0.07、0.08、0.09，固定其他3个参数，由图可知参量m的作用体现在使BRDF的分布展宽或压缩，m值越大镜面高光范围分布更广，强度更低；反之则更尖锐、更集中。图 11(b)中设置参量n2值为1.50、1.60、1.70，固定其他3个参数，由图可知参量n2决定了整体反射率的大小，n2值越大，材料在各方向上的反射率越高；反之则越小；图 11(c)中设置参量kd值为0.01，0.05，0.10，固定其他3个参数，由图可知参量kd改变漫反射分量大小，决定了材料在没有直接或明亮光照射下的基础亮度，kd值越大，材料漫反射分量占比越大，材料基础亮度越高；反之则占比越小，基础亮度越低；图 11(d)中设置参量ks值为0.85、0.90、0.95，固定其他3个参数，由图可知参量ks改变镜面高光部分的强度，ks值越大，则镜面反射方向上的BRDF值越大，亮度越高；反之则BRDF值越小，亮度越低。
3. BRDF模型特征参量的GA拟合
选取NLOS场景下的典型中介面材质作为测试样本（黑色防护挡板、白色亚光瓷砖及黑色亮光瓷砖），采用C-T模型进行散射特性建模，每种材料包含4个参量，如何寻找一组参数组使得拟合曲线“最佳”属于最优化问题。遗传算法（genetic algorithm, GA）具有可以跳出函数的局部最优，快速寻找全局最优解的优化方法[20]。我们采用GA寻优获得符合材料散射特性的模型参量。
优化过程设置初始种群数量为100，最大遗传代数1000，交叉概率0.8，变异概率0.01，适应度函数可按式(13)计算[8]：
$$ E(x) = \frac{{\sum\nolimits_{{\theta _{\rm{i}}}} {\sum\nolimits_{{\theta _{\rm{r}}}} \begin{array}{l} {g_1}({\theta _{\rm{i}}}){g_2}({\theta _{\rm{r}}}) \cdot \hfill \\ {({\rm{BRD}}{{\rm{F}}_{\rm{r}}}\cos {\theta _{\rm{r}}} - {\rm{BRDF}}_{\rm{r}}^0\cos {\theta _{\rm{r}}})^2} \hfill \end{array} } }}{{\sum\limits_{{\theta _{\rm{i}}}} {\sum\limits_{{\theta _{\rm{r}}}} {{g_1}({\theta _{\rm{i}}}){g_2}({\theta _{\rm{r}}}){{({\rm{BRDF}}_{\rm{r}}^0\cos {\theta _{\rm{r}}})}^2}} } }} $$ (13) 式中：x＝(ρd, ρs, a, b)T是模型参数的向量表示；BRDFr为模型拟合值；BRDFr0为实际测量值，g1(θi)和g2(θr)为加权函数，用于调整各个角度的误差对总误差的影响，这里取1，n为测量点的个数。
为使算法符合物理规律，对4个待拟合参数设置约束条件：ρd∈[0, 1]，ρs∈[0, 1]，m∈[0, 1]，n2∈[1, 3]，且ρd+ρs≤1。由于测试设备误差、环境干扰、样品缺陷、测量操作人员等因素，往往导致部分测量值异常（即“坏点”），会使模型准确性及可靠性下降，故在GA拟合前需对测量BRDF数据进行筛选，去除异常值和无效值。
采用RANSAC（random sample consensus）算法[21]对“坏点”进行处理，通过随机选取部分角度及其对应的BRDF数据，计算每个点相对于模型的拟合误差，若误差低于预设的阈值，则将该点视为“内点”，重复上述步骤计算直到得到一个好的模型，每次迭代会得到不同的内点集合，选取内点数最多的集合作为内点进行参数求解。取黑色防护挡板在30°天顶角入射的BRDF测量值进行实验，图 12是对原始测量数据进行GA拟合的结果，误差为4.75%。
![]()
图 12 黑色防护挡板的BRDF数据与C-T模型拟合（入射天顶角为30°）Figure 12. The BRDF data and the C-T model fitting of the original BRDF data for black protective baffle when the angle of incidence is 30°取黑色防护挡板、白色亚光和黑色亮光瓷砖三种材料分别在入射天顶角θi＝30°、40°和50°，方位角Δφ＝180°，出射天顶角θr＝20°、30°、40°、50°、60°和70°时的BRDF测试数据进行GA拟合，得到BRDF模型对应的4个参量kd、ks、m和n2数据如表 2所示。将表 2的材料特征参量带到C-T模型式(8)得到典型材料在不同角度的BRDF测试值，图 13给出3个天顶角下的BRDF分布曲线（图中将坏点一并标出，大多数“坏点”为1个），“坏点”角度分布依据RANSAC算法的处理结果各异。可以看出，典型材料的BRDF模型拟合与实际BRDF测试数据符合良好，表明模型可有效描述待测样品；如图 13(a)中第一行对测量值剔除“坏点”之后的拟合误差约为0.06%，相对图 12的4.75%精度得到明显提高，即模型与测量值之间的拟合良好，RANSAC算法可有效剔除测量过程中的“坏点”，提高模型拟合准确性。
表 2 入射天顶角为30°、40°、50°时遗传算法得到的特征参量Table 2. The characteristic parameters obtained by GA when the incident zenith angle is either 30°or 40°or 50°Angles of incidence Samples kd ks m n2 Iterations Emin 30° Black protective shield 0.00 0.86 0.17 2.26 629 0.06% White matte tile 0.81 0.18 0.07 1.67 107 0.79% Black glossy tile 0.08 0.21 0.05 1.46 116 0.16% 40° Black protective shield 0.00 0.90 0.15 2.26 243 0.35% White matte tile 0.75 0.21 0.08 1.67 212 0.26% Black glossy tile 0.07 0.15 0.05 1.46 982 0.13% 50° Black protective shield 0.00 0.60 0.14 2.26 196 0.21% White matte tile 0.79 0.21 0.08 1.67 114 0.23% Black glossy tile 0.06 0.38 0.07 1.46 109 0.36% ![]()
图 13 3种入射角下3种典型样品BRDF测量值及其拟合曲线Figure 13. Measurement values and fitting curves of BRDF for three typical samples under three different incidence angles对于特定材质，BRDF模型的特征参数[m, n2, kd, ks]是确定的，但是受各种误差因素影响，由某种材质3个角度实测数据得到的特征参数之间存在一定偏差，但基本数值大致接近。为此，以3个角度对应特征参数的平均值作为该材质C-T模型的特征参数，即黑色防护挡板[0.00, 0.79, 0.15, 2.26]，白色亚光瓷砖[0.78, 0.20, 0.08, 1.67]和黑色亮光瓷砖[0.07, 0.25, 0.06, 1.46]，并用其分别推断入射角30°、40°、50°时的BRDF拟合结果及如表 3所示，其与自身实验拟合结果有一定的偏差，但总体上在全角度范围的相对误差较小，表明了方法的可靠性。
表 3 基于材料特征参数对天顶角30°，40°及50°的BRDF推定Table 3. Presumption of BRDF for zenith angles of 30°, 40°, and 50° based on characteristic parameters of the samplesSamples to be measured Angles of incidence Angles of reflection 20° 30° 40° 50° 60° 70° Black protective shield 30° Measured values/(sr-1) - 0.4052 0.3146 0.1596 0.0313 0.0062 Model fitting values/(sr-1) 0.2790 0.3651 0.2790 0.1224 0.0292 0.0034 Presumption/(sr-1) 0.3521 0.4873 0.3521 0.1301 0.0230 0.0017 Relative error/(%) 26.20 33.47 26.20 6.29 21.23 50.00 40° Measured values/(sr-1) 0.1331 0.4532 0.6232 0.4889 0.1960 0.0380 Model fitting values/(sr-1) 0.1728 0.4605 0.6343 0.4605 0.1726 0.0314 Presumption/(sr-1) 0.1512 0.4093 0.5664 0.4093 0.1512 0.0268 Relative error/(%) 12.50 11.12 10.70 11.12 12.40 14.65 50° Measured values/(sr-1) 0.0082 0.1385 - 0.6154 0.4389 0.1681 Model fitting values/(sr-1) 0.0185 0.1366 0.4312 0.6276 0.4312 0.1366 Presumption/(sr-1) 0.0342 0.1931 0.5225 0.7232 0.5225 0.1931 Relative error/(%) 84.86 41.36 21.17 15.23 21.17 41.36 White matte tile 30° Measured values/(sr-1) 0.2486 0.4138 - 0.1795 0.1339 0.1066 Model fitting values/(sr-1) 0.2968 0.4117 0.2533 0.1625 0.1250 0.0855 Presumption/(sr-1) 0.2904 0.4009 0.2473 0.1611 0.1241 0.0849 Relative error/(%) 2.16 2.62 2.37 0.86 0.72 0.70 40° Measured values/(sr-1) 0.2430 0.2599 0.4414 0.2451 0.1228 0.0762 Model fitting values/(sr-1) 0.2259 0.2799 0.4411 0.2266 0.1209 0.0817 Presumption/(sr-1) 0.2352 0.2843 0.4159 0.2289 0.1260 0.0849 Relative error/(%) 4.12 1.57 5.71 1.02 4.22 3.92 50° Measured values/(sr-1) 0.2432 0.2377 0.3202 0.5112 0.2277 0.1051 Model fitting values/(sr-1) 0.2355 0.2196 0.2966 0.5087 0.2299 0.0883 Presumption/(sr-1) 0.2333 0.2177 0.2884 0.4794 0.2223 0.0876 Relative error/(%) 0.93 0.87 2.76 5.76 3.31 0.79 Black glossy tile 30° Measured values/(sr-1) 0.0338 0.2928 - 0.0258 0.0194 0.0113 Model fitting values/(sr-1) 0.075 0.2928 0.0699 0.0190 0.0146 0.0100 Presumption/(sr-1) 0.0491 0.2516 0.0452 0.0144 0.0111 0.0076 Relative error/(%) 34.53 14.07 35.34 24.21 23.97 24.00 40° Measured values/(sr-1) 0.0179 0.0253 0.3068 - 0.0207 0.0116 Model fitting values/(sr-1) 0.0216 0.0281 0.3067 0.0230 0.0115 0.0079 Presumption/(sr-1) 0.021 0.0546 0.3085 0.0496 0.0112 0.0076 Relative error/(%) 2.78 94.31 0.59 115.65 2.61 3.80 50° Measured values/(sr-1) 0.0190 0.0198 0.1048 0.5198 - 0.0342 Model fitting values/(sr-1) 0.0199 0.0193 0.1215 0.5078 0.1158 0.0082 Presumption/(sr-1) 0.0209 0.0194 0.0710 0.4599 0.0651 0.0077 Relative error/(%) 5.03 0.52 41.56 9.43 43.78% 6.10 4. 总结
基于SPAD阵列的非视域成像是重要的实用模式之一，与SPAD单元探测器共焦扫描非视域成像模式不同，中介面的粗糙度对基于时间门控SPAD阵列的非视域成像的影响明显。本文研究了建筑材料的BRDF散射特性，采用C-T模型对常见的黑色防护挡板、白色亚光瓷砖、黑色亮光瓷砖3种建筑材料进行建模，分析模型特征参量对BRDF的影响。通过BRDF测试系统测量了材料的BRDF，并采用遗传算法对C-T模型的特征参量进行了拟合，验证了可利用模型预测材料的BRDF分布。
为了确定典型中介面的BRDF散射特性模型，可用一组特征参数[m, n2, kd, ks]来表征某种典型材料的BRDF特性，通过加大典型材料类型的数据采集，建立典型材料性能数据库，可为后续NLOS成像的图像处理提供基础参数，为非视域成像理论和技术研究提供有效的中介面模型，促进非视域成像装备的发展和实用化。
-
![]()
![]()
图 2 基于TG-SPAD阵列的非视域成像原理示意图
Figure 2. Schematic diagram of the principle of NLOS imaging based on TG-SPAD array
![]()
图 3 SPAD阵列成像等效光路及中介面弥散影响
Figure 3. Equivalent optical path for SPAD array imaging and the effect of the diffusion of relay
![]()
图 5 帧率400~100000 fps的成像效果
Figure 5. The imaging effects from frame rates 400 to 100 000 fps
![]()
图 6 BRDF角度几何关系示意图
Figure 6. Schematic diagram of the geometric relationships in BRDF angles
![]()
图 11 中介面参数对C-T模型的影响
Figure 11. The impact of parameters of the relays on the C-T model
![]()
图 12 黑色防护挡板的BRDF数据与C-T模型拟合（入射天顶角为30°）
Figure 12. The BRDF data and the C-T model fitting of the original BRDF data for black protective baffle when the angle of incidence is 30°
![]()
图 13 3种入射角下3种典型样品BRDF测量值及其拟合曲线
Figure 13. Measurement values and fitting curves of BRDF for three typical samples under three different incidence angles
表 1 入射天顶角和出射天顶角的角度组合
Table 1 The combination of angles of incidence and angles of reflection
Angles of incidence θi/(°) Angles of reflection θr/(°) 30 20 25 26 27 28 29 30 31 32 33 34 35 40 50 60 70 40 20 30 35 36 37 38 39 40 41 42 43 44 45 50 60 70 50 20 30 40 45 46 47 48 49 50 51 52 53 54 55 60 70 
下载: 导出CSV
表 2 入射天顶角为30°、40°、50°时遗传算法得到的特征参量
Table 2 The characteristic parameters obtained by GA when the incident zenith angle is either 30°or 40°or 50°
Angles of incidence Samples kd ks m n2 Iterations Emin 30° Black protective shield 0.00 0.86 0.17 2.26 629 0.06% White matte tile 0.81 0.18 0.07 1.67 107 0.79% Black glossy tile 0.08 0.21 0.05 1.46 116 0.16% 40° Black protective shield 0.00 0.90 0.15 2.26 243 0.35% White matte tile 0.75 0.21 0.08 1.67 212 0.26% Black glossy tile 0.07 0.15 0.05 1.46 982 0.13% 50° Black protective shield 0.00 0.60 0.14 2.26 196 0.21% White matte tile 0.79 0.21 0.08 1.67 114 0.23% Black glossy tile 0.06 0.38 0.07 1.46 109 0.36%
下载: 导出CSV
表 3 基于材料特征参数对天顶角30°，40°及50°的BRDF推定
Table 3 Presumption of BRDF for zenith angles of 30°, 40°, and 50° based on characteristic parameters of the samples
Samples to be measured Angles of incidence Angles of reflection 20° 30° 40° 50° 60° 70° Black protective shield 30° Measured values/(sr-1) - 0.4052 0.3146 0.1596 0.0313 0.0062 Model fitting values/(sr-1) 0.2790 0.3651 0.2790 0.1224 0.0292 0.0034 Presumption/(sr-1) 0.3521 0.4873 0.3521 0.1301 0.0230 0.0017 Relative error/(%) 26.20 33.47 26.20 6.29 21.23 50.00 40° Measured values/(sr-1) 0.1331 0.4532 0.6232 0.4889 0.1960 0.0380 Model fitting values/(sr-1) 0.1728 0.4605 0.6343 0.4605 0.1726 0.0314 Presumption/(sr-1) 0.1512 0.4093 0.5664 0.4093 0.1512 0.0268 Relative error/(%) 12.50 11.12 10.70 11.12 12.40 14.65 50° Measured values/(sr-1) 0.0082 0.1385 - 0.6154 0.4389 0.1681 Model fitting values/(sr-1) 0.0185 0.1366 0.4312 0.6276 0.4312 0.1366 Presumption/(sr-1) 0.0342 0.1931 0.5225 0.7232 0.5225 0.1931 Relative error/(%) 84.86 41.36 21.17 15.23 21.17 41.36 White matte tile 30° Measured values/(sr-1) 0.2486 0.4138 - 0.1795 0.1339 0.1066 Model fitting values/(sr-1) 0.2968 0.4117 0.2533 0.1625 0.1250 0.0855 Presumption/(sr-1) 0.2904 0.4009 0.2473 0.1611 0.1241 0.0849 Relative error/(%) 2.16 2.62 2.37 0.86 0.72 0.70 40° Measured values/(sr-1) 0.2430 0.2599 0.4414 0.2451 0.1228 0.0762 Model fitting values/(sr-1) 0.2259 0.2799 0.4411 0.2266 0.1209 0.0817 Presumption/(sr-1) 0.2352 0.2843 0.4159 0.2289 0.1260 0.0849 Relative error/(%) 4.12 1.57 5.71 1.02 4.22 3.92 50° Measured values/(sr-1) 0.2432 0.2377 0.3202 0.5112 0.2277 0.1051 Model fitting values/(sr-1) 0.2355 0.2196 0.2966 0.5087 0.2299 0.0883 Presumption/(sr-1) 0.2333 0.2177 0.2884 0.4794 0.2223 0.0876 Relative error/(%) 0.93 0.87 2.76 5.76 3.31 0.79 Black glossy tile 30° Measured values/(sr-1) 0.0338 0.2928 - 0.0258 0.0194 0.0113 Model fitting values/(sr-1) 0.075 0.2928 0.0699 0.0190 0.0146 0.0100 Presumption/(sr-1) 0.0491 0.2516 0.0452 0.0144 0.0111 0.0076 Relative error/(%) 34.53 14.07 35.34 24.21 23.97 24.00 40° Measured values/(sr-1) 0.0179 0.0253 0.3068 - 0.0207 0.0116 Model fitting values/(sr-1) 0.0216 0.0281 0.3067 0.0230 0.0115 0.0079 Presumption/(sr-1) 0.021 0.0546 0.3085 0.0496 0.0112 0.0076 Relative error/(%) 2.78 94.31 0.59 115.65 2.61 3.80 50° Measured values/(sr-1) 0.0190 0.0198 0.1048 0.5198 - 0.0342 Model fitting values/(sr-1) 0.0199 0.0193 0.1215 0.5078 0.1158 0.0082 Presumption/(sr-1) 0.0209 0.0194 0.0710 0.4599 0.0651 0.0077 Relative error/(%) 5.03 0.52 41.56 9.43 43.78% 6.10
下载: 导出CSV
-
[1] Faccio D, Velten A, Wetzstein G. Non-line-of-sight imaging[J]. Nature Reviews Physics, 2020, 2(6): 318-327. DOI: 10.1038/s42254-020-0174-8
[2] 金欣, 杜东宇, 邓儒嘉. 非视域成像技术分析与展望(特邀)[J]. 红外与激光工程, 2022, 51(8): 14-39. JIN X, DU D Y, DENG J R. Progress and prospect of non-line-of- sight imaging(invited)[J]. Infrared and Laser Engineering, 2022, 51(8): 14-39.
[3] 许凯达, 金伟其, 刘敬, 等. 基于激光距离选通成像的非视域成像应用[J]. 红外与激光工程, 2012, 41(8): 2073-2078. XU K D, JIN W Q, LIU J, et al. Non-line-of-sight imaging based on laser range-gated imaging technology[J]. Infrared and Laser Engineering, 2012, 41(8): 2073-2078.
[4] O'Toole M, Lindell D B, Wetzstein G. Confocal non-line-of-sight imaging based on the light-cone transform[J]. Nature, 2018, 555(7696): 338-341. DOI: 10.1038/nature25489
[5] Lindell D B, Wetzstein G, O'Toole M. Wave-based non-line-of-sight imaging using fast f-k migration[J]. ACM Transactions on Graphics, 2019, 38(4): 1-13.
[6] WU C, LIU J, HUANG X, et al. Non-line-of-sight imaging over 1.43 km[J]. Proceedings of the National Academy of Sciences, 2021, 118(10): e2024468118. DOI: 10.1073/pnas.2024468118
[7] Nicodemus F E. Directional reflectance and emissivity of an opaque surface[J]. Applied Optics, 1965, 4(7): 767-775. DOI: 10.1364/AO.4.000767
[8] 吴振森, 谢东辉, 谢品华, 等. 粗糙表面激光散射统计建模的遗传算法[J]. 光学学报, 2002, 22(8): 897-901. WU Z S, XIE D H, XIE P H, et al. Modeling reflectance function from rough surface and algorithms[J]. Acta Optica Sinica, 2002, 22(8): 897-901.
[9] 何玉青, 胡文杰, 胡秀清, 等. 基于地面与低空无人机联合观测场地BRDF建模方法[J]. 光学学报, 2023, 43(15): 382-394. HE Y Q, HU W J, HU X Q, et al. Calibration site BRDF modeling method based on ground and low-altitude UAV joint observation[J]. Acta Optica Sinica, 2023, 43(15): 382-394.
[10] 马博伦, 田爱玲, 王红军, 等. 卫星光通信系统中金属结构件的表面散射特性研究[J]. 激光与光电子学进展, 2023, 60(1): 115-122. MA B L, TIAN A L, WANG H J, et al. Research of surface scattering characteristics of metal structures in satellite optical communication system[J]. Laser & Optoelectronics Progress, 2023, 60(1): 115-122.
[11] 李致廷, 刘长明, 王与烨, 等. 基于单光子探测的目标光学散射特性研究[J]. 红外与激光工程, 2022, 51(9): 284-291. LI Z T, LIU C M, WANG Y Y, et al. Research on optical scattering characteristics of targets based on single photon detection[J]. Infrared and Laser Engineering, 2022, 51(9): 284-291.
[12] 沙浩, 刘越. 基于深度学习的图像本征属性预测方法综述[J]. 图学学报, 2021, 42(3): 385-397. SA H, LIU Y. Review on deep learning based prediction of image intrinsic properties[J]. Journal of Graphics, 2021, 42(3): 385-397.
[13] ZHAO S Y, XU K D, QIU S, et al. Forward reflection characteristics of typical smooth building walls and the simulation analysis[J]. Applied Mechanics and Materials, 2014, 513: 3601-3606.
[14] 徐伟豪, 苏秀琴, 汪书潮, 等. 基于双向反射分布函数的非视域成像系统模型的仿真研究[J]. 光子学报, 2020, 49(12): 157-169. XU W H, SU X Q, WANG S C, et al. Simulation research of non-line-of- sight imaging system based on bidirectional reflectance distribution function[J]. Acta Photonic Sinica, 2020, 49(12): 157-169.
[15] 方宇杰, 王霞, 孙志斌, 等. 非视域成像中的中介面散射特性与成像仿真[J]. 光学学报, 2023, 43(4): 0429001. FANG Y J, WANG X, SUN Z B, et al. Simulation of light scattering and imaging of relay wall in non-line-of-sight imaging[J]. Acta Optica Sinica, 2023, 43(4): 0429001.
[16] Guarnera D, Guarnera G C, Ghosh A, et al. BRDF representation and acquisition[J]. Computer Graphics Forum, 2016, 35(2): 625-650.
[17] Cook R L. A reflectance model for computer graphics[J]. ACM Transactions on Graphics, 1982, 1(1): 7-24.
[18] JIN C F, TANG M, JIA L G, et al. Scannerless non-line-of-sight three dimensional imaging with a 32×32 SPAD array[J]. arXiv: Image and Video Processing, 2020.
[19] LIU Y L, YU K, LIU Z L, et al. Polarized BRDF measurement of steel E235B in the near-infrared region: based on a self-designed instrument with absolute measuring method[J]. Infrared Physics & Technology, 2018(91): 78-84.
[20] Holland J H. Adaptation in Natural and Artificial Systems: An Introductory Analysis with Applications to Biology, Control, and Artificial Intelligence[M]. Cambridge: The MIT Press, 1992.
[21] Fischler, Martin A, Robert C Bolles. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.
计量
- 文章访问数: 65
- HTML全文浏览量: 8
- PDF下载量: 28
