Research Review of Drosophila-like Compound Eye Visual Neural Computational Modeling and Bionic Applications
-
摘要: 随着类果蝇复眼视觉神经计算建模技术的快速发展，如何提高运动目标的实时检测追踪等仿生应用能力成为类果蝇复眼视觉神经领域的研究难题，所以研究类果蝇复眼视觉神经计算建模及其仿生应用具有非常重要的意义。类果蝇复眼视觉神经系统是一个高度平行的专用视觉神经网络模型，并具有适度的复杂性以允许快速进行视觉信息处理。本文首先从类果蝇复眼的生理结构、感光细胞的光电转换、视叶神经的加工处理、中央脑的认知抉择4个部分详细阐述类果蝇复眼视觉神经计算建模的研究现状，然后介绍类果蝇复眼视觉神经计算建模在军事与民用领域的典型仿生应用，最后展望了类果蝇复眼视觉神经计算建模的发展趋势与挑战。Abstract: The rapid development of the Drosophila-like compound eye visual neural computational modeling technology has improved the real-time detection and tracking of motion targets and other bionic applications a research challenge. The Drosophila-like compound eye visual neural system is a special highly parallel visual neural network model that uses moderate complexity to provide fast visual information processing. In this study, the status of current research on the visual neural computational modeling of the Drosophila-like compound eye is discussed in detail in four parts: physiological structure of the Drosophila-like compound eye, photoelectric conversion of the photoreceptor cells, processing of the optic lobe nerve, and cognitive decision of the central brain. The typical bionic applications of the Drosophila-like compound eye visual neural computational modeling in the military and civilian fields are introduced, and the development trends and challenges of the computational modeling are considered.
-
0. 引言
空中目标检测是对空作战领域的一个重要组成部分。目前很多常用的目标检测算法都是基于可见光图像来完成的，针对黑夜、多云等缺少光源、能见度低的情况，很难使目标有效成像，因此无法获得令人满意的检测效果[1]。而红外成像技术依靠目标自身的红外辐射工作，无需借助外部环境光，能够在恶劣的观测条件下探测到目标的特征并进行成像，在目标捕获、跟踪等方面有重要应用[2]。随着国家军队改革的不断深入，作战形式逐渐从机械化作战向智能化、信息化作战的方向发展[3]。因此通过红外成像所得到的信息精准快速地检测出空中目标是一个非常重要的研究方向。
随着大数据时代的到来，深度学习、人工智能等技术展现出了迅猛发展的势头，以深度学习为基础的目标检测算法凭借其优良的检测性能逐渐成为了目标检测领域中人们的首选算法[4]。当前的目标检测算法主要分为两阶段（two-stage）和单阶段（one-stage）两种。前者的两个阶段具体包括：为区分前景和背景，得到前景区域RoI（region of interest）的第一阶段（通常用矩形框来表示，被称为bbox（bounding box）），和利用RoI在CNN中所提取到的特征进行分类和回归预测的第二阶段（通常该阶段为多分类，需要区分出不同物体的类别）。R-CNN[5]，Fast R-CNN[6]，Faster R-CNN[7]是目前较为常用的两阶段目标检测算法。后者是基于anchor直接在输入图像中完成目标的检测分类以及边框调整[8]，无需其他操作。SSD（single shot multiBox detector）[9]、YOLO[10]（You only look once）是目前比较具有代表性的单阶段目标检测算法。
通常情况下，使用两阶段的目标检测算法能够在红外场景下的目标检测中得到更高的准确率，但是这类算法的检测速度难以满足空中作战对于实时性的要求[11]。而单阶段目标检测算法只需一次特征提取即可完成目标检测，能够更好地适应空中作战中复杂多变的情况[12]。YOLOv3目标检测算法在经过前两代的改良之后，凭借其高精度和极快检测速度的优势，得到了广泛的应用[13]。因此本文以YOLOv3算法为主体模型，对其进行改进和优化，使其可以从红外成像技术所得到的空中图像信息里快速精准地检测出目标。
1. 目标识别算法
1.1 YOLOv3
DarkNet-53是YOLOv3目标检测算法的骨干网络，在算法中主要负责对输入图像进行特征提取。YOLOv3为了解决深度神经网络中可能出现的冗余、梯度爆炸的问题，在网络中使用残差连接、设置了快捷链路。YOLOv3的网络结构如图 1所示：首先将需要检测的图像尺寸调整为416×416（本文尺寸均指像素）后输入网络，在Darknet-53（红框标注的部分）里进行特征提取，提取到的特征被称作特征层，是输入图片特征的集合。这个过程会对输入的图片进行5次压缩，其中在第3、第4和第5压缩结束时会得到L1、L2和L3三个有效特征层。之后借鉴了特征金字塔（feature pyramid networks, FPN）的思想，通过上采样和特征连接的方式将这3个有效特征层中不同尺度的特征融合在一起，使网络可以实现多尺度的预测。网络输出有3个分支y1、y2和y3，其中L3输出的特征是最高层的、最抽象，在经过卷积后会输出给适合较大目标检测的y1；L2输出的特征在L3的基础上做了一个上采样和一个低层的特征连接（concat）的操作，在卷积后会输出给适合检测中等目标的y2；L1输出的特征在L2的基础上做了一个上采样和一个更低层的特征连接，经过卷积后会输出给适合小目标检测的y3。图中DBL结构作为网络的基本组成模块由3个操作组成：卷积、批量标准化和激活函数；Resn结构表示每个res_block结构中res_unit的数量；concat结构代表张量拼接。
YOLOv3会通过K-Means聚类的方式得到适合不同尺度大小的先验框。由于这些先验框已经确定好了数据集中常见目标的宽和高，因此能使模型更容易学习。
1.2 EfficientNet
EfficientNet网络是2019年Tan M等人提出的一组系列网络模型，该系列模型通过平衡缩放网络的深度（depth）、宽度（width）和输入图像分辨率（resolution）这3个维度，使网络模型在精度、效率和模型大小上得到了最优的效果[14]。EfficientNet系列模型包括8个不同的网络结构（EfficientNet-B0~EfficientNet-B7），可以根据实际情况和需求，选择最合适的模型来完成目标检测。该系列模型能够以较少的模型参数量得到很好的检测结果，是当下目标检测性能最优的网络之一[15]。
EfficientNet网络通过采用复合缩放的方式，以一定的比例对卷积神经网络的3个维度进行扩展，寻找一组能使网络检测精度最大化的最优参数。模型缩放的关系式如公式(1)所示：
$$ \begin{array}{l} \max\limits _{d, w, r} \operatorname{Accuracy}(N(d, w, r)) \\ \text { s.t. } \quad N(d, w, r)=\underset{i=1, \cdots, s}{\odot} \hat{F}_i^{d \cdot \hat{L}_i}\left(X_{\left(r \cdot \hat{H}_{i, r}, \hat{W}_{i, w} \cdot \hat{C}_i\right)}\right) \\ \operatorname{Memory}(N) \leq \text { target_memory } \\ \operatorname{FLOPS}(N) \leq \text { target_flops } \end{array}$$ (1) 式中：d、w和r分别代表网络的深度、宽度和分辨率的倍率；Memory代表记忆存储器；FLOPS代表每秒浮点运算次数。这组关系式的含义在于如何优化d、w和r三个参数，使模型能在给定条件的约束下获得最佳的精度。由于这3个参数存在一定的联系，因此通过一个复合系数Φ对它们进行复合调整，以得到最优的组合参数。复合调整方法如公式(2)所示：
$$ \text { depth: } d=\alpha^{\varPhi}\\ \text { width: } w=\beta^{\varPhi}\\ \text { resolution }: r=\gamma^{\varPhi}\\ \text { s.t. } \quad \alpha \cdot \beta^2 \cdot \gamma^2 \approx 2\\ \alpha \geq 1, \beta \geq 1, \gamma \geq 1 $$ (2) 式中：α、β和γ分别代表网络深度、宽度和分辨率的分配系数。复合系数Φ是一个可调的复合系数，复合系数的值是根据当前所拥有的资源进行人工调节的。对于基线网络EfficientNet-B0来说，通过调整公式(2)中的复合系数Φ，就可扩展出剩余的Efficientnet-B1到Efficientnet-B7网络。
EfficientNet是由多个倒置瓶颈卷积模块（Mobile Inverted Bottleneck Convolution, MBConv）、卷积层、全局平均池化层和全连接层共同构成的[16]。MBConv的网络结构如图 2所示：利用1×1的卷积升高输入特征层的维数，然后进行一次深度可分离卷积，在标准化和激活函数之后施加注意力机制，再利用1×1的卷积降低特征层的维数使其与输入保持一致，最后将降维处理后的特征层与左边的残差边相加后输出。其中深度可分离卷积里的特征大小有3×3和5×5两种；注意力机制包含了最大池化、两次1×1的卷积、激活函数以及与原特征图相乘等操作。
Swish激活函数如公式(3)所示：
$$ f(x)＝x⋅\text{sigmoid}(nx) $$ (3) 式中：x为输入；n为可调参数。Swish函数没有上边界，不会出现梯度饱和的现象；拥有下边界，可以产生更强的正则化效果；非单调且处处连续可导，可以使模型更容易训练。
2. YOLOv3算法的改进
为了进一步提高YOLO v3目标检测算法对于空中红外目标的检测精度，降低模型的复杂度，拟使用EfficientNet的骨干网络代替原YOLO v3算法中的DarkNet-53完成对输入图像的特征提取，并使用性能优越的CIoU作为网络的损失函数，优化模型的损失计算方法，提升模型的预测精准度。
2.1 网络结构的改进
为了能够提升YOLO v3目标检测算法的性能，在考虑了实验环境以及数据集大小等实际因素后，设计了一组对比实验，通过对比分析这组实验结果后，本文选择使用EfficientNet-B4的主干特征提取网络完成特征提取（实验结果分析见3.3）。EfficientNet-B4共包含32个MBConv模块，为了能够使EfficientNet-B4的主干特征提取网络的输出尺寸与DarkNet-53的输出尺寸保持一致，使网络可以正常运行，取出第10个、第22个和第32个MBConv模块的输出层作为有效特征层，继续完成不同尺度间的特征融合。同时网络针对不同尺度的目标分别构建检测层，提升模型检测的精准度。
改进后的网络结构图如图 3所示：将尺寸为416×416的图像输入网络模型中，在Stem、Module2、Module3、Module4和Module6这5个模块中对输入的图像进行长和宽的压缩，Module1、Module5和Module7不对图像进行压缩，只进行特征提取。通过主干特征提取网络，可以在Module 3、Module 5和Module 7处得到3种不同尺度的有效特征层（L1：52×52，L2：26×26，L3：13×13），分别用来检测小、中、大3个不同尺度大小的目标。之后通过卷积、上采样、张量拼接等方式将深层网络与浅层网络融合，增加低层特征的表达能力，提升网络的检测性能，最后将不同尺度的目标分配到不同的预测层（y1、y2、y3）实现目标检测。
2.2 损失函数的改进
IoU（Intersection over Union）是目标检测领域的常用指标，通过计算“预测框”和“真实框”的交并比来反映目标检测的精准度[17]。YOLO v3的损失函数由3部分组成：预测框定位损失，目标置信度损失和目标类别损失[18]。其中中心点距离损失和预测框的宽高损失组成了预测框损失，因为预测框本身是一个矩形，所以通过IoU来反映预测框的精准度是很直观的。IoU的定义如公式(4)所示：
$$ \text{IoU} = \frac{{|A \cap B|}}{{|A \cup B|}} $$ (4) 但IoU也有其自身的缺陷：对于没有重叠的预测框与真实框来说，|A∩B|的值为0，导致得到的IoU也为0，无法反映出两者的距离大小，且由于没有梯度回转，无法继续进行学习训练。为了解决这个问题，后来的研究者们分别提出了GIoU、DIoU和CIoU作为损失函数[19]。GIoU在IoU的基础上加强了对于非重合区域的关注，能够更好地反映出预测框与真实框的重合度；但是当目标框与预测框处于同一平面时，GIoU就会退化为IoU，会造成收敛变慢、回归不够准确等问题。DIoU和CIoU的作者Zheng等人表示一个优秀的回归定位损失应该包括重叠的面积、中心点距离和长宽比这3种几何参数[20]。因此CIoU在计算损失时考虑了这些因素，在损失函数的迭代过程中使预测框不断向真实框移动，尽可能保证了预测框和真实框的宽高纵横比更为接近，提高了检测精度，而且加快了预测框的回归收敛速度。CIoU的损失函数如公式(5)所示：
$$ {L_\text{CIoU}} = 1 -\text{ IoU }+ \frac{{{\rho ^2}(b,{b^\text{gt}})}}{{{c^2}}} + mv $$ (5) 式中：c为能够将预测框和真实框同时包含在一起的最小闭包区域的对角线距离；ρ(b, bgt)为真实框和预测框中心点的欧氏距离；m为权重函数；v为度量长宽比相似性的函数。m和v的定义如公式(6)、公式(7)所示：
$$ m = \frac{v}{{1 - \text{IoU} + v}} $$ (6) $$ v = \frac{4}{{{\pi ^2}}}{(\arctan \frac{{w_1^\text{gt}}}{{{h^\text{gt}}}} - \arctan \frac{{{w_1}}}{h})^2} $$ (7) 式中：w1、h和w1gt、hgt分别代表预测框的宽高和真实框的宽高。
3. 实验结果与分析
本文的实验条件如表 1所示。
表 1 实验环境Table 1. Lab environmentParameters Configuration Operating system Linux Video memory 16 G Training framework TensorFlow-GPU 2.3.0 Programming language Python GPU NVIDIA RTX2080Ti 3.1 实验数据与评价指标
本实验的数据来自某航天研究所的红外成像视频文件，包括单飞行器目标干扰投放和多飞行器目标干扰投放。单目标视频文件共有2627帧图片，每帧图片的大小是512×640；多目标视频文件共有589帧图片，每帧图片的大小是512×640。实验的目标是：投放干扰源前的飞行器目标检测，投放干扰源后飞行器与干扰的目标检测。
本文从两份视频文件中选取部分合适的图片组成自建数据集。由于该视频文件的红外图像中，部分目标细节模糊、整体的对比度较低，直接利用从视频文件中选取的原图进行模型训练会导致检测精度较低、误差较大，所以需要对图像进行预处理，增强目标清晰度；针对自建数据集的样本较少，采用几何变换（镜像、旋转等）、像素调整（调整对比度、亮度等）方式增加图像样本，扩充自建数据集。目前自建数据集含有2500张红外场景图像，按照比例随机取2025张图像、225张图像、250张图像分别作为模型的训练集、验证集和测试集。
本文使用平均准确率（mean average precision，mAP）对目标检测算法进行性能评价，以了解模型正确分类的能力。计算mAP需要两个参数：查准率（Precision）和召回率（Recall）。查准率是指预测正确的正样本占全部正样本的比例，定义如公式(8)所示：
$$ \text{Precision} = \frac{\text{TP}}{{\text{TP} + \text{FP}}} $$ (8) 召回率是指预测为正样本占全部正样本的比例，定义如公式(9)所示：
$$ \text{Recall} = \frac{\text{TP}}{{\text{TP} + \text{FN}}} $$ (9) 式中：TP表示预测和实际都为正样本；FP表示实际的负样本被预测为正样本；FN表示实际的正样本被预测为负样本。
基于召回率和查准率，可计算得到每个种类的AP（average precision），其定义如公式(10)所示：
$$ \text{AP} = \int_0^1 {P(R)\text{d}R} $$ (10) mAP就是对所有种类的AP求均值，其定义如公式(11)所示：
$$ \text{mAP} = \frac{{\sum\limits_{i = 1}^k {\text{A}{\text{P}_i}} }}{k} $$ (11) 式中：k为要检测的目标类别总数；APi和mAP的值在0和1之间，越接近于1，说明目标检测算法的性能越好。
3.2 训练过程
由于网络内部的参数过多，需要大量训练样本才能拟合出一个性能良好的模型。而本文数据集的样本有限，若直接将其用于模型训练，会产生训练速度慢以及准确率不高的问题。因此决定采用迁移学习的思想，先使用PASCAL VOC数据集对网络模型进行训练获得预训练模型，针对空中红外目标的检测，在预训练模型的基础上使用自建数据集进行迁移学习。
迁移学习的过程分为两个阶段：第一个阶段是冻结训练的阶段，这个阶段会冻结模型的主干网络，不改变特征提取网络的参数，只会对网络的部分结构进行微调，这个阶段将学习率设置为0.001，batch_size设置为16，epoch设置为50，冻结的层数为前468层；第二个阶段是解冻阶段的训练，这个阶段模型的主干网络不再冻结，特征提取网络开始发生改变，其中学习率设置为0.0001，batch_size设置为8，epoch设置为50。
3.3 同系列算法实验对比
为了能够在EfficientNet系列网络中选择出最合适的模型作为本文算法的主干特征提取网络，本文设计了一组实验进行对比分析，实验中分别使用EfficientNet B1-B6替换YOLOv3的主干网络Darknet-53，经过模型的训练测试后得到各个模型的mAP和Model size，实验结果如表 2所示。从表 2中可以看出EfficientNet系列网络的B1、B2、B3、B5的mAP都低于YOLOv3，B4和B6的mAP高于YOLOv3，而B4以不到B6一半的模型大小得到了和B6相似的检测精度，因此最终选择EfficientNet-B4为本文算法的主干特征提取网络。
表 2 同系列算法实验对比Table 2. Experiment comparison of the same series of algorithmsBackbone feature extraction network mAP@0.5 Model size/MB Darknet-53 0.8251 235.5 Efficientnet-B1 0.7822 50.9 Efficientnet-B2 0.8216 62.1 Efficientnet-B3 0.8185 78.1 Efficientnet-B4 0.8289 117.7 Efficientnet-B5 0.8203 173.7 Efficientnet-B6 0.8292 238.4 3.4 实验结果定性分析
在自建数据集中，随机抽取3类测试图像，测试3.2中通过迁移学习训练所得到的模型，单目标飞行器的检测效果如图 4所示，多目标飞行器的检测效果如图 5所示，干扰条件下多目标飞行器的检测效果如图 6所示。
![]()
图 6 基于EN-YOLOv3模型的干扰条件下的多目标检测Figure 6. Multi-target detection under interference conditions based on EN-YOLOv3 model从图中可以看出，无论是不同飞行姿态下的单目标飞行器，还是有无干扰下的多目标飞行器，均可通过本模型得到正确标定，且标定矩形框的大小与目标区域大小相符。实验结果可以定性表明，改进后的EN-YOLOv3算法能够从红外图像中准确检测和定位空中红外目标。
3.5 实验结果定量分析
为定量验证改进算法的有效性，本文采用消融研究的思想设立了3组模型并分别进行训练，3组模型结构见表 3，表格中的“√”和“×”分别代表了使用和不使用该模块。其中，Model 1是原始的YOLOv3模型，Model 2和Model 3是对主干特征提取网络和损失函数分别进行改进验证的模型，Model 3为本文所构建的模型。
表 3 基于消融实验所设立的不同模型结构Table 3. Different model structures established based on ablation experimentsModel Backbone feature extraction network CIoU Darknet-53 Efficientnet-B4 Model 1 √ × × Model 2 × √ × Model 3 × √ √ 不同模型下的mAP和FPS如表 4所示，从表 4中可以看出，Model 2使用EfficientNet-B4作为网络的主干特征提取网络时，得到的mAP与YOLO v3（Model 1）相比上升了0.38个百分点，Model 3在Model 2的基础上使用CIoU作为损失函数后，得到的mAP与YOLOv3（Model 1）相比上升了1.17个百分点。另外Model 2和Model 3在目标检测速度方面略低于Model 1，但是差距很小，能够满足红外场景下空中目标检测对于算法实时性的要求。由此可见经过主干网络和损失函数改进后的Model 3可以在满足目标检测速度要求的同时更加精准地检测出空中红外目标。
表 4 不同模型下的mAP和FPSTable 4. mAP and FPS under different modelsModel Model 1 Model 2 Model 3 mAP@0.5 0.8251 0.8289 0.8368 FPS 45 43 43 表 5为经过训练后各组模型的大小和参数情况。表 5的数据表明，就模型大小而言，改进后算法（Model 3）相比于YOLO v3（Model 1）降低了50.03%，模型的参数量也大大减少，表明使用EfficientNet作为目标检测模型的主干特征提取网络相比DarkNet-53更加轻量高效。对比分析表明，本文所提出的EN-YOLO v3目标检测算法与原YOLOv3算法相比有了较大的提升，说明本文提出的目标检测算法更加适合检测空中的红外目标。
表 5 不同模型结构下的模型尺寸和参数数量Table 5. Model size and parameter quantity under different model structuresModel General parameters Trainable parameters Non-trainable parameters Model size/MB Model 1 61581727 61529119 52608 235.5 Model 2 30562887 30428887 134000 117.7 Model 3 30562887 30428887 134000 117.7 4. 结语
空中红外目标检测是现代空战中的一个重要组成部分，目标检测的能力在实战当中有很大的影响。为了能够进一步提升目标检测算法的性能，本文对于YOLOv3算法进行了优化。首先摒弃参数过多的DarkNet-53，使用EfficientNet的骨干网络完成特征的提取，降低模型的复杂度，减少模型的参数量，提升了训练速度；使用CIoU作为网络模型的损失函数，在计算损失时考虑中心点距离、重叠面积和长宽比这3个要素，使模型的预测框更加符合真实框，提升了模型预测的精准度。实验的测试结果表明，本文提出的EN-YOLO v3算法在检测速度略低于YOLO v3的情况下，模型大小比YOLO v3降低了50.03%，精准度比YOLO v3提升了1.17%。在下一步的研究工作中，将会以本文为基础，继续扩展数据集，实现红外场景下不同机型的检测。
-
![]()
![]()
图 2 类果蝇复眼视觉神经通路与图像/视频信息处理对应关系图
Figure 2. Corresponding diagram between the visual pathway of the Drosophila-like compound eye and the image/video information processing
![]()
![]()
![]()
图 5 国外人工仿生复眼光学成像模型
Figure 5. Foreign artificial bionic compound eye optical imaging model
![]()
图 6 国内人工仿生复眼光学成像模型
Figure 6. Domestic artificial bionic compound eye optical imaging model
![]()
![]()
图 9 类果蝇复眼运动神经网络模型的示意图
Figure 9. Schematic diagram of the movement neural network model in Drosophila-like compound eye
![]()
![]()
![]()
-
[1] 巩宪伟, 鱼卫星, 张红鑫, 等. 仿生复眼成像系统设计与制作的研究进展[J]. 中国光学, 2013, 6(1): 34- 45. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGGA201301007.htm GONG Xianwei, YU Weixing, ZHANG Hongxin, et al. Progress in design and fabrication of artificial compound eye optical systems[J]. Chinese Optics, 2013, 6(1): 34-45. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGGA201301007.htm
[2] 王汉熙, 张进, 易茂祥, 等. 复眼技术专利结构分析[J]. 武汉理工大学学报, 2018, 40(2): 106-112. https://www.cnki.com.cn/Article/CJFDTOTAL-WHGY201802018.htm WANG Hanxi, ZHANG Jin, YI Maoxiang, et al. Analysis of patent structure of compound eye technology[J]. Journal of Wuhan University of Technology, 2018, 40(2): 106-112. https://www.cnki.com.cn/Article/CJFDTOTAL-WHGY201802018.htm
[3] 王申奥, 王汉熙. "人造复眼"英文学术文献展现的学术研究整体态势[J]. 武汉理工大学学报, 2020, 42(2): 90-102. https://www.cnki.com.cn/Article/CJFDTOTAL-WHGY202002016.htm WANG Shenao, WANG Hanxi. Academic research situation and development direction of the artificial compound eye in English academic literature[J]. Journal of Wuhan University of Technology, 2020, 42(2): 90-102. https://www.cnki.com.cn/Article/CJFDTOTAL-WHGY202002016.htm
[4] 吴慧娟, 陈晓江, 王汉熙. "复眼系统"中文学术文献展现的整体态势与发展方向[J]. 武汉理工大学学报, 2020, 42(3): 97-108. https://www.cnki.com.cn/Article/CJFDTOTAL-WHGY202003018.htm WU Huijuan, CHEN Xiaojiang, WANG Hanxi. The overall situation and development direction of Chinese academic research in compound eye system[J]. Journal of Wuhan University of Technology, 2020, 42(3): 97-108. https://www.cnki.com.cn/Article/CJFDTOTAL-WHGY202003018.htm
[5] 周同林, 王汉熙. 人工复眼应用领域探索分析[J]. 武汉理工大学学报, 2020, 42(7): 92-108. https://www.cnki.com.cn/Article/CJFDTOTAL-WHGY202007016.htm ZHOU Tonglin, WANG Hanxi. Research and analysis of artificial compound eye application field[J]. Journal of Wuhan University of Technology, 2020, 42(7): 92-108. https://www.cnki.com.cn/Article/CJFDTOTAL-WHGY202007016.htm
[6] Hodierna D G. L'Occhio Della Mosca[M]. Decio Cirillo: Palermo, 1664.
[7] Miiller J. Zur Vergleichenden Physiologie Des Gesichtssinnes Des Menschen Und Der Thiere[M]. Cnobloch, Leipzig & wien, 1826.
[8] EXNER S. Die Physiologie Der Facettirten Augen Von Krebsen Und Insecten[M]. Franz Deuticke, Leipzig & wien, 1891.
[9] 周常河, 刘立人, 王之江. Hartline侧抑制神经网络模型的光学实现[J]. 光学学报, 1992, 12(5): 451-456. DOI: 10.3321/j.issn:0253-2239.1992.05.014 ZHOU Changhe, LIU Liren, WANG Zhijiang. Optical implementation of Hartline lateral inhibition model[J]. Acta Optica Sinica, 1992, 12(5): 451-456. DOI: 10.3321/j.issn:0253-2239.1992.05.014
[10] 吴卫国, 徐智敏, 石淑珍, 等. 神经重叠复眼感杆光导的模式与性特化光感受器[J]. 生物物理学报, 1989, 5(3): 298-303. https://www.cnki.com.cn/Article/CJFDTOTAL-SWWL198903013.htm WU Weiguo, XU Zhimin, SHI Shuzhen, et al. The patterns of light guide within the rhabdomere and sex-soecific photoreceptor in the neural superposintion compound eye[J]. Acta Biophysica Sinica, 1989, 5(3): 298-303. https://www.cnki.com.cn/Article/CJFDTOTAL-SWWL198903013.htm
[11] KUNZE P, HAUSEN K. Inhomogeneous refractive index in the crystalline cone of a moth eye[J]. Nature, 1971, 231: 392-393. DOI: 10.1038/231392a0
[12] TANG S, WOLF R, XU S, et al. Visual pattern recognition in Drosophila is invariant for retinal position[J]. Science, 2004, 305: 1020-1022. DOI: 10.1126/science.1099839
[13] 徐梦溪, 施建强. 仿生复眼型多源监测数据融合与专题信息提取[J]. 水利信息化, 2021(1): 71-75. https://www.cnki.com.cn/Article/CJFDTOTAL-SLSW202101015.htm XU Mengxi, SHI Jianqiang. Bionic compound eye based multi-source monitoring data fusion and thematic information extraction[J]. Water Resources Infromatization, 2021(1): 71-75. https://www.cnki.com.cn/Article/CJFDTOTAL-SLSW202101015.htm
[14] 郭爱克, 张柯, 郭建增, 等. 果蝇的视觉认知研究[J]. 中国基础科学, 2008(1): 29-33. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGJB200801019.htm GUO Aike, ZHANG Ke, GUO Jianzeng, et al. Visual cognition in drosophila brain[J]. China Basic Science, 2008(1): 29-33. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGJB200801019.htm
[15] 郭爱克, 彭岳清, 张柯, 等. 小虫春秋: 果蝇的视觉学习记忆与认知[J]. 自然杂志, 2009, 31(2): 63-68. https://www.cnki.com.cn/Article/CJFDTOTAL-ZRZZ200902000.htm GUO Aike, PENG Yueqin, ZHANG Ke, et al. Insect behavior : visual cognition in fruit fly[J]. Chinese Journal of Nature, 2009, 31(2): 63-68. https://www.cnki.com.cn/Article/CJFDTOTAL-ZRZZ200902000.htm
[16] Pericet C R, Dobrzynski M, Eplattenier G L, et al. CURVACE-CURVed artificial compound eyes[J]. Procedia Computer Science, 2011, 7: 308- 309. DOI: 10.1016/j.procs.2011.09.040
[17] 李娜娜. 重叠型复眼光学系统的研究[D]. 长春: 长春理工大学, 2010. LI Nana. Study of the Superposition Compound Eye Optical System[D]. Changchun: Changchun University of Science and Technology, 2010.
[18] 史成勇. 仿生曲面复眼系统设计及其图像处理研究[D]. 长春: 中国科学院大学, 2017. SHI Chengyong. Research on the Design and Image Process of Bioinspired Spherical Compound Eye Imaging System[D]. Changchun: Chinese Academy of Science, 2017.
[19] Tanida J, Kumagai T, Yamada K, et al. Thin observation module by bound optics (TOMBO): concept and experimental verification[J]. Applied Optics, 2001, 40(11): 1806-1813. DOI: 10.1364/AO.40.001806
[20] Duparre J, Dannberg P, Schreiber P, et al. Artificial apposition compound eye fabricated by micro-optics technology[J]. Applied Optics, 2004, 43(22): 4303-4310. DOI: 10.1364/AO.43.004303
[21] Duparre J, Radtke D, Tunnermann A. Spherical artificial compound eye captures real images[C]// Proceedings of SPIE, 2007, 6466: 64660K -1 - 64660K-9.
[22] Afshari H, Jacques L, Bagnato L, et al. The PANOPTIC camera: a plenoptic sensor with real-time omnidirectional capability[J]. Journal of Signal Processing Systems, 2013, 70: 305-328. DOI: 10.1007/s11265-012-0668-4
[23] 吴梅英, Mclntyre P D. 萤火虫复眼光学模型重叠成象的研究与模拟[J]. 生物化学与生物物理进展, 1994, 21(6): 535-539. https://www.cnki.com.cn/Article/CJFDTOTAL-SHSW406.014.htm WU Meiying, Mclntyre P D. Study and simulation of overlapping image of firefly compound eye optical model[J]. Progress in Biochemistry and Biophysics, 1994, 21(6): 535-539. https://www.cnki.com.cn/Article/CJFDTOTAL-SHSW406.014.htm
[24] 吴梅英, 田丽娟, 彭连惠. 北京萤火虫复眼的光学成像[J]. 昆虫学报, 1993, 36(2): 158-161. https://www.cnki.com.cn/Article/CJFDTOTAL-KCXB199302004.htm WU Meiying, TIAN Lijuan, PENG Lianhui. The optical imaging of compound eye of Beijing firefly phrococelia pekinensis[J]. Acta Entomologica Sinica, 1993(2): 158-161. https://www.cnki.com.cn/Article/CJFDTOTAL-KCXB199302004.htm
[25] 吴梅英, MCLNTYRE P D. 北京萤火虫复眼的梯度折射率光学和光线追迹[J]. 科学通报, 1994, 39(18): 1705-1708. https://www.cnki.com.cn/Article/CJFDTOTAL-KXTB199418018.htm WU Meiying, Mclntyre P D. Gradient refractive index optics and ray tracing of the compound eye of Beijing firefly[J]. Chinese Science Bulletin, 1994, 39(18): 1705-1708. https://www.cnki.com.cn/Article/CJFDTOTAL-KXTB199418018.htm
[26] 张红鑫, 卢振武, 王瑞庭, 等. 曲面复眼成像系统的研究[J]. 光学精密工程, 2006, 14(3): 346-350. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM200603001.htm ZHANG Hongxin, LU Zhenwu, WANG Ruiting, et al. Study on curved compound eye imaging system[J]. Optics and Precision Engineering, 2006, 14(3): 346-350. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM200603001.htm
[27] 曹阿秀, 史立芳, 石瑞英, 等. 大视场复眼结构图像处理算法研究[J]. 光子学报, 2014, 43(5): 199-204. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201405034.htm CAO Axiu, SHI Lifang, SHI Ruiying, et al. Image processing algorithm study of large FOV compound eye structure[J]. Acta Photonica Sinica, 2014, 43(5): 0510005-1-0510005-6. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201405034.htm
[28] 曹阿秀. 小型化复眼结构多维信息探测关键技术研究[D]. 成都: 中国科学院大学, 2019. CAO Axiu. Research on multi-dimensional information detection technology by miniaturized compound eye structure[D]. Chengdu: University of Chinese Academy of Sciences, 2019.
[29] 马孟超. 用于目标三维探测的复眼系统设计研究[D]. 合肥: 中国科学技术大学, 2014. MA Mengchao. Research on Artificial Compound Eye System for 3D Object Detection[D]. Hefei: University of Science and Technology of China, 2014.
[30] 裘溯, 倪宇, 金伟其, 等. 基于微端面光纤面的多孔径视场重叠复眼的视场模型[J]. 光学精密工程, 2015, 23(11): 3018-3025. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201511003.htm QIU Su, NI Yu, JIN Weiqi, et al. FOV modeling of multi-aperture superposition compound eye based on micro-surface fiber faceplate[J]. Optics and Precision Engineering, 2015, 23(11): 3018-3025. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201511003.htm
[31] 付跃刚, 赵宇, 刘智颖, 等. 用于目标识别的紧凑型仿生复眼光学系统设计[J]. 红外与激光工程, 2017, 46(6): 8-14. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201706001.htm FU Yuegang, ZHAO Yu, LIU Zhiying, et al. Design of compact bionic compound eye optical system used for target identification[J]. Infrared and Laser Engineering, 2017, 46(6): 8-14. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201706001.htm
[32] 庞阔, 宋乐, 房丰洲. 应用光学自由曲面的曲面结构大视场仿生复眼系统[J]. 光电子·激光, 2018, 29(1): 8-13. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201801002.htm PANG Kuo, SONG Le, FANG Fengzhou. Large field of view curved compound eye imaging system using optical freeform surface[J]. Journal of Optoelectronics·Laser, 2018, 29(1): 8-13. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201801002.htm
[33] 胡雪蕾, 高明, 陈阳. 大视场曲面仿生复眼光学系统设计[J]. 红外与激光工程, 2020, 49(1): 0114002-1 -0114002-9. HU Xuelei, GAO Ming, CHEN Yang. Design of curved bionic compound eye optical system with large field of view[J]. Infrared and Laser Engineering, 2020, 49(1): 0114002-1 -0114002-9.
[34] 吴楠. 果蝇复眼感光细胞的光电信号转换模型[D]. 广州: 南方医科大学, 2015. WU Nan. A model for optical signal transduction in Drosophila photoreceptors[D]. Guangzhou: Southern Medical University, 2015.
[35] NIE J. Morphogenesis of Drosophila Photoreceptor Cells[D]. Indiana University, 2014.
[36] 金菲, 颜忠诚. 昆虫的复眼[J]. 生物学通报, 2012, 47(12): 4-6. https://www.cnki.com.cn/Article/CJFDTOTAL-SWXT201212005.htm JIN Fei, YAN Zhongcheng. Compound eyes of insects[J]. Bulletin of Biology, 2012, 47(12): 4-6. https://www.cnki.com.cn/Article/CJFDTOTAL-SWXT201212005.htm
[37] 陈俊宇. 模拟昆虫视觉机理的小目标检测研究[D]. 南京: 河海大学, 2021. CHEN Junyu. Research on small target motion detection simulating the mechanism of insect vision[D]. Nanjing: Hohai University, 2021.
[38] Wardill T J, List O, Li X F, et al. Multiple spectral inputs improve motion discrimination in the Drosophila visual system[J]. Science, 2012, 336 (6083): 925-931.
[39] Hassenstein B, Reichardt W. System theoretsche analyse der Zeit, reihenfolgen und vor zeichenauswertung bei der bewegungsperzeption der russelkafers chlorophanus[J]. Zeitschrift Fur Naturforschung B, 1956, 11(9): 513-524.
[40] Egelhaaf M, Borst A. Transient and steady-state response properties of movement detectors[J]. Journal of Optical Society of America A, 1989, 6(1): 116-127.
[41] Borst A, Egelhaaf M. Principles of visual motion detection[J]. Trends in Neurosciences, 1989, 12(8): 297-306.
[42] Missler J M, Kamangar F A. A neural network for pursuit tracking inspired by the fly visual system[J]. Neural Networks, 1995, 8(3): 463- 480.
[43] Rind F C, Bramwell D I. Neural network based on the input organization of an identified neuron signaling impending collision[J]. Journal of Neurophysiology, 1996, 75(3): 967-985.
[44] Yue S G, Rind F C. Postsynaptic organisations of directional selective visual neural networks for collision detection[J]. Neurocomputing, 2013, 103: 50-62.
[45] 徐立中, 石爱业, 黄凤辰, 等. 多源监测信息融合仿生复眼型系统模式及感知计算机理[J]. 智能系统学报, 2008, 3(4): 328-335. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT200804012.htm XU Lizhong, SHI Aiye, HUANG Fengchen, et al. A perceptual and computational mechanism for bionic compound eye systems with multi-source information fusion[J]. CAAI Transactions on Intelligent Systems, 2008, 3(4): 328-335. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT200804012.htm
[46] 黄凤辰, 李敏, 石爱业, 等. 受昆虫视觉启发的多光谱遥感影像小目标检测[J]. 通信学报, 2011, 32(9): 88-95. https://www.cnki.com.cn/Article/CJFDTOTAL-TXXB201109014.htm HUANG Fengchen, LI Min, SHI Aiye, et al. Insert visual system inspired small target detection for multi-spectral remotely sensed images[J]. Journal of Communications, 2011, 32(9): 88-95. https://www.cnki.com.cn/Article/CJFDTOTAL-TXXB201109014.htm
[47] 王磊. 基于果蝇视觉神经的目标检测与跟踪[D]. 贵阳: 贵州大学, 2015. WANG Lei. Fly's Vision Neuron Objective Motion Detection and Tracking[D]. Guiyang: Guizhou University, 2015.
[48] 胡常俊. 基于果蝇视觉机理的车辆预警算法及其应用[D]. 贵阳: 贵州大学, 2019. HU Changjun. Vehicle Warning Algorithm Based on Fly'S Visual Mechanism and Its Application[D]. Guiyang: Guizhou University, 2019.
[49] 罗荣成. 基于DSP的人工果蝇视觉碰撞预警系统研究与实现[D]. 贵阳: 贵州大学, 2017. LUO Rongcheng. Research and Implementation of Artificial Drosophila Visual Collision Warning System Based on DSP[D]. Guiyang: Guizhou University, 2017.
[50] Mehmet N O, Felix S, Shadi J, et al. Neuronal diversity and convergence in a visual system developmental atlas[J]. Nature, 2020, 589(7840): 88-95.
[51] LI P H, Lindsey L F, Januszewski M, et al. Automated reconstruction of a serial-Section EM Drosophila brain with flood-filling networks and local realignment[J]. Microscopy Social Science Electronic Publishing, 2019, 25(2): 1364-1365.
[52] 郭爱克. 探索自然智慧本质, 照亮类脑智能之路——果蝇学习记忆与抉择的神经环路机制研究[J]. 中国科学: 生命科学, 2019, 49(10): 1354-1374. https://www.cnki.com.cn/Article/CJFDTOTAL-JCXK201910009.htm GUO Aike. A cross-species review of cognitive neural circuits to illuminate the way to brain-inspired intelligence[J]. Scientia Sinica Vitae, 2019, 49(10): 1354-1374. https://www.cnki.com.cn/Article/CJFDTOTAL-JCXK201910009.htm
[53] 张柯. 果蝇中基于目标突显程度的视觉抉择机制研究[D]. 上海: 中国科学院大学, 2008. ZHANG Ke. Saliency-Based Visual Decision-making in Drosophila[D]. Shanghai: Chinese Academy of Science, 2008.
[54] Schneider J, Murali N, Taylor G W, et al. Can Drosophila melanogaster tell who's who?[J]. PLOS ONE, 2018, 13(10): 1-10.
[55] ZHAO F F, ZENG Y, GUO A K, et al. A neural algorithm for Drosophila linear and nonlinear decision-making[J/OL]. Scientific Reports, 2020. https://doi.org/10.1038/s41598-020-75628-y.
[56] 张娜. 面向仿生微纳导航系统的偏振器研究[D]. 大连: 大连理工大学, 2006. ZHANG Na. Research on the Polarizer for the Bionic Micro-nano Navigation System[D]. Dalian: Dalian University of Technology, 2006.
[57] 金菲, 颜忠诚. 昆虫复眼的仿生学应用[J]. 生物学通报, 2014, 49(6): 3-5. https://www.cnki.com.cn/Article/CJFDTOTAL-SWXT201406002.htm JIN Fei, YAN Zhongcheng. Biomimetic applications of insect compound eyes[J]. Bulletin of Biology, 2014, 49(6): 3-5. https://www.cnki.com.cn/Article/CJFDTOTAL-SWXT201406002.htm
[58] 王国锋. 蝇视觉系统在红外成像制导中的应用研究[D]. 西安: 西北工业大学, 2003. WANG Guofeng. Research on IR Imaging Guidance Using Fly'S Visual System[D]. Xi'an: Northwestern Polytechnical University, 2003.
[59] 高文静, 杨预立, 邢强, 等. 基于目标运动的复眼式双目视觉测距法[J]. 应用光学, 2020, 41(3): 571-579. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX202003021.htm GAO Wenjing, YANG Yuli, XING Qiang, et al. Compound eye binocular vision ranging method based on target motion[J]. Journal of Applied Optics, 2020, 41(3): 571-579. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX202003021.htm
[60] Tabata K, Takahashi H, Yamada K. Evaluation of multiwavelength band-pass filter endoscope using compound eye optical system[C]// Fourth International Conference on Innovative Computing, Information and Control, 2009.
[61] 邢强. 仿昆虫复眼结构的运动目标位置检测[D]. 南京: 南京航空航天大学, 2010. XING Qiang. Fast Detcetion of Position of High Speed Moving Object by Inspiration of Compound Eye of Insect[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2010.
-
期刊类型引用(0)
其他类型引用(2)
下载:
计量
- 文章访问数: 276
- HTML全文浏览量: 224
- PDF下载量: 103
- 被引次数: 2
