MDCA-DETR：基于多通道可变形卷积与坐标注意力的DETR
用于Mini-LED晶圆表面缺陷检测

1. 引言

Mini-LED是一种芯片尺寸在50至200 μm范围内的发光二极管（LED），具有低功耗、快速响应和更高分辨率等显著优点[1][2]。Mini-LED在智能手机、增强现实和虚拟现实显示设备等各类显示应用中的广泛使用[3][4]，推动了对Mini-LED芯片的巨大需求，驱动了对更高芯片性能的追求。Mini-LED芯片的主要制造过程，最终是利用包含器件结构的光掩模版，在外延晶圆上实现特定的电路和器件结构。该过程由一系列半导体器件工艺组成，包括光刻、蚀刻、离子注入、退火和扩散[5]。然而，在制造过程中容易产生缺陷，包括但不限于异物、残胶、图形不完整、凸块、污垢和划痕等[6]。因此，在制造过程中尽早检测缺陷至关重要——需要及时识别并消除其根源，丢弃有缺陷的样品，防止有缺陷的核心进入后续阶段，避免因少数有缺陷的核心而影响整个阵列模块的质量。

机器视觉检测对于确保产品质量至关重要。然而，实现有效的缺陷检测面临巨大挑战，原因在于该过程中存在诸多障碍。首先，高质量缺陷数据的采集可能十分困难，尤其是在复杂的制造环境中[7][8]。一些缺陷可能极为微小或难以察觉，使得缺陷数据的采集和记录更具挑战性。其次，传统图像检测算法可能缺乏处理某些复杂缺陷场景所需的灵活性和精度[9]——这主要是因为这些算法依赖手工设计的特征，难以应对复杂缺陷的变异。因此，传统算法在真实场景中容易因光照和视角的敏感性、复杂纹理和背景噪声的存在、以及处理非刚性变形的困难而产生误检或漏检[9]。此外，这些算法泛化能力有限，需要针对特定场景进行调优，对新场景的适应性相对较差。

为应对这些挑战，深度学习方法已成为备受追捧的解决方案[10]。深度学习通过层次化特征学习和模式识别，在适应多样化且高度复杂的缺陷模式方面表现出色。与传统算法相比，基于深度学习的方法在处理大规模高维数据时展现出更强的表达能力和泛化能力。因此，引入深度学习方法可以显著提高缺陷检测的精度和有效性[11]。YOLO系列和SSD等单阶段检测器的快速发展为实时目标检测提供了新的可能性。以最新的YOLOv8为例，其引入的自适应锚框机制和多尺度特征融合技术使其能够更好地适应不同尺寸和形状的缺陷目标，尤其在小目标检测任务中表现优异。高精度与高效率的结合使得单阶段检测器在嵌入式设备和工业流水线等资源受限场景中得到了广泛应用。

当前，基于深度学习的Mini-LED缺陷检测虽取得了一定成功，但仍然面临挑战。Mini-LED尺寸的缩小使得在显微图像中难以区分缺陷与周期性规则背景之间的细微差异[12]，同时也使得基于传统卷积神经网络的特征提取变得困难[13]。此外，由于缺陷产品数量有限导致的正负样本不平衡问题，也阻碍了当前检测精度的进一步提升。尽管取得了这些进展，基于深度学习的缺陷检测在实际应用中仍面临诸多障碍，尤其是在满足Mini-LED晶圆制造过程严格的质量控制要求方面。在整个Mini-LED晶圆制造过程中，质量控制对缺陷检测系统提出了很高的要求：需要高检测精度、低漏检率、低误检率和快检测速度。例如，在中国福建省某LED制造企业，8英寸Mini-LED晶圆的漏检率必须控制在0.05%以下，误检率控制在1%以下，检测时间须在80秒以内。在进入现场生产线测试之前，检测模型的实验室检测精度（mAP50）必须达到90%以上，推理速度必须超过每秒30帧（FPS），结合传统图像处理方法，才能满足生产线的调试要求。

为了有效解决这些问题，我们提出了一种改进的检测Transformer（DETR），命名为MDCA-DETR，融合了多通道可变形卷积和坐标注意力，用于Mini-LED晶圆表面缺陷检测。我们的方法将可变形卷积、坐标注意力和学习型位置编码集成到DETR检测框架中，以增强特征提取能力和位置信息融合。此外，我们还利用Inner-IoU损失函数来优化边界框回归过程。该方法的主要贡献如下：

• 我们提出了一种新的骨干网络，融合了多通道可变形卷积（MCDC）和坐标注意力（CA）。MCDC专门设计用于应对Mini-LED缺陷的复杂不规则形状，利用多通道坐标注意力（MCCA）捕获更丰富的全局特征，从而提高缺陷检测性能。
• 为解决Mini-LED晶圆表面小尺寸缺陷与背景难以区分的问题，我们利用坐标注意力（CA）模块捕获全局背景特征。此外，我们引入基于学习型位置编码的尺度内特征交互（ALPE）模块，以增强背景与缺陷信息之间的特征交互，提升小目标的检测效果。
• 为解决Mini-LED表面缺陷数据集中标签不平衡的问题，我们设计了一种人工合成（AS）数据增强方法，将原始晶圆显微图像与人工合成的缺陷图像融合，有效平衡了数据集标签，减轻了训练偏差，增强了模型的鲁棒性和泛化能力。

本文其余部分组织如下：第2节介绍Mini-LED晶圆表面缺陷检测和DETR算法的相关工作。第3节详细阐述所提出的MDCA-DETR方法。第4节介绍Mini-LED晶圆表面缺陷数据集，并进行多项消融和对比实验，以验证我们方法的性能。最后，第5节总结本文工作。

2. 相关工作

本节介绍Mini-LED晶圆表面缺陷检测领域的相关研究，并介绍与DETR相关的算法。

2.1 Mini-LED晶圆表面缺陷检测

近年来，深度学习在缺陷检测方面取得了显著进展，为高效检测和准确判断提供了强大能力[14]。与传统缺陷检测方法相比，基于深度学习的缺陷检测算法在鲁棒性、检测效率和目标定位精度方面具有显著优势[15]。这些优势同样可以应用于晶圆表面缺陷检测领域，该领域的检测方法主要分为两大类：传统卷积方法[16]和YOLO（You Only Look Once）方法[17]。

2.1.1 传统卷积方法的应用

晶圆制造和芯片制造等过程中的缺陷检测已通过传统卷积神经网络（CNN）完成，这些网络因其有效的特征学习能力而受到重视。Zheng等人[18]利用几何计算能力降低特征数据维度，对预处理后的芯片光刻图像进行网格分割以进行粗检测。随后利用卷积神经网络模型，对那些基于粗几何筛选初步识别为潜在缺陷的芯片进行更精确的细检测。Wang等人[19]提出了一种名为DENC-CNN的方法，该方法结合了特征熵一致性和梯度贡献熵来识别Mini-LED中的缺陷。增强特征熵一致性可提高特征信息的全面性和传输的可靠性，从而增强样本的学习效果。梯度贡献熵通过引导模型优先关注那些使用梯度权重更难分类的具有挑战性的样本，解决了正负样本不平衡的问题。Shu等人[20]引入了一种并行空间金字塔池化网络，用于检测LED芯片的表面清洁度。该模型的目标是利用空间金字塔池化模型提取两组基于深度卷积神经网络的特征，通过离线训练模型，然后在线识别两组基于深度的CNN数据流。Wen等人[21]提出了一种基于深度卷积神经网络的晶圆半导体表面缺陷检测创新方法。该方法通过空洞卷积利用特征金字塔网络提取特征并创建特征图，然后将特征图输入包含三个分支的深度多分支神经网络以实现分类和分割。Wei等人[22]引入了一种紧凑的局部-全局ViT模型，融合了卷积神经网络和ViT的优势来识别Mini-LED芯片中的缺陷。然而，传统卷积方法存在处理复杂度高、无法用于实时检测等缺点。因此，YOLO因其高效的实时能力而受到关注。

2.1.2 基于YOLO的缺陷检测方法

研究人员越来越多地使用YOLO系列检测器来检测工业缺陷。Yuan等人[23]采用YOLOv7模型实时检测芯片封装表面的缺陷。他们利用K-means++重新聚类锚框，融合卷积块注意力模块（CBAM）和感受野模块（RFB），并以新提出的置信度传播聚类替代传统非极大值抑制（NMS），进一步提升检测精度和结果置信度。Chen等人[24]利用YOLOv3框架创建了缺陷检测器。该研究将Darknet-53骨干网络替换为密集连接的神经网络，形成名为YOLOv3-dense的模型，提升了缺陷检测器的性能。Chen等人[25]提出了一种名为AMS-YOLO的实时检测方法，基于轻量级深度卷积神经网络，融合了注意力残差模块以增强特征提取，以及多尺度特征快速融合模块以有效组合不同层级的特征。此外，还使用选择性特征金字塔模块选择性组合提取的特征，实现MicroLED的精确分类检测。尽管基于YOLO的方法取得了巨大成功，但它们面临两个重大挑战：确定置信度阈值和实现NMS，这些问题在工业环境中尤为棘手。

2.2 DETR相关算法

RCNN[26]和YOLO[27]模型在目标检测中表现出卓越的性能。然而，无论是YOLO和SSD[28]等单阶段模型，还是RCNN等两阶段模型，都需要使用NMS（非极大值抑制）来消除冗余检测框。然而，NMS也存在一些问题。NMS在处理大量框时效率低下，且未能充分利用图像特征。

为解决这些问题，微软团队提出了检测Transformer（DETR）[29]，该方案无需预设提议和锚框，而是利用Transformer的全局建模能力，将目标识别视为一个集合预测问题。然而，DETR模型存在诸多障碍，包括训练时间延长和在小目标检测方面表现相对逊色。大量改进模型已被提出以优化DETR。Zhu等人[30]提出了带有可变形卷积的Deformable DETR，通过利用各自的关联建模能力来提高收敛速度并降低复杂度。Li等人提出了DN-DETR[31]，首次提出了一种新的去噪训练方法，以解决DETR解码器二分图匹配不稳定的问题。Liu等人[32]提出了DAB-DETR，引入了一种使用四维锚框对DETR中的查询进行建模的新方法，该锚框作为位置先验可加速模型收敛。

近期，研究人员在改善DETR系列模型的训练收敛性和克服优化挑战方面取得了显著进展，达到了卓越的性能。然而，DETR系列模型在速度上与当前实时检测器存在显著差距，因此在其向实时方向转变方面面临相当大的障碍。Lv等人[33]提出了实时检测Transformer（RT-DETR），通过开发高效混合编码器和不同的解码器层无需重新训练即可改进DETR，同时缩短了输入编码器序列的长度。

3. MDCA-DETR

3.1 总体结构

Mini-LED晶圆表面缺陷在大小、形状和位置上的多样性，给缺陷检测带来了巨大挑战。同时，Mini-LED晶圆表面的背景具有明显的周期性和规律性，表现为特定形状和结构以固定间隔不断重复。因此，提取具有位置信息的特征有助于更有效地检测具有复杂特征的缺陷。

为此，我们提出MDCA-DETR，其由骨干网络、高效混合编码器和带有辅助预测头的Transformer解码器组成。MDCA-DETR的整体架构如图1所示。首先，我们使用多通道可变形卷积（MCDC）和坐标注意力（CA）改进了DETR的骨干网络，以增强对Mini-LED晶圆表面复杂形态和特征的处理能力。然后，我们将骨干网络最后三个阶段的输出特征 {S3, S4, S5} 作为编码器的输入。其次，高效混合编码器通过尺度内交互和跨尺度融合将多尺度特征映射为图像特征序列。最后，引入IoU感知的查询选择机制，从编码器输出序列中选取一定数量的图像特征作为解码器的初始目标查询。辅助预测头的解码器通过迭代生成边界框和置信度分数来优化目标查询。

3.2 骨干网络

为适应Mini-LED晶圆表面缺陷的特殊性质，我们将ResNet骨干网络的基本结构替换为CA和MCDC，以优化骨干网络，为后续检测任务提供前提条件。

3.2.1 坐标注意力（CA）

Mini-LED晶圆表面图像具有显著的重复性和规律性。特定的形状和结构以固定间隔重复出现，形成网格状和晶格状结构，进一步强化了规律性。因此，如何增强特征的位置信息，提高网络聚焦缺陷能力成为当前研究的关键问题。在Mini-LED晶圆表面缺陷数据集中，缺陷的形状和位置呈现各种不规则性。如果直接对特征图进行处理，将破坏其空间结构，造成Mini-LED晶圆缺陷位置信息的大量丢失。为了提高编码器中缺陷特征信息传递的效率，本文引入坐标注意力（CA）[34]，在保留缺陷位置信息的同时进一步增强缺陷特征的特征信息。CA分别沿水平方向和垂直方向聚合特征，生成一对定向感知特征图，以增强对位置信息的表示能力。此外，CA结构能够捕获跨通道信息以及方向和位置感知信息，有助于模型更精确地定位和识别感兴趣目标。

此外，为了增强CA的特征封装能力，本文引入了多通道坐标注意力（MCCA），其结构如图2所示。除了从CA获得的方向感知特征外，MCCA还整合了来自全局平均池化的通道全局信息。来自全局平均池化的全局特征可以增强网络的全局感知能力，并封装有关目标整体形状和位置等特征的整体信息。

给定输入 $x$，对于第 $c$ 个通道，其压缩步骤可表述如下：通过自适应平均池化，在整个空间维度上取平均值，生成全局池化特征 $Z_c \in \mathbb{R}^{C \times 1 \times 1}$。

其中，$H$ 是输入特征图的高度，$W$ 是输入特征图的宽度，$x_c(i, j)$ 是输入特征图 $x$ 在第 $c$ 个通道上位置 $(i, j)$ 处的值。

通过自适应平均池化，沿宽度维度取平均值，生成高度池化特征 $Z_h \in \mathbb{R}^{C \times H \times 1}$。

对于第 $c$ 个通道，在特定高度 $h$ 处沿宽度 $W$ 所有值取平均值。$Z_h$ 是一个长度为 $H$ 的向量，每个元素对应特征图中的一个高度位置。这保留了高度维度的空间信息，同时压缩了宽度维度。

通过自适应平均池化，沿高度维度取平均值，生成宽度池化特征 $Z_w \in \mathbb{R}^{C \times W \times 1}$。

对于第 $c$ 个通道，在特定宽度 $w$ 处沿高度 $H$ 所有值取平均值。$Z_w$ 是一个长度为 $W$ 的向量，每个元素对应特征图中的一个宽度位置。这保留了宽度维度的空间信息，同时压缩了高度维度。

将高度池化特征 $Z_h$ 和宽度池化特征 $Z_w$ 沿高度维度拼接，并应用 $3 \times 1$ 卷积捕获高度和宽度特征之间的局部空间依赖关系，生成联合特征 $Z_{hw} \in \mathbb{R}^{C \times (H+W) \times 1}$。卷积后的 $Z_{hw}$ 随后沿高度维度被分割回高度池化特征 $Z'_h \in \mathbb{R}^{C \times H \times 1}$ 和宽度池化特征 $Z'_w \in \mathbb{R}^{C \times W \times 1}$。与此同时，对 $Z_{hw}$ 应用 $1 \times 1$ 卷积，再通过Sigmoid激活函数生成注意力权重 $W_{wh} \in \mathbb{R}^{C \times (W+H) \times 1}$，随后将其分割为高度权重 $W_h \in \mathbb{R}^{C \times H \times 1}$ 和宽度权重 $W_w \in \mathbb{R}^{C \times W \times 1}$。

利用注意力权重，得到更新后的高度池化特征 $g_h \in \mathbb{R}^{C \times H \times 1}$ 和宽度池化特征 $g_w \in \mathbb{R}^{C \times W \times 1}$：

最后，计算通道注意力权重 $W_C$。对 $W_{wh}$ 的空间维度取平均值，生成通道级注意力权重 $W_c \in \mathbb{R}^{C \times 1 \times 1}$，并更新全局池化特征。

加权后的特征通过Sigmoid激活函数，并与输入特征相乘以生成最终输出：

3.2.2 多通道可变形卷积（MCDC）

在检测Mini-LED晶圆表面缺陷的过程中，缺陷的不同类型、大小、形状和纹理特征是导致检测困难的常见问题。在深度学习模型中，由于卷积的固定结构，网络的感受野范围受到限制。因此，必须扩大检测网络的感受野。更大的感受野使检测网络能够更好地学习远程空间关系，并构建隐式空间模型。

在通常的实践中，DCNv2[35]常被用作常规卷积的扩展，DCNv2引入了可变形卷积，能够更好地适应目标的几何变换。然而，DCNv2的可视化结果表明其感受野范围依然相对局限。为解决这一问题，我们引入了多通道坐标注意力（MCCA）机制，以自适应动态空间聚合增强权重计算能力并扩大感受野。

自适应动态空间聚合：DCNv2[35]的偏移掩码生成方法采用单一卷积操作，在权重计算能力方面表现出相对不足。为增强多样化Mini-LED表面缺陷的位置特征提取能力，设计了多通道可变形卷积（MCDC），通过引入MCCA替代DCNv2中的卷积操作来生成偏移掩码。MCDC的表达式如下：

其中 $\Delta P_{k}^{MCCA}$ 和 $\Delta m_{K}^{MCCA}$ 分别是由MCCA生成的第 $k$ 个位置的可学习偏移量和调制标量。调制标量 $\Delta m_{K}^{MCCA}$ 的值范围在 $[0, 1]$ 之间，而 $\Delta P_{k}^{MCCA}$ 是范围无界的实数。由于 $P + P_k + \Delta P_{k}^{MCCA}$ 为分数值，需通过双线性插值计算 $x(P + P_k + \Delta P_{k}^{MCCA})$，其中 $\Delta P_{k}^{MCCA}$ 和 $\Delta m_{K}^{MCCA}$ 均通过对相同输入特征图 $x$ 应用单独的卷积层获得。

MCDC的结构如图3所示，可分为两部分：上半部分通过MCCA生成 $x$、$y$ 方向的偏移量和调制标量以及全局信息；下半部分通过MCDC从输入特征图生成输出特征图。下半部分的卷积可视为基于上半部分生成的偏移量和调制标量进行的插值操作，偏移量和调制标量使得每个采样点能够自适应地调整其空间聚合权重，然后执行常规卷积，如图3所示。

图4展示了四种卷积在提取缺陷特征时的性能比较。从下到上，沿蓝色箭头方向，卷积深度递增。点表示卷积采样点。传统卷积因感受野固定而无法充分捕捉缺陷的全部特征。DCNv1通过引入偏移使感受野更接近缺陷形态。在DCNv2中，每个采样点由学习到的偏移和特征幅度调制，使其在学习变形目标方面比DCNv1更强大。然而，对于具有复杂周期性规则背景的晶圆，其特征提取能力仍然不足。MCDC通过在DCNv2中引入MCCA进一步强化了调制机制，使骨干网络的特征提取更加具体和有针对性。以坐标为中心的可变形卷积采样偏移能够灵活地从给定数据中动态学习合适的感受野范围（长距离或短距离）；采样偏移和调制标量根据输入数据进行自适应调整，实现了更灵活的自适应空间聚合。

3.3 高效混合编码器

高效混合编码器由两个主要模块组成：基于学习型位置编码的尺度内特征交互模块（ALPE）和基于CNN的跨尺度特征融合模块（CCFM）。高效混合编码器可由以下公式表示：

其中 $\text{Attn}$ 表示多头自注意力，$\text{Reshape}$ 表示将特征形状恢复到 $S_3$ 的形状，即 $\text{Flatten}$ 的逆操作。

3.3.1 基于学习型位置编码的尺度内特征交互（ALPE）

位置编码帮助模型理解Transformer中的序列位置。固定位置编码限制了处理可变长度序列的能力。学习型位置编码能够自适应调整位置信息，以提高模型在不同任务和场景中的性能，特别是对于具有规则几何结构的Mini-LED晶圆背景。因此，我们提出了基于学习型位置编码的尺度内特征交互（ALPE）模块，引入学习型位置编码来融入输入序列中每个块的相对位置信息。

ALPE的学习型位置编码在训练阶段通过设置一组可学习的编码token，并在patch嵌入后逐元素相加来共同训练。ALPE模块包括多头自注意力、全连接网络、残差连接、层归一化和位置编码，ALPE的输入为骨干网络最后阶段经过Flatten后获得的特征图，输出进入CCFM进行特征融合，如图5所示。我们选择利用学习型位置编码替代固定位置编码。学习型位置编码使ALPE能够理解图像中不同区域之间的位置关系[36]。因此，ALPE能够从块中提取Mini-LED表面缺陷的高层语义特征，有效捕获输入图像中嵌入的抽象和语义信息。

3.3.2 基于CNN的跨尺度特征融合模块（CCFM）

CCFM[33]接收 $S_4$、$S_5$ 和 $F_3$ 特征图以促进特征融合，其中 $S_4$、$S_5$ 从骨干网络中提取，$F_3$ 从ALPE中提取。$F_3$ 经上采样后进入融合块，并与 $S_4$ 在其内部拼接。融合块包含两条路径：一条路径经过 $1 \times 1$ 卷积，另一条路径经过 $1 \times 1$ 卷积并通过RepVGG重参数化。然后，两条路径的输出通过逐元素相加进行融合。融合块的结构如图6所示。对其他通路执行相同操作，最后将融合后的多尺度特征拼接在一起，传递给后续网络进行处理以产生最终输出。

融合块的作用是将相邻特征融合为新特征。考虑到晶圆显微图像背景的周期性和缺陷的特殊性，来自不同路径的信息整合以及对环境的理解，对于有效提取晶圆显微图像的特征至关重要。CCFM通过对融合块进行重参数化及其他操作，实现了多尺度信息的融合，整合来自不同路径的信息以增强对全局背景的理解。

3.4 Inner-IoU损失函数

GIoU损失解决了IoU损失在不重叠情况下的问题，但也引入了一些挑战。首先，当检测框与真实框之间存在完全包含关系时，GIoU损失退化为IoU损失。其次，当两个框相交时，在水平和垂直方向上收敛缓慢。

为解决检测任务中GIoU损失函数泛化能力弱和收敛速度慢的问题，我们引入Inner-IoU损失[37]，并加入尺度因子来调节辅助边界框的大小。该创新针对不同数据集和检测器使用不同尺度的辅助边界框，有效缓解了现有方法在泛化能力方面的局限性。在Inner-IoU中，Zhang[37]引入了尺度因子ratio，可控制辅助边界框的尺度。通过针对不同数据集和检测器使用不同尺度的辅助边界框，可克服现有方法泛化能力弱的局限性。真实框（GT）和锚框分别表示为 $B^{gt}$ 和 $B$，如图7所示。GT框的中心点坐标为 $(x_c^{gt}, y_c^{gt})$，锚框的中心点坐标为 $(x_c, y_c)$。GT框的宽度和高度分别用 $w^{gt}$ 和 $h^{gt}$ 表示，锚框的宽度和高度分别用 $w$ 和 $h$ 表示。变量 'ratio' 对应尺度因子，通常在 $[0.5, 1.5]$ 范围内取值。Inner-IoU定义如下：

Inner-IoU的具体定义如下。真实框（GT）和锚框分别表示为 $B^{gt}$ 和 $B$，如图7所示。GT框的中心点坐标为 $(x_c^{gt}, y_c^{gt})$，锚框的中心点坐标为 $(x_c, y_c)$。GT框的宽度和高度分别用 $w^{gt}$ 和 $h^{gt}$ 表示，锚框的宽度和高度分别用 $w$ 和 $h$ 表示。变量 'ratio' 对应尺度因子，通常在 $[0.5, 1.5]$ 范围内取值。Inner-IoU定义如下：

将Inner-IoU应用于现有的基于IoU的边界框回归损失函数，$L_{inner-GIoU}$ 定义如下：

4. 实验结果与分析

4.1 数据集

4.1.1 Mini-LED晶圆表面缺陷数据集

从Mini-LED生产线采集的Mini-LED晶圆表面缺陷数据集面临以下挑战：(1) Mini-LED晶圆表面缺陷与规则周期性背景之间难以区分；(2) 同一类别内缺陷形状的差异性；(3) 由于缺陷产品数量有限，样本数据中缺陷类型的分布不平衡。(4) Mini-LED晶圆表面缺陷包括六类，如图9所示：异物（Foreign）、残胶（Glue-res）、图形不完整（Incomp）、凸块（Lump）、污垢（Dirt）和划痕（Scratch）。本文中使用的Mini-LED晶圆表面缺陷数据集由两部分组成：生产线上采集的原始数据和人工合成数据。

1. 数据集采集：如图8所示，图像采集平台使用高性能CCD相机，分辨率为5120×5120（2000万像素），配备10倍远心镜头（景深17μm），以及可调高亮度LED同轴光源。该系统的像素尺寸为0.274 μm；覆盖三个像素的缺陷即可被检测到，因此系统的检测精度为0.82 μm，低于通常要求的1.0 μm。在图像采集阶段，晶圆被分为多个区域进行拍摄。一张晶圆共拍摄24幅5120×5120像素的图像。采集完成后，使用像素级图像标注工具进行标注。标注后，将每幅图像裁剪为2560×2560像素的子图像用于数据增强。

2. 人工合成（AS）数据：为解决Mini-LED晶圆表面缺陷数据集中标注数据不平衡的问题，我们提出了AS数据增强方法，具体实验细节如下（如图10所示）。

输入：生产线中含缺陷的图像相对较少。大部分采集的原始数据是表面无缺陷的完美图像。从不同工序采集了大量的完美图像，用作合成数据生成的背景图像。$I_p^j \in \mathbb{R}^{W \times H \times 3}$ 是第 $j$ 张完美背景图像。

随机变换矩阵：在Mini-LED生产线中，三种类型缺陷（划痕、异物和图形不完整）的图像相对稀少。因此，我们根据这些缺陷的特征，人工合成了这三类缺陷图像的数据库。$I_c^j \in \mathbb{R}^{w \times h \times 3}$ 是第 $j$ 张缺陷图像。

为确保缺陷形状的随机性，我们通过随机生成旋转角度参数 $(\theta_k)$、平移参数 $(t_x, t_y)$、缩放参数 $(S_x, S_y)$ 来构造随机变换矩阵。因此，变换矩阵由以下公式描述：

缺陷图像合成：首先，随机选择一类缺陷，其中 $c \in (1, 2, 3)$ 对应划痕、异物和图形不完整三类缺陷。$N_c \in (0, 1, 2, 3)$ 是每类随机选择的缺陷数量。

其次，随机生成参数 $j$。随机缺陷图像的图像变换由以下公式描述：

最后，使用图像空间处理将输入的完美背景图像与变换后的缺陷图像合成，如下式所示：

其中 $I_o \in \mathbb{R}^{W \times H \times 3}$ 为输出图像，$x_i$ 和 $y_i$ 为随机生成的位置偏移参数。

3. 数据分布：表1显示了后续实验中各类缺陷的数据分布，包括来源和数量。RAW表示来自生产线的真实数据，AS表示人工合成数据。数据集按9:1的比例划分为训练集和验证集。

表1 数据标签分布

缺陷	异物		残胶		图形不完整		凸块		污垢		划痕
数据	Raw	AS	Raw	AS	Raw	AS	Raw	AS	Raw	AS	Raw	AS
全部	1662	1200	3876	36	2772	1308	8046	0	4062	0	1212	1278
训练	1475	1200	3407	36	2423	1308	7125	0	3671	0	1079	1278
验证	187	0	469	0	349	0	921	0	391	0	133	0

4.1.2 PCB缺陷数据集

实验使用了北京大学智能机器人开放实验室发布的印制电路板缺陷数据集[38]。该数据集包含693张印制电路板缺陷图像和六种缺陷类型：缺孔（Ms）、咬痕（Mo）、开路（Op）、短路（Sh）、毛刺（Sp）和划痕（Sc）。

4.1.3 GC10-DET数据集

GC10-DET数据集[39]包含2257张图像，展示实际工业生产中钢表面的缺陷。该数据集涵盖10种缺陷类型：冲孔（Pu）、焊缝（Wl）、月牙间隙（Cg）、水斑（Ws）、油斑（Os）、丝斑（Ss）、夹杂物（In）、轧坑（Rp）、褶皱（Wf）和裂纹（Cr）。

4.2 性能指标与实验环境

4.2.1 性能指标

为评估算法性能，本文使用平均精度均值50（mAP50）、平均精度均值50:95（mAP50:95）、每秒帧数（FPS）、每秒十亿次浮点运算（GFLOPs）和参数量作为算法评估指标，具体定义如下：

其中 $TP$ 为真正例，$FN$ 为假负例，$FP$ 为假正例。mAP50要求当IoU设为0.5时，计算每个类别所有图像的 $AP$，然后对所有类别求平均。mAP50:95表示不同IoU阈值下的平均mAP。这些阈值的范围从0.5到0.95，步长为0.05。$AP_S$ 是小目标的AP（面积<32²），$AP_M$ 是中等目标的AP（32²<面积<96²）。$AP_L$ 是大目标的AP（面积>96²）。FPS表示模型每秒检测的图像数。$FPS_{bs=1}^{3090}$ 表示在NVIDIA 3090 GPU上批量大小为1时的FPS。

4.2.2 实验环境

我们使用配备NVIDIA GeForce RTX 3090 GPU（24GB显存）和Intel(R) Xeon(R) Platinum 8358P CPU @ 2.60 GHz处理器的服务器。实验使用Ubuntu 20.04操作系统、PyTorch 1.11.0、Python 3.8.10和CUDA 11.3。模型训练300个epoch（经测试，该设置对所有算法均可提供最优性能）；初始学习率设为0.0001，最终学习率为1.00。选用Adam作为优化器，动量设为0.9。

4.3 消融研究

4.3.1 数据增强消融研究

为评估AS数据对缺陷检测精度的影响，我们使用前沿模型YOLOv8、RT-DETR和本文提出的MDCA-DETR方法进行实验。

表2 AS数据消融实验结果

数据集	算法	mAP50	mAP50:95	异物	残胶	图形不完整	凸块	污垢	划痕
不含AS	YOLOv8	64.4	40.8	79.4	62.7	39.8	45.9	85.5	73.3
	RT-DETR	64.5	41.2	72.3	61.8	42.9	64.4	82.3	68.8
	MDCA-DETR	66.9	43.5	75.1	59.3	45.4	64.0	83.4	74.1
含AS	YOLOv8	82.0	55.8	93.2	82.3	78.1	64.9	81.2	92.3
	RT-DETR	87.9	59.7	90.1	84.7	87.4	86.0	81.3	98.1
	MDCA-DETR	90.4	62.8	93.2	87.3	88.2	86.1	88.5	99.2

表2展示了不同模型的性能。使用AS数据后，YOLOv8、RT-DETR和MDCA-DETR的mAP50分别提高了约20%。此外，YOLOv8、RT-DETR和MDCA-DETR的mAP50:95分别提高了12.8%、18.5%和19.3%。

利用AS数据增强数据集显著提升了所有现有最先进算法的识别精度。数据增强技术重点针对Mini-LED生产过程中三种困难的缺陷类别——异物、残胶和划痕。图11展示了原始数据和AS增强数据的样本数量以及所有缺陷类别的mAP50精度。虽然所有类别的精度都有所提升，但提升最大的正是AS过程重点关注的异物、残胶和划痕这三类。在仅使用原始数据时，我们的方法与其他受测模型相比表现良好，但在加入AS数据后，我们的方法超越了所有模型，表明在数据集平衡的情况下具有更强的泛化能力。后续所有实验均在包含AS数据的数据集上进行。

4.3.2 可变形卷积消融研究

表4展示了DCNv2和MCDC在不同类别上的性能。该表清楚地表明，加入MCDC模块后，mAP50和mAP50:95相比DCNv2有显著提升。具体而言，mAP50提高了1.3%，mAP50:95提高了1.8%。比较各类别性能，异物、残胶、凸块和划痕类型均有提升，分别提高了5.6%、1.4%、5%和0.3%。这一改进可归因于多通道坐标注意力机制的全局提取能力。通过替换DCNv2的掩码生成机制，MCDC显著增强了其计算权重的能力，这在复杂周期性背景下晶圆缺陷的特征提取过程中起着关键作用。

4.3.3 模块消融研究

在本研究中，我们对网络模型进行了消融实验，以验证MCDC、CA和ALPE模块在RT-DETR基线网络上的有效性。研究使用的数据集通过AS数据进行了补充。消融实验基于Inner-GIoU损失函数。实验结果汇总于表3。

表3 MDCA-DETR消融实验结果

MCDC	CA	ALPE	mAP50	mAP50:95	异物	残胶	图形不完整	凸块	污垢	划痕
			87.9	59.7	90.1	84.7	87.4	86.0	81.3	98.1
✓			89.4	62.3	89.8	86.2	87.3	86.8	87.2	99.1
	✓		88.7	61.3	88.3	86.3	85.8	86.3	86.9	98.4
		✓	88.9	57.7	89.7	86.0	87.9	86.6	86.3	97.3
✓	✓		89.7	62.9	88.2	86.7	86.4	89.0	88.2	99.4
✓		✓	88.6	59.9	87.4	85.6	87.8	87.5	83.9	99.2
	✓	✓	89.0	59.2	88.7	86.7	88.6	87.2	83.8	99.0
✓	✓	✓	90.4	62.8	93.2	87.3	88.0	86.2	88.4	99.2

表4 不同卷积消融实验结果

方法	mAP50	mAP50:95	异物	残胶	图形不完整	凸块	污垢	划痕
DCNv2	89.1	61.0	87.6	85.9	89.3	89.7	83.4	98.9
MCDC	90.4	62.8	93.2	87.3	88.0	86.2	88.4	99.2

MCDC有效性分析：MCDC模块通过动态调整采样位置并施加调制标量，解决了不同目标形状、尺度和方向的问题，从而提升了MDCA-DETR的检测性能。添加MCDC模块后，污垢缺陷的mAP提升了3.2%，凸块缺陷的mAP提升了1.1%，表明模型检测不规则和难以发现的缺陷的能力有了显著增强。Mini-LED晶圆表面的缺陷通常表现出不规则形状，如划痕缺陷呈现为细长结构，而凸块缺陷则具有块状结构。传统卷积由于采样点固定，难以处理这些复杂的几何形状。通过引入可训练的偏移向量，MDCA-DETR使卷积核能够根据输入的具体几何特征移动其采样点。这种适应性确保网络即使在变形条件下也能捕获关键模式，如边缘或轮廓。

MCCA通过根据每个采样点的相关性动态加权，进一步提高模型性能，使网络能够平衡局部细节与整体结构。它确保只有最关键的特征被强调，最大限度地减少噪声和不相关信息。当从MDCA-DETR中移除MCDC模块时，mAP50下降1.8%，mAP50:95下降2.7%，这一性能下降凸显了MCDC在适应非均匀、空间复杂缺陷方面的重要性。

CA有效性分析：CA模块通过分解空间维度并为每个维度生成独立权重来增强检测性能，从而实现更好的通道间交互。这种选择性注意力放大有用特征同时抑制冗余，提高了特征表示的判别能力。在MDCA-DETR中，加入CA模块后，相比不含CA的RT-DETR，mAP50提高了0.8%，mAP50:95提高了1.6%。

CA模块采用可训练的坐标变换，使注意力分布与位置信息对齐。这使得模型在检测污垢缺陷方面特别有效，因为污垢通常出现在Mini-LED晶圆的边缘。使用CA模块后，污垢缺陷的mAP从81.3%提高到88.4%，提升了5.6%；凸块缺陷的mAP从86.0%提高到86.1%，提升了0.3%。当移除CA模块时，mAP50下降1.4%，mAP50:95下降3.6%，所有缺陷类型的性能均有不同程度的下降。这些结果凸显了CA模块在增强网络位置感知和跨通道特征表示方面的重要性。

ALPE有效性分析：ALPE模块解决了标准卷积由于固定感受野而难以进行上下文感知的局限性。ALPE使同一尺度内的特征能够进行动态交互，允许模型在保留局部信息的同时聚合全局上下文。这种双重能力在具有高度规则性背景的场景中尤其有价值，例如Mini-LED晶圆表面。

在MDCA-DETR中，添加ALPE模块使mAP50提高1.0%，mAP50:95提高1.6%。该模块对异物缺陷（通常出现在晶圆边缘，属于小缺陷类别）的影响尤为明显——使用ALPE后，异物的AP从90.1%提高到93.2%，提升了5.0%；残胶缺陷的AP提升了1.3%。ALPE中的可学习位置编码使模型能够根据缺陷的空间分布调整注意力，确保即使是小尺寸、位于边缘的目标也能被精确检测。当移除ALPE时，mAP50下降0.7%，其中异物缺陷的下降幅度最大，凸显了ALPE在检测小尺寸、空间分散目标方面的关键作用。

4.3.4 不同注意力机制的消融实验

表5展示了不同注意力方法在Mini-LED晶圆缺陷检测上的性能。我们的模型使用CA，在所有缺陷类型上都提升了检测性能。CA将mAP50从RT-DETR的87.8%提高到90.4%，提升了2.96%；mAP50:95从59.7%提高到62.8%，提升了5.19%。

表5 Mini-LED晶圆数据集上不同注意力机制比较

方法	mAP50	mAP50:95	异物	残胶	图形不完整	凸块	污垢	划痕
RT-DETR	87.9	59.7	90.1	84.7	87.4	86.0	81.3	98.1
+SE	88.3	60.1	86.5	85.6	88.4	87.5	83.3	98.6
+CBAM	89.2	61.5	88.2	87.6	87.3	86.6	87.3	98.2
+SimAM	88.0	57.4	87.6	86.5	86.4	85.6	82.7	99.3
+TripleAttention	88.4	62.1	87.2	86.7	86.1	86.9	84.5	99.3
+CA	90.4	62.8	93.2	87.3	88.0	86.2	88.4	99.2

Squeeze-and-Excitation (SE)[40]模块主要通过全局池化增强通道间关系。虽然mAP50从87.8%提高到88.3%，但异物的AP下降到86.5%，显示出在复杂背景下的局限性。卷积块注意力模块（CBAM）[41]结合了通道注意力和空间注意力，mAP50达到89.2%，在残胶（87.6%）和划痕（98.2%）上有提升。然而，顺序注意力处理限制了协同效应，导致异物的AP仅为88.2%，仍低于RT-DETR的90.1%。SimAM[42]的无参数设计取得了88.0%的mAP50，但mAP50:95降低至57.4%；其异物（87.6%）和图形不完整（86.4%）的AP揭示了在复杂特征方面的不足。Triplet Attention[43]专注于高度、宽度和通道维度的交互，在划痕缺陷上取得了99.3%的AP，但总体mAP50仅为88.4%，异物缺陷AP为87.2%，均低于CA，表明其与CA相比特征交互的聚焦程度不足。相比之下，我们模型中使用的CA模块在特征编码过程中保留了空间信息，提供了更全面的位置感知特征图。

4.4 对比实验

4.4.1 不同IoU损失函数比较

在本研究中，使用Inner-GIoU损失函数替代RT-DETR中的GIoU进行边界框回归的监督学习。为进一步评估Inner-GIoU的性能，我们将其与GIoU、CIoU、EIoU和SIoU进行比较，结果如表6所示。实验中不包含MCDC模块。实验中的指标基于Mini-LED晶圆表面缺陷数据集。

表6 Mini-LED晶圆数据集上不同IoU比较

方法	mAP50	mAP50:95	异物	残胶	图形不完整	凸块	污垢	划痕
OurWork+GIoU	88.9	61.5	89.5	84.9	87.0	86.6	86.4	99.0
OurWork+CIoU	89.0	62.1	89.5	85.0	87.0	87.5	87.4	97.7
OurWork+EIoU	88.8	61.9	88.1	86.3	87.1	87.2	84.6	99.4
OurWork+SIoU	89.3	62.6	86.1	85.8	88.8	86.8	85.3	98.8
OurWork+Inner-GIoU	90.4	62.8	93.2	87.3	88.0	86.2	88.4	99.2

与GIoU相比，Inner-GIoU的mAP50和mAP50:95分别提高了1.5%和1.3%。同时，Inner-GIoU在异物、残胶和污垢三种缺陷类型上取得了最高的AP性能，与GIoU相比分别提高了3.7%、2.4%和4%。SIoU对边界框形状的较大差异不够敏感，无法提供良好的形状匹配度量。EIoU在检测异物和污垢缺陷时的性能相比GIoU有所下降，因为EIoU对边界框预测精度要求较高。

Inner-GIoU的优异表现归因于其引入了辅助边界框来计算损失，这对于响应Mini-LED晶圆上不同类型表面缺陷的高变异性非常有效，能在高IoU样本中产生增益。另一方面，从实验结果中可以观察到，CIoU在检测划痕缺陷时表现不佳，这是因为CIoU对纵横比的描述是相对的，存在一定的模糊性，且没有考虑难易样本的平衡。SIoU在检测异物、图形不完整、污垢和划痕缺陷时表现不如GIoU，因为SIoU仅考虑两个边界框的交集和并集，而没有考虑它们的纵横比。EIoU在检测异物和污垢缺陷时的性能相比GIoU有所下降，因为EIoU对边界框预测精度要求较高。

现有的基于IoU的边界框回归方法主要侧重于通过引入新的损失项来加速收敛，而忽略了IoU损失项本身的局限性。我们采用Inner-GIoU，通过辅助边界框弥补了现有基于IoU的边界框回归损失泛化能力不足的缺陷，并显著增强了对空间位置信息的捕获，从而获得了最佳的检测性能。

4.4.2 不同缺陷检测算法比较

定量分析：所提出网络的性能在整理后的Mini-LED晶圆表面缺陷数据集上进行评估，并与已有的目标检测模型进行比较，包括Faster R-CNN、RetinaNet、GFL、ATSS、TOOD、DINO、DETR、YOLOv3、YOLOv5、YOLOv8、YOLOv9、YOLOv10、YOLOv11和RT-DETR。结果汇总于表7。

表7 Mini-LED晶圆数据集上不同检测算法比较

算法	mAP50	mAP50:95	#Params(M)	GFLOPs	APS	APM	APL	FPSbs=13090
Faster R-CNN	39.2	18.7	137.1	370.2	7.0	37.8	59.4	31.4
RetinaNet	60.7	33.1	36.4	129.0	23.5	48.6	49.6	46.1
GFL	63.0	35.2	32.3	128.0	27.0	46.9	52.9	43.6
ATSS	70.3	40.7	32.1	126.0	30.8	58.1	61.1	43.1
TOOD	62.9	33.6	32.0	123.0	26.0	44.8	48.8	34.6
DINO	79.9	43.9	47.6	179.0	39.3	61.7	53.0	22.7
DETR	50.2	21.8	36.8	114.2	14.9	33.5	43.0	41.0
YOLOv3	53.5	31.9	12.1	18.9	19.2	47.9	55.7	339.0
YOLOv5m	72.5	45.0	25.0	64.0	36.3	71.1	52.6	91.7
YOLOv5l	75.6	47.6	53.1	134.7	40.0	72.0	52.4	74.6
YOLOv5x	78.5	50.2	97.2	246.0	42.3	71.1	58.0	57.0
YOLOv8m	78.4	50.9	25.8	78.7	42.3	74.2	61.5	102.2
YOLOv8l	82.1	54.9	43.6	164.8	47.9	77.5	56.9	81.5
YOLOv8x	82.0	55.8	68.1	257.4	49.3	76.9	63.5	60.3
YOLOv9m	78.5	50.4	20.2	77.0	41.7	74.7	56.1	78.0
YOLOv9c	77.8	50.5	25.3	102.3	43.3	74.7	54.4	66.6
YOLOv10m	76.6	46.5	15.3	58.9	39.6	68.2	47.5	96.2
YOLOv10b	75.4	45.9	19.0	91.6	38.4	68.8	45.0	88.3
YOLO11m	85.1	57.3	20.0	67.7	51.3	74.2	70.4	96.0
YOLO11l	83.8	54.8	25.3	86.6	48.6	74.2	63.0	68.8
RT-DETR	87.8	59.6	20.0	57.0	59.3	74.6	66.8	63.0
MDCA-DETR	90.4	62.8	20.1	51.9	59.5	77.2	65.4	51.9

在检测精度方面，所提出模型超越了所有基线方法，达到90.4%的mAP50和62.8%的mAP50:95，与RT-DETR（87.8%/59.6%）相比分别提升了2.6%和3.2%，与YOLO系列中最佳的YOLO11m（85.1%/57.3%）相比分别提升了5.3%和5.5%。增强后的算法在检测精度的各个方面都超越了YOLO系列模型，包括mAP50、mAP50:95以及小、中、大目标的缺陷检测。YOLO系列模型性能有限的主要原因是它们使用NMS（非极大值抑制）来消除冗余检测框，但该方法在处理小尺寸缺陷和不规则形状的缺陷目标时缺乏精度。

在小目标检测精度方面，我们的算法和RT-DETR相比YOLOv8均提升了约10%。虽然我们算法在大目标检测精度上略低于RT-DETR算法（65.4% vs 66.8%），但在中等和小目标检测精度上有显著提升（77.2% vs 74.6%和59.5% vs 59.3%），表明我们的算法在小目标检测精度方面是最优的。图12展示了各检测算法对多个缺陷样本图像生成的热力图，以直观评估各算法的检测效果。

对于异物缺陷，YOLOv3难以精确定位缺陷位置，并且倾向于过度关注其他周期性背景元素。虽然其他算法能够聚焦于缺陷，但它们难以提供高置信度。相比之下，我们提出的模型在这方面表现出色。对于残胶缺陷，与RT-DETR相比，我们的模型采用了带有可学习位置编码的尺度内特征交互，使模型能够更好地集中注意力于缺陷本身，并实现较高的置信度。对于图形不完整缺陷，所有模型都能有效地集中在缺陷位置，但我们的模型引入了Inner-IoU机制，增强了对缺陷定位的置信度。

可视化分析：图13展示了五种工业模型在Mini-LED晶圆上的检测性能。第一列为真实标签，第二列为MDCA-DETR模型的推理结果。从第一行可以看出，端到端目标检测器可以直接预测缺陷位置，不同于依赖NMS的YOLO系列，这避免了产生过多降低检测性能的冗余框。对于凸块缺陷，端到端目标检测器在小目标检测方面优于YOLO系列，这归因于其强大的解码器设置，与表7中展示的一致性能相吻合。显然，YOLO系列受到周期性背景的影响，而我们的算法和RT-DETR算法能够减轻周期性背景的干扰，精确定位凸块缺陷。

在第二行中，可以观察到五种模型均未能完全捕捉到细微缺陷。这表明当前模型在检测小尺寸缺陷方面仍存在局限性。这些小缺陷由于尺寸极小，在特征提取过程中难以被独立分离出来。某些缺陷还具有高度复杂的形状，边缘或纹理不规则，使模型难以提取一致的特征，从而影响检测结果。

第三行展示了背景对比度不明显时的检测性能，缺陷主要位于晶圆边缘。显然，MDCA-DETR模型能够全面检测缺陷，而RT-DETR和YOLO模型在这种情况下表现相对较差，未能准确识别缺陷。

第四行展示了模型检测较大尺寸污染缺陷的能力。结果表明，所有模型在捕获缺陷的全部范围方面都存在局限性；然而，MDCA-DETR能够更有效地识别缺陷的大致位置并避免误检。相比之下，其他模型，特别是YOLO系列，在缺陷定位和分类方面表现出明显的不准确性。这些发现表明MDCA-DETR在复杂场景下表现出更稳定和可靠的性能。

4.4.3 PCB数据集性能

为评估我们提出的MDCA-DETR模型的泛化性能，我们在PCB数据集上进行了测试，并与YOLOv5、YOLOv8、RT-DETR、YOLO-MBBi[44]和SF-YOLO[45]五个模型进行了比较。标记*的结果来自原始论文。评估指标包括mAP50(%)以及各类别AP(%)。结果展示在表8中。

表8 PCB数据集上不同检测算法比较

方法	mAP50(%)	Ms(%)	Mo(%)	Op(%)	Sh(%)	Sp(%)	Sc(%)
YOLOv5	91.9	99.5	85.6	98.9	99.0	82.2	86.4
YOLOv8	91.7	99.5	85.5	99.1	98.9	81.2	86.0
YOLO-MBBi*	95.3	97.6	94.5	97.3	92.1	94.5	95.7
SF-YOLO*	93.0	95.0	95.2	90.7	96.2	96.2	86.6
RT-DETR	91.6	99.5	92.2	99.5	98.9	81.0	78.6
MDCA-DETR	95.7	99.5	94.3	99.5	99.5	93.0	88.4

结果表明，MDCA-DETR以95.7%的mAP50取得了优异的性能，超过了所有提供该指标的模型。然而，一些较新的模型在特定缺陷类别上表现出具有竞争力甚至更优的性能。例如，SF-YOLO在Mo（咬痕）类别上以95.2%的AP略优于MDCA-DETR的94.3%，YOLO-MBBi在Sc（划痕）类别上以95.7%的AP显著优于MDCA-DETR的88.4%。尽管如此，MDCA-DETR在所有缺陷类型上都保持了稳健的性能，尤其在Ms（缺孔，99.5%）、Op（开路，99.5%）和Sh（短路，99.5%）类别上表现卓越。与RT-DETR在Sp（81.0%）和Sc（78.6%）上较低的得分相比，MDCA-DETR在这些类别上有显著提升。虽然MDCA-DETR在具有完整数据的模型中取得了最高的总体mAP50，但较新模型在特定缺陷类别上的优势表明，模型选择应基于具体的应用需求。总之，MDCA-DETR在所有类别上的优异表现及其领先的整体指标，充分证明了其强大的泛化能力、特征提取能力和优越的检测性能。

4.4.4 GC10-DET数据集性能

为验证我们提出的MDCA-DETR模型的有效性，我们在GC10-DET数据集上进行了全面的对比实验，与一系列当前主流的SOTA模型进行了比较，包括YOLOv5、YOLOv8、YOLOv11、RT-DETR以及YOLOv10n-SFDC[46]、EFD-YOLOv4[47]和DCDF-YOLO[48]（带*的实验数据引用自其原始论文）。实验数据总结于表9。

表9 GC10数据集上不同检测算法比较

方法	mAP50(%)	Cg(%)	Ss(%)	Os(%)	Wl(%)	Pu(%)	Ws(%)	Rp(%)	Wf(%)	Cr(%)	In(%)
YOLOv5	65.9	92.8	63.4	71.2	85.0	96.5	81.0	22.6	79.8	30.9	36.2
YOLOv8	66.8	95.2	64.4	69.5	89.4	97.2	82.1	22.3	72.9	43.2	32.4
YOLOv11	63.9	94.7	63.4	70.4	81.1	95.9	81.8	22.5	71.7	25.5	31.9
YOLOv10n-SFDC*	65.6	93.7	53.5	63.6	91.2	96.0	83.4	13.8	81.3	54.3	25.4
EFD-YOLOv4*	54.7	85.3	43.1	53.3	98.0	96.3	75.0	50.0	0	27.3	18.2
DCDF-YOLO*	67.8	97.6	61.0	66.9	85.8	94.6	73.7	37.3	94.8	34.9	31.6
RT-DETR	65.4	94.0	64.7	69.1	97.8	99.0	78.1	7.3	76.8	27.6	39.3
MDCA-DETR	67.9	94.7	61.8	72.7	95.4	98.5	73.4	29.6	73.6	42.6	36.4

实验结果显示，MDCA-DETR在mAP50指标上取得了67.9%的优异成绩，超越了所有对比模型。具体而言，MDCA-DETR在多个缺陷类别上表现良好，如Cg（月牙间隙）、Pu（冲孔）、Wl（焊缝）、Os（油斑）、Rp（轧坑）等。其中，在具有挑战性的Rp类别上精度达到29.6%，显著优于YOLOv5（22.6%）、YOLOv8（22.3%）、YOLOv11（22.5%）和RT-DETR（7.3%）。与YOLO系列相比，MDCA-DETR的mAP50分别比YOLOv5（65.9%）、YOLOv8（66.8%）和YOLOv11（63.9%）高出约1-2个百分点；与RT-DETR（65.4%）相比提升了2.5个百分点，证明了改进的有效性。与其他SOTA模型相比，MDCA-DETR略微优于DCDF-YOLO（67.8%），在Os（72.7% vs 66.9%）、Pu（98.5% vs 94.6%）、Wl（95.4% vs 85.8%）等类别上表现更好，展现出更强的泛化能力。总体而言，MDCA-DETR以67.9%的mAP50和在多个类别上的优异表现，展示了其在缺陷检测任务中的强大竞争力。

5. 结论

Mini-LED晶圆表面缺陷的独特特性给视觉检测带来了重大挑战，同时也为克服这些挑战提供了线索。在本文中，我们提出了MDCA-DETR架构，通过利用Mini-LED晶圆表面缺陷的独特特性来提高检测精度。MDCA-DETR从以下方面对DETR进行了改进：将传统的ResNet骨干网络替换为包含MCDC和CA模块的层，通过融入坐标信息增强对各种缺陷的提取能力；MDCA-DETR的编码器将位置编码与基于CNN的跨尺度特征融合，从而学习更深层的位置关系；最后，采用一种新的GIoU损失——inner-GIoU损失，替代传统的GIoU损失函数，以增强缺陷检测的泛化能力。此外，还使用了AS数据增强方法，将原始晶圆显微图像与人工伪造的缺陷图像融合，以缓解缺陷类型不平衡问题。实验结果表明，该方法在面对不规则缺陷特征时具有强大的特征提取能力。所提出模型的有效性和稳健性已在多个数据集上得到验证。

未来的工作将从以下方面展开：1）在满足精度的前提下，通过使用剪枝或知识蒸馏技术减少模型的计算量和复杂度，提高模型检测速度；2）优化所提算法的网络结构，并将其部署到实际生产环境中。

CRediT 作者贡献声明

Yuanda Lin: 撰写——审阅与编辑，撰写——初稿，可视化，验证，软件，项目管理，方法论，调查，形式分析，数据管理，概念化。Shuwan Pan: 撰写——审阅与编辑，监督，资源，项目管理，经费获取，形式分析，概念化。Jie Yu: 撰写——审阅与编辑，监督，资源，项目管理，概念化。Yade Hong: 撰写——审阅与编辑，资源。Fuming Wang: 撰写——审阅与编辑，方法论，形式分析。Lixin Zheng: 撰写——审阅与编辑，监督，软件，项目管理，形式分析，数据管理。Jianeng Tang: 撰写——审阅与编辑，监督，方法论，概念化。Songyan Chen: 撰写——审阅与编辑，监督，软件，资源，项目管理，方法论，调查，经费获取，概念化。

利益冲突声明

作者声明不存在可能影响本文工作的已知竞争性财务利益或个人关系。

致谢

本研究由泉州市高层次人才创新创业项目（项目号2021C047R）、福建省产学合作项目（项目号2022H6013）、中央高校基本科研业务费专项资金（项目号ZQN-1017）资助。

数据可用性

作者未获授权分享数据。

参考文献