Cross-DINO：跨越深度MLP与Transformer的小目标检测

I. 引言

目标检测（OD）在计算机视觉领域具有重要意义，其目标是在图像中识别感兴趣目标的边界框和类别。多年来，深度学习，特别是卷积神经网络（CNN）[19], [35], [46], [48], [58]的出现，推动了OD领域的显著进步。近年来，基于Transformer的检测器，如DEtection TRansformer（DETR）[7]和带有改进去噪锚框的DETR（DINO）[68]，是新颖的端到端检测框架，相比基于CNN的检测方法[68], [71]展现出优异的性能。然而，尽管在诸多应用中已经实现了对中大型目标的精确检测，精确的小目标检测（SOD）对于各种目标检测方法来说仍然是一项极具挑战性的任务[36], [47]。在OD语境中，"小目标"指在输入图像中占据较小区域的目标。具体而言，在广泛使用的MS COCO数据集[30]中，小目标被定义为在典型的480×640图像中边界框尺寸为32×32像素或更小的目标。

SOD面临的挑战

SOD是一项极具挑战性的任务，其根本原因在于小目标可用信息有限以及模型相关的多种因素：

• 信息有限：如图2(a)所示，小目标通常仅占据少量像素，导致可见度低，难以获取详细信息。此外，小目标往往对比度低、边界不清晰或存在遮挡，进一步增加了将其与背景或其他目标区分开的难度。
• 目标丢失与特征模糊：注意力层难以将更多注意力放在小目标上，尤其是在特征分辨率较低的情况下，如图2(b)所示。此外，这些注意力层会因注意力图不准确而模糊特征，增加SOD的难度。
• 类别预测分数低：图3表明，目标检测模型通常在对小目标进行分类时表现出比大目标更低的分数，从而导致对小目标的检测能力下降。

鉴于这些显著的挑战，SOD与正常尺寸目标检测之间仍然存在相当大的性能差距。这些挑战凸显了SOD模型中的三个关键因素。第一，有限的信息要求检测模型能够聚合更全面的特征表示，以捕获小目标与相邻目标的上下文关系[36]。第二，细粒度特征对于弥补模糊特征对小目标的影响至关重要。第三，提高类别预测分数在实现精确SOD中起着关键作用。尽管DETR类方法在通用目标检测任务中取得了成功，但它们尚未充分解决SOD中的上述三个挑战[10]。

DETR类模型在SOD上的局限性

DETR类模型将OD过程转化为集合预测问题，采用二分匹配来对齐预测目标与真实标签。DETR类架构包含三个关键模块：用于特征提取的紧凑骨干网络、用于特征增强的Transformer编码器颈，以及用于预测边界框和类别的Transformer解码器。这三个组件以级联方式相互连接，从而放大了模型在SOD中的难度：

• 初始特征表示方面的挑战：小目标的检测能力在很大程度上受通用骨干模型从输入图像中提取的初始特征表示的影响。这些初始特征对编码器和解码器特征的质量具有决定性影响。大多数DETR类模型[7], [32], [65], [68]通常采用ResNet[20]作为骨干网络来生成较低分辨率的激活图，该激活图仅通过小核卷积层在短程内聚合特征。这些短程特征图缺乏上下文信息，这给定位和识别信息有限的小目标带来了挑战。
• Transformer编码器方面的挑战：DETR类模型难以通过注意力操作在低分辨率特征中自动聚焦小目标，导致小目标丢失。此外，Transformer编码器的多层注意力机制可能产生噪声注意力图，逐层模糊特征的精细细节，如图6中编码器特征所示，这对SOD极为不利。
• 边界框与分类预测之间的关系：这些模型分别预测边界框和分类结果，忽视了目标尺寸与类别预测分数之间的关系。因此，这一疏忽进一步降低了SOD的性能。

Cross-DINO

为解决这些挑战，我们提出了一种称为Cross-DINO的新模型，旨在弥合DETR类模型中SOD与通用目标检测之间的差距。具体而言：(1) 我们引入了一种新的深度MLP模型，能够同时高效聚合短程和长程信息，提供更丰富、更全面的包含小目标及其邻居上下文线索的初始特征表示；(2) 我们提出了一种新颖的交叉双重编码模块（CCTM），使Transformer编码器特征能够分两步逐步从骨干特征中学习细粒度细节，增强模型对SOD的能力；(3) 我们设计了一种新的软标签——类别-尺寸（CS），并引入新颖的Boost Loss，通过高效融合目标的类别和尺寸信息来增强小目标的类别预测分数；(4) 大量实验表明，Cross-DINO显著提高了DINO模型在SOD中的性能。具体而言，Cross-DINO仅用45M参数即达到36.4% APS，在12轮训练设置下以更少的参数和FLOPs超越DINO +4.4% APS。图1展示了我们的模型与其他DETR类和基于CNN的检测器之间的比较，突显了其在性能和参数效率方面的显著优势。

II. 相关工作

A. 目标检测

目标检测长期以来严重依赖基于CNN的模型[56], [77]。这些模型能够从图像中学习强大的高层特征。OD中的两种主要方法是基于锚框的方法和无锚框的方法。基于锚框的方法，如Faster R-CNN[48]、YOLO[46]、RetinaNet[29]，利用预定义的锚框来提议初始目标位置并处理不同尺寸和纵横比的目标。为解决锚框设计敏感性和不平衡问题的局限性，无锚框方法，如CenterNet[15]和CornerNet[27]，直接预测目标位置和尺寸，无需基于锚框的参考点。它们简化了检测流程，在处理不同尺度和纵横比的目标时提供了更大的灵活性。然而，这些方法仍然依赖手工设计的组件，如非极大值抑制（NMS）和复杂的流程，这严重限制了它们的整体性能[68]。

B. 小目标检测

SOD是一项具有挑战性的任务，因为小目标可用信息有限，使模型难以表现良好。关于小目标检测的研究进展已在综述论文[10], [36], [47]中系统介绍。深度CNN架构通过池化和下采样操作提取层次化特征图，这对小目标极为危险，因为它逐渐削弱了有效信息。为解决这些挑战，许多有效方法已被提出：改善小目标的特征表示[16], [44], [52]，融合小目标的上下文信息[66], [69]，纠正小目标的类别不平衡[69]，增加小目标的训练样本[1], [26], [53], [76]。

近期，归一化Wasserstein距离[59]度量被引入以解决IoU度量对微小目标位置偏差的敏感性。为解决基于锚框和无锚框标签分配范式中的严重尺度-样本不平衡问题，RFLA方法[62]通过利用高斯感受野先验并平衡微小目标的学习过程来增强微小目标检测。基于新开发的大规模基准数据集SODA[10]，一种名为CFINet[67]的两阶段框架被专门提出用于小目标检测。该框架建立在由粗到精的流程上，并融合特征模仿学习以解决SOD中训练样本不足、质量低以及感兴趣区域预测不确定的挑战。为了使微小目标专属特征可见且清晰，SR-TOD[3]方法通过设计一种自重构的微小目标检测方法来解决此问题，该方法可与现有检测器结合并进一步增强其性能。

尽管这些方法已提高了小目标的检测精度，但SOD与通用目标检测之间仍存在显著差距。与基于CNN的检测器相比，端到端的基于Transformer的检测器[7], [68]简化了检测流程，在通用目标检测中取得了更高的精度。然而，检测小目标对于DETR类模型[24]来说仍然是一项挑战性任务，这表明需要在该领域进行进一步探索。QueryDet[63]利用一种新颖的级联稀疏查询机制来加速基于特征金字塔的目标检测器的推理速度；然而，它在用于小目标检测的高分辨率特征方面存在困难。由于现有DETR类模型中固定的查询数量和位置不适合检测航空数据集中的微小目标，DQ-DETR[24]动态调整目标查询数量以缓解航空图像中实例的不平衡。尽管这些方法在小目标检测方面取得了进展，但有必要超越查询调整来优化DETR类模型，以增强其检测小目标的结构有效性。为解决SOD中信息有限、特征模糊和置信度低等挑战，本文同时聚合长程和短程信息以丰富上下文特征。这些增强后的特征随后被集成到Transformer编码器中，为解码器查询提供更丰富的信息，从而为SOD生成更精确的检测结果。

C. 基于Transformer的检测器

自DETR[7]被提出以来，一系列DETR类模型从多个方面促进了检测性能的提升。这些模型旨在加速模型的训练过程，例如Conditional DETR[43]、DN-DETR[28]、DINO[68]、H-DETR[25]、Stable-DINO[33]。它们也优化了查询公式，例如Efficient DETR[65]、DAB-DETR[32]、DINO[68]和MLP-DINO[4]。重新设计更先进的Transformer编码器和解码器架构是提高检测精度的另一种途径，如Deformable-DETR[74]、CF-DETR[6]。此外，DiffusionDet[9]设计了一种新框架，将OD表述为从噪声框到目标框的去噪扩散过程，相比已有检测器取得了优异的性能。然而，值得注意的是，这些模型主要解决通用检测场景，可能无法充分解决SOD中信息局限、目标丢失与特征模糊、低置信度等特定挑战。因此，迫切需要发展DETR类方法中的有效途径来推进SOD。

D. 多样化的骨干网络

在深度学习中，典型的视觉骨干网络可分为三大类：基于CNN的、基于Transformer的和基于MLP的。CNN是视觉任务中事实上的标准深度学习网络模型[20], [23]，已在视觉社区中得到深入研究。然而，它们主要局部聚合特征，可能难以有效捕获长程依赖关系。另一方面，Transformer模型[14], [38]引入了注意力机制，使其能够捕获长程信息，并在分类任务上达到SOTA精度。基于Transformer模型的一个主要缺点是注意力机制带来的显著计算负担。深度MLP[31]是一种主要基于MLP层的新架构，在图像分类基准上表现出具有竞争力的性能。Strip-MLP[5]等变体提出了一种高效的token交互模型，能够同时捕获长程和短程信息，同时需要更少的参数和计算资源，显示出比其他流行方法更大的优越性。

基于上述分析，不同的骨干网络在处理小目标和提取具有上下文信息的特征方面具有不同的能力[36]。利用适用于小目标并能从小目标的有限信息中提取更丰富特征表示的骨干网络至关重要。

III. 方法

在本节中，我们首先描述Cross-DINO用于SOD的整体架构。然后，我们将深度MLP模型引入Transformer检测框架，以在长程和短程范围内聚合小目标的上下文信息。为解决Transformer编码器中特征模糊的挑战，我们提出了新的CCTM模块，使骨干特征的细粒度信息能够馈送到编码器特征中以服务于小目标。最后，我们提出了新颖的Boost Loss函数以缓解SOD中类别预测分数低的问题。

A. 整体架构

Cross-DINO的整体架构如图4所示，该架构在DINO[68]模型基础上扩展以用于SOD。具体而言，Cross-DINO在模型架构和损失函数两方面都进行了改进，以应对小目标检测的挑战。

给定输入图像，我们首先引入深度MLP骨干模型来提取紧凑的特征表示，称为骨干特征B。这些特征随后被展平并通过多层Transformer编码器进行处理，以增强特征并解耦图像中的不同目标。接下来，引入CCTM对骨干特征B和编码器特征E进行交叉编码，得到更细粒度的交叉特征E_cf。展平后的交叉特征E_cf与动态位置查询和静态内容查询一起被馈送到多层Transformer解码器[74]中，用于逐步预测和细化边界框。两个前馈网络（FFN）连接到解码器以预测类别标签和边界框坐标。为解决小目标类别预测分数低的问题，Boost Loss被应用于编码器特征E和所有解码器预测。

B. 跨越深度MLP与Transformer用于SOD

a) 通过深度MLP模型增强初始特征：

如图2中SOD所示，可用信息的有限性给深度学习模型提取有意义的特征带来了重大挑战。许多DETR类框架，如DETR[7]、Efficient DETR[65]和DINO[68]，通常使用ResNet50[20]和ResNet101[20]作为其骨干网络进行特征提取。然而，我们认为不同骨干模型提取的初始特征表示对后续组件和整体性能有实质性影响，特别是在检测小目标方面。

ResNet[20]模型主要通过小核卷积层以短程方式聚合信息。这种方法聚焦于图像的小区域，而忽视了上下文信息，这对检测信息有限的小目标至关重要。为解决此问题，我们探索了更高效的视觉模型，并将Strip-MLP[5]引入DINO框架以获得更全面的特征表示。Strip-MLP是一种基于MLP的无注意力模型，能够同时在短空间范围和长空间范围内聚合信息。这增强了token交互能力，并在分类基准上取得了优异的性能，在参数和计算复杂度方面具有优势。

b) 深度MLP模型接受任意尺寸图像的解决方案：

对于深度MLP模型，由于MLP层在空间维度上操作，模型的权重与输入图像的尺寸相关。这给大多数深度MLP模型[5], [31]带来了一个共同挑战：模型仅接受固定尺寸的输入图像。这一限制制约了它们在下游密集预测任务（如目标检测）中的应用，因为在这些任务中输入图像尺寸可能变化。

为克服这一限制并将MLP模型纳入DINO框架，我们提出了一种简单而有效的方法，称为自适应重叠裁剪（CLAP）方法，该方法将图像自适应地裁剪并填充为小块，并将共享权重应用于所有块。这种方法使我们能够使用深度MLP模型的固定特征权重处理任意尺寸的图像，极大地扩展了它们在密集预测任务中的应用。进一步地，我们将CLAP方法融入Strip-MLP，即CLAP-Strip-MLP，使其能够作为通用视觉骨干网络并在下游任务中发挥重要作用。

C. 交叉双重编码模块（CCTM）

在DETR类框架中，骨干网络和Transformer编码器在OD中扮演不同的角色。为缓解对输入图像进行注意力操作的计算需求，骨干网络旨在为Transformer编码器生成较低分辨率的特征表示B。这些低分辨率特征使后续的注意力模块能够更高效地处理信息，减少GPU资源需求和计算工作量。Transformer编码器设计用于增强特征和解耦目标，简化解码器的目标提取和定位。

然而，当对低分辨率图像执行多层注意力操作时，我们观察到这倾向于模糊图像细节并丢失目标，特别是对小目标而言。如图6所示，与骨干特征相比，编码器特征严重模糊。由于小目标可用信息有限，这些模糊效应更加明显，导致性能显著下降。相比之下，骨干特征表示包含有价值且细粒度的信息，这些信息不存在于编码器特征中。这两种类型特征——丰富的细节信息和丰富的语义信息——对SOD都至关重要。

基于上述分析，我们的动机是将骨干特征B和编码器特征E交叉融合在一起，并用更细粒度的信息对编码器特征进行重新加权以服务于小目标。受常用于选择性门控特征传播的交叉注意力[8]启发，我们提出了一种新的交叉双重编码模块（CCTM），分两步交叉和编码深度MLP特征B与Transformer编码器特征E，使特征E能够逐步从特征B中融合细粒度细节，有效提升SOD的性能。

图5展示了CCTM的架构。在第一步中，我们旨在通过使用门控图混合这两种类型的特征来编码交叉特征，可以如下公式化（以E_cross¹为例）：

其中$\sigma(*)$是sigmoid函数，GELU[22]是激活层，LN和FC分别是LayerNorm和全连接层。特征$E^{1}_{cross} \in \mathbb{R}^{B \times C \times L}$（其中B、C、L分别表示批量大小、通道数和token长度）表示E与B的第一次交叉编码特征。特征E和B共享与$E^{1}_{cross}$相同的特征维度。

为增加通道的对比度和选择性，我们应用全局响应归一化（GRN）[61]和两个MLP层沿通道维度重新加权特征。第二步设计用于基于原始特征B和E的交叉门控图B'E'来自适应地选择有价值和细粒度的信息。此过程可以公式化为：

其中$E_{cf}$是CCTM的输出特征。特征$E_{cf}$和B'E'也共享与$E^{1}_{cross}$相同的特征维度。为保留和强调增强后的特征，我们为编码器特征分配了更高的权重2。

D. 用于SOD的Boost Loss

在SOD中，我们观察到一个普遍且一致的现象：基于深度学习的OD模型倾向于对大型目标表现出较高的类别预测分数，而对较小目标表现出较低的分数。我们对DINO-4scale[68]模型在COCO val2017[30]上的检测结果进行了统计分析。如图3所示，统计结果表明大型目标的平均类别预测分数显著高于小型目标。这一发现突显了目标尺寸与模型类别预测分数之间的强相关性。然而，大多数现有检测方法[19], [25], [48], [68]独立地预测检测到的目标的边界框和分类结果，并孤立地计算它们的损失，从而忽视了两者之间的关键关系。

基于上述分析，为提高模型在SOD中的类别预测分数，我们提出了一种新的损失函数，称为融合类别与目标尺寸预测损失（Boost Loss）。该设计的动机是通过将目标尺寸纳入预测过程来自适应地增加小目标的分类损失，以重新加权分类概率。这是通过根据目标尺寸对预测类别概率施加缩放因子来实现的。

给定尺寸为$H \times W$的图像$I$，图像中每个目标的边界框尺寸可记为$h_i \times w_i$（其中$i$是框的索引），对应的类别标签可记为$y_i$。类似地，模型对图像的预测边界框尺寸和分类结果可分别表示为$\hat{h}_i \times \hat{w}_i$和$p_i$。

在我们的Boost Loss中，我们设计了一种融合目标类别和尺寸（CS）的新颖软标签，其公式如下：

利用公式(4)，我们可以轻松地基于数据集的真实标签和模型的检测预测分别构建新的真实标签CS（$cs_i \in CS$）和预测$\hat{CS}$。然而，在某些场景中，如VisDrone2019[73]中的无人机图像和AI-TOD[60]中的航拍图像，这些图像中的目标尺寸显著更小，Boost Loss中的$cs$和$\hat{cs}$值在归一化后变得非常小。例如，1024×1024图像中8×8的目标导致$\hat{cs} = 0.0078$。这导致$(1 - \hat{cs})$项接近1，削弱了其自适应重新加权损失权重的效果。为解决此问题，我们使用缩放因子$\beta$来平衡不同目标尺寸的分布，设计了Boost Loss。我们的Boost Loss可定义为：

其中$\alpha$、$\beta$和$\gamma$是用于调整Boost Loss权重的超参数，$N$是目标数量。

为什么Boost Loss有效？我们认为提升SOD性能的关键在于模型关注小目标的能力。在Boost Loss中，较小的目标尺寸会将分数$p_i$重新加权为更小的$cs_i$，从而增加小目标的损失，鼓励模型将更多注意力投入到小目标上。特别地，目标尺寸的权重仅应用于正样本。此设计背后的主要原因是，增强负样本的损失并不会增强模型对小目标的关注。相反，负样本的数量显著多于正样本，这会给训练过程引入不必要的噪声。

IV. 实验

A. 实验设置

a) 数据集：

我们在五个目标检测数据集上评估我们的方法：COCO2017[30]、WiderPerson[70]、VisDrone2019[73]、AI-TOD[60]和SODA-D[10]。这些数据集在训练图像数量、目标尺寸和检测场景多样性方面存在显著差异。消融研究在COCO2017和VisDrone2019数据集上进行。

COCO2017。COCO[30]数据集是广泛使用的目标检测基准数据集。COCO2017包含118k训练图像和5k验证图像，具有80多个目标类别。

WiderPerson。WiderPerson[70]是一个用于真实场景中密集行人检测的大规模多样化数据集。它包含13,382张图像，总标注数399,786个，平均每张图像29.87个标注。该数据集因其多样化的场景和严重的遮挡而对SOD构成重大挑战。它包括8,000张训练图像和1,000张验证图像。

VisDrone2019。VisDrone2019[73]数据集共包含10,209张图像，分为三个子集：6,471张用于训练子集，548张用于验证子集，1,610张用于test-dev子集。该数据集涵盖10个类别。在我们的研究中，我们遵循SR-TOD[3]和RFLA[62]方法概述的训练协议。我们利用训练子集进行模型训练，并保留test-dev子集用于评估性能。

AI-TOD。AI-TOD[60]数据集包含28,036张航拍图像，具有8个类别的700,621个目标实例。数据集中每张图像的分辨率为800×800像素。该数据集因航拍图像中典型的小目标尺寸（平均目标尺寸为12.8像素）而特别具有挑战性。

SODA-D。SODA-D[10]数据集包含24,828张高质量交通图像和9个类别的278,433个实例。由于SODA中图像的高分辨率（约4000×3000像素），我们对该数据集应用了先前工作[67]的预处理方法。具体而言，我们将原始图像分割为800×800的块，步长为650像素，然后将这些块调整为1200×1200像素用于训练和测试。遵循[67]的方法，我们利用训练集进行模型训练，测试集用于评估。

b) 实现细节：

为确保公平比较，我们采用多项研究中使用的相同训练方案：COCO使用DINO[68]，WiderPerson使用IterDet[51]，VisDrone2019和AI-TOD数据集使用SR-TOD[3]和RFLA[62]。此外，SODA-D数据集我们遵循CFINet[67]的训练方案。所有模型均使用AdamW[40]优化器训练，权重衰减为$1 \times 10^{-4}$。Cross-DINO利用来自骨干网络的4尺度特征。与其它检测模型[19], [55], [68]类似，本研究中的所有骨干网络均在ImageNet-1K[12]上预训练。对于COCO和WiderPerson，模型在Tesla V100 GPU上使用8的小批量大小训练。除非另有说明，默认情况下$\beta$设为1.0，$\alpha$设为0.25，$\gamma$设为2.0。对于SODA-D和VisDrone2019数据集，批量大小设为4。对于AI-TOD数据集，遵循SR-TOD[3]和RFLA[62]的设置，批量大小设为2。解码器查询和去噪查询的数量分别设为900和100，遵循DINO方法。在消融研究中，除非另有说明，我们的模型训练12轮（1×训练调度器）。

c) 评估标准：

对于COCO2017，我们使用各种IoU阈值和目标尺度下的标准平均精度（AP）[36]度量评估检测性能。对于WiderPerson，我们采用行人检测中常用的AP、Recall和mMR评估指标[70]。mMR指标在[13]中引入，表示每张图像误报率从$10^{-2}$到$10^{0}$范围内的对数平均漏检率，是实际应用中的重要指标。

对于AI-TOD数据集，目标尺寸分类如下：2到8像素为非常微小，8到16像素为微小，16到32像素为小。遵循先前工作[3], [60], [62]的方法，我们使用AP_vt、AP_t和AP_s指标分别评估非常微小、微小和小目标类别的性能。对于SODA-D数据集，我们采用先前工作[10], [67]的评估指标，采用AP_eS表示极小型目标、AP_rS表示相对小型目标、AP_gS表示一般小型目标，其中这些指标专门为小目标引入。

B. 主要结果

a) COCO2017上的结果：

表I比较了Cross-DINO在COCO val2017上与不同流行检测框架（包括基于CNN的检测器和DETR类检测器）的结果。可以观察到，Cross-DINO在三种不同骨干模型（如ResNet50、Swin-T和CLAP-Strip-T）下在所有指标上均取得了更高的性能。具体而言，在相同训练设置下（如12轮和ResNet50骨干模型），Cross-DINO相比原始DINO模型性能更高，AP增加了+1.1%，APS增加了+1.1%。我们还构建了一个名为DINO-CLAP-Strip-T的新模型，仅将DINO的ResNet50骨干替换为引入的CLAP-Strip-T模型。DINO-CLAP-Strip-T比DINO高出+2.7% AP（51.7% vs. 49.0%），为我们的方法有效性提供了有力证据。此外，在新的DINO-CLAP-Strip-T基线基础上，Cross-DINO模型中加入CCTM和Boost Loss获得了52.6% AP的更高性能，相比原始DINO模型进一步提高了+0.9% AP（总计比DINO高+3.6% AP）。对于SOD，使用ResNet50和Swin-T模型的Cross-DINO始终优于其他先进模型，APS平均增加了+0.98%。此外，使用CLAP-Strip-T骨干的Cross-DINO达到了36.4% APS的性能，比DINO增加了+4.4% APS，超越了其他先进模型。

表I. Cross-DINO与COCO val2017上其他流行检测模型的比较结果（使用不同骨干网络和训练轮数）。DINO和Cross-DINO模型均采用来自骨干网络的4尺度特征图。

模型	骨干	轮数	AP	AP50	AP75	APS	APM	APL	参数量	GFLOPs
Faster-RCNN [48]	ResNet50	108	42.0	62.4	44.2	20.5	45.8	61.1	42M	180G
DETR [7]	ResNet50	500	42.0	62.4	44.2	20.5	45.8	61.1	41M	86G
DETR-DC5 [7]	ResNet50	500	43.3	63.1	45.9	22.5	47.3	61.1	41M	187G
Deformable-DETR [74]	ResNet50	50	46.2	65.2	50.0	28.8	49.2	61.7	40M	173G
Efficient-DETR [65]	ResNet50	36	44.2	62.2	48.0	28.4	47.5	56.6	32M	159G
Conditional DETR [43]	ResNet50	108	43.0	64.0	45.7	22.7	46.7	61.5	44M	90G
Sparse-DETR [50]	ResNet50	50	46.3	66.0	50.1	29.0	49.5	60.8	41M	136G
DAB-DETR [32]	ResNet50	50	42.6	63.2	45.6	21.8	46.2	61.1	44M	100G
DN-DETR [28]	ResNet50	50	44.1	64.4	46.7	22.9	48.0	63.4	44M	94G
CF-DETR [6]	ResNet50	36	47.8	66.5	52.4	31.2	50.6	62.8	-	-
DiffusionDet [9]	ResNet50	60	46.8	65.3	51.8	29.6	49.3	62.2	-	-
Focus-DETR [71]	ResNet50	36	50.4	68.5	55.0	34.0	53.5	64.4	48M	154G
DINO [68]	ResNet50	12	49.0	66.6	53.5	32.0	52.3	63.0	47M	279G
Cross-DINO (ours)	ResNet50	12	50.1 (+1.1)	68.0	54.6	33.1 (+1.1)	53.4	65.2	48M	288G
DINO [68]	ResNet50	24	50.4	68.3	54.8	33.3	53.7	64.8	47M	279G
Cross-DINO (ours)	ResNet50	24	51.4 (+1.0)	69.3	56.0	34.1 (+0.8)	54.9	65.5	48M	288G
DINO [49]	Swin-T	12	51.3	69.0	56.0	34.5	54.4	66.0	48M	280G
Cross-DINO (ours)	Swin-T	12	52.1 (+0.8)	70.3	56.7	36.9 (+2.4)	55.4	67.0	49M	302G
Cross-DINO (ours)	Swin-T	36	54.6 (+1.4)	72.7	59.6	37.5 (+1.6)	58.3	69.5	49M	302G
DINO-CLAP-Strip (ours)	CLAP-Strip-T	12	51.7 (+1.7)	69.6	56.8	35.0 (+3.0)	55.1	66.0	44M	263G
Cross-DINO (ours)	CLAP-Strip-T	12	52.6 (+3.6)	70.7	57.6	36.4 (+4.4)	56.6	68.2	45M	277G
Cross-DINO (ours)	CLAP-Strip-T	36	54.6	72.8	59.7	37.5	58.4	69.4	45M	277G

b) WiderPerson上的结果：

我们参照先前工作[51], [70]获得了'Hard'标注子集上的结果，该子集包含所有物理高度超过20像素的框。表II将我们的方法与基于CNN和基于Transformer的检测器进行了比较。当使用不同的骨干网络，包括ResNet50[20]、Swin-T[38]和CLAP-Strip-T时，我们的模型在所有评估指标上均比大多数先进方法取得了更高的性能。特别是，我们的Cross-DINO-Swin-T模型达到了93.93%的AP和99.65%的Recall，分别比原始DINO-Swin-T模型高+0.86%的AP和+0.23%的Recall。此外，我们的Cross-DINO-CLAP-Strip-T在mMR上达到36.91%，比原始DINO在mMR上低3.17%（越低越好）。这些结果清楚地证明了我们的CLAP-Strip-MLP模型、CCTM和Boost Loss在增强SOD方面的有效性。

表II. WiderPerson数据集上的实验结果

方法	轮数	AP↑	Recall↑	mMR↓
PS-RCNN [17]	12	89.96	94.71	-
IterDet-1-iter [51]	24	89.49	92.67	40.35
IterDet-2-iter [51]	24	91.95	97.15	40.78
He et al. [21]	-	91.29	-	40.43
Cascade Transformer [42]	50	92.98	97.66	38.41
DINO-ResNet50 [68]	24	92.75	99.08	40.08
Cross-DINO-ResNet50 (ours)	24	93.29 (+0.54)	99.64	39.94
DINO-Swin-T [68]	24	93.07	99.42	38.78
Cross-DINO-Swin-T (ours)	24	93.93 (+0.86)	99.65	37.88
DINO-CLAP-Strip-T (ours)	24	93.19	99.42	38.21
Cross-DINO-CLAP-Strip-T (ours)	24	93.92 (+0.73)	99.65	36.91

c) VisDrone2019上的结果：

表III展示了VisDrone2019数据集的比较结果。与基线DINO[68]模型相比，使用ResNet50骨干的我们的模型提高了整体性能，AP增加了+1.4%（33.1% vs. 31.7%）。此外，通过融合我们的CLAP-Strip-T模型，DINO模型进一步提高了精度，AP增加了+1.9%，AP_vt增加了+0.6%。总体而言，与DINO-R50基线模型相比，我们的Cross-DINO-CLAP-Strip-T模型取得了以下显著提升：AP +3.7%，AP_vt +2.3%，AP_s +4.1%。此外，如图7所示，我们的Cross-DINO模型（实线）在训练过程中大幅优于DINO模型（虚线），清楚证明了其有效性。

表III. VisDrone2019测试数据集上的比较结果

模型	Eps	AP	AP0.5	AP0.75	APvt	APt	APs
Faster R-CNN [48]	12	23.9	42.2	23.8	0.1	6.5	21.1
Cascade R-CNN [2]	12	25.2	42.6	25.9	0.1	7.0	22.5
DetectoRS [45]	12	26.3	43.9	26.9	0.1	7.5	23.3
Faster R-CNN w/SR-TOD [3]	12	26.3	46.8	26.0	2.9	11.0	23.7
DetectoRS w/SR-TOD [3]	12	27.2	47.1	27.2	2.4	11.7	24.2
Cascade R-CNN w/SR-TOD [3]	12	27.3	46.9	27.5	2.3	11.5	24.7
RFLA [62]	12	27.2	48.0	26.6	4.5	13.0	23.6
RFLA w/SR-TOD [3]	12	27.8	48.8	27.5	4.8	13.2	24.5
DINO-R50 [68]	12	31.7	54.1	31.9	5.9	14.0	27.4
Cross-DINO-R50	12	33.1	55.8	33.7	5.7	14.5	28.5
DINO-CLAP-Strip-T	12	33.6	56.1	34.2	6.5	16.1	29.8
Cross-DINO-CLAP-Strip-T	12	35.4	59.8	35.9	8.2	16.2	31.5
△改进		+3.7	+5.7	+4.0	+2.3	+2.2	+4.1

d) AI-TOD上的结果：

表IV中的实验结果表明，Cross-DINO-R50整体AP略有提升，增加了+0.8%。与VisDrone2019等其他数据集相比，AI-TOD上的提升相对较小。这可归因于两个主要因素：(1) AI-TOD的平均目标尺寸为12.8像素，使SOD更具挑战性；(2) Boost Loss可能效果较弱，因为这些更小的目标尺寸在AI-TOD中导致相似的权重，削弱了其有效区分和优先处理目标的能力。当使用所提出的CLAP-Strip-T模型时，性能下降到22.6% AP。我们将这种下降主要归因于CLAP-Strip-T的特征通道数显著少于ResNet50。具体而言，ResNet50生成的特征通道为[512, 1024, 2048]，为检测微小目标提供了更多必要信息。相比之下，CLAP-Strip-T仅生成[160, 320, 640]通道的特征，导致检测微小和非常微小目标的信息不足。作为比较，我们将输入图像从800×800调整为1200×1200，采用类似于SODA-D[10]的方法。如表IV所示，Cross-DINO-CLAP-Strip-T-1200模型达到了25.1%的AP，非常微小目标的精度提高了+4.5%，微小目标提高了+2.2%。这一结果突显了从小目标聚合信息以增强检测精度的重要性。

表IV. AI-TOD测试数据集上的比较结果。Cross-DINO-CLAP-Strip-T-1200的输入尺寸为1200×1200，其他模型使用800×800。β设为0.05。

模型	Eps	AP	AP0.5	AP0.75	APvt	APt	APs
Faster R-CNN [48]	12	11.7	27.4	8.2	0.0	8.6	23.7
Cascade R-CNN [2]	12	14.0	31.2	10.7	0.1	10.3	26.2
DetectoRS [45]	12	14.6	31.8	11.5	0.0	11.0	27.4
RFLA [62]	12	21.7	50.5	15.3	8.3	21.8	26.3
HANet [18]	12	22.1	53.7	14.4	10.9	22.2	27.3
RFLA w/SR-TOD [3]	12	21.8	50.8	15.4	9.7	21.8	27.4
Cascade R-CNN w/SR-TOD [3]	12	21.9	50.6	15.6	9.6	22.4	26.7
DetectoRS w/SR-TOD [3]	12	24.0	54.6	17.1	10.1	24.8	29.3
DINO-R50	12	23.1	54.6	16.0	10.5	23.5	29.1
Cross-DINO-R50	12	23.9	57.8	15.6	10.3	24.5	30.5
Cross-DINO-CLAP-Strip-T	12	22.6	54.7	15.4	9.5	23.5	27.7
Cross-DINO-CLAP-Strip-T-1200	12	25.1	58.9	17.5	13.2	25.4	31.2

e) SODA-D上的结果：

表V展示了我们的模型与其他流行方法的比较结果。值得注意的是，我们的Cross-DINO模型优于其他方法，在所有评估指标上取得了最佳性能。具体而言，它比基线模型DINO[68]在AP上高出+4.3%，AP_eS高出+3.3%，AP_N高出+5.0%。此外，它也比现有的最先进模型CFINet[67]高出+1.3% AP、+0.3% AP_eS和+3.3% AP_N。这些显著的提升突显了Cross-DINO模型在基于Transformer的检测器中用于小目标检测的增强能力。

表V. SODA-D测试数据集上的比较结果。β设为0.1。

模型	Eps	AP	AP0.5	AP0.75	APeS	APrS	APgS	APN
RetinaNet [29]	12	28.2	57.6	23.7	11.9	25.2	34.1	44.2
DyHead [11]	12	27.5	56.1	23.2	12.4	24.4	33.0	41.9
CornerNet [27]	24	24.6	49.5	21.7	6.5	20.5	32.2	43.8
RepPoints [64]	12	28.0	55.6	24.7	10.1	23.8	35.1	45.3
Deformable-DETR [74]	50	19.2	44.8	13.7	6.3	15.4	24.9	34.2
Sparse RCNN [54]	12	24.2	50.3	20.3	8.8	20.4	30.2	39.4
RFLA [62]	12	29.7	60.2	25.2	13.2	26.9	35.4	44.6
CFINet [67]	12	30.7	60.8	26.7	14.7	27.8	36.4	44.6
DINO [68]	12	27.7	55.5	23.8	11.7	23.7	33.9	42.9
Cross-DINO (ours)	12	32.0	63.0	27.9	15.0	28.4	38.3	47.9
△改进		+4.3	+7.5	+4.1	+3.3	+4.7	+4.4	+5.0

C. 消融研究

a) COCO上CCTM和Boost Loss的消融：

为进一步验证我们方法的有效性，我们在三种不同骨干模型上对CCTM和Boost Loss进行了消融研究。在表VI中，将Cross-DINO与使用不同骨干模型的DINO基线模型进行比较，我们观察到CCTM和Boost Loss都显著地促进了所有评估指标的提升。这些结果突显了从骨干特征中捕获细粒度细节以及增强SOD类别预测分数的重要性。图3中的统计结果也清楚地表明，我们使用Boost Loss的方法有效地增强了模型相对于DINO的类别预测分数。当使用CLAP-Strip-T作为骨干时，相比DINO-CLAP-Strip-T，应用CCTM和Boost Loss分别在小型目标APS上产生了+0.7%（35.7% vs. 35.0%）和+1.2%（36.2% vs. 35.0%）的显著提升。此外，通过同时融合CCTM和Boost Loss，我们在AP上达到+0.9%（52.6% vs. 51.7%）、在APS上达到+1.4%（36.4% vs. 35.0%）的更高提升。在ResNet50和Swin-T骨干模型中也观察到了类似的提升，突显了我们方法在不同架构上的有效性。

表VI. 不同骨干网络上CCTM和Boost Loss的消融结果。Swin-T的β设为0.1。

CCTM	Boost	骨干	AP	AP50	AP75	APS	APM	APL
		ResNet50	49.0	66.6	53.5	32.0	52.3	63.0
✓		ResNet50	49.8	67.6	54.5	32.4	53.0	64.3
	✓	ResNet50	49.6	67.0	54.0	32.2	53.2	64.3
✓	✓	ResNet50	50.0	67.8	54.7	32.6	53.5	65.4
		Swin-T	51.3	69.0	56.0	34.5	54.4	66.0
✓		Swin-T	52.0	69.8	56.9	35.4	55.1	66.8
	✓	Swin-T	52.0	70.1	56.7	35.4	54.8	66.9
✓	✓	Swin-T	52.1	70.3	56.7	36.9	55.4	67.0
		CLAP-Strip-T	51.7	69.6	56.8	35.0	55.1	66.0
✓		CLAP-Strip-T	52.4	70.6	57.5	35.7	56.4	67.2
	✓	CLAP-Strip-T	52.6	70.8	57.5	36.2	56.4	68.0
✓	✓	CLAP-Strip-T	52.6	70.7	57.6	36.4	56.6	68.2

b) VisDrone2019上CLAP-Strip-T骨干、CCTM和Boost Loss组件的消融：

为进一步验证我们方法的有效性，我们在VisDrone2019数据集上进行了额外的消融实验。表VII展示的结果表明，组合CLAP-Strip-T骨干、CCTM和Boost Loss方法显著提高了模型的精度，相比DINO模型AP增加了+3.7%，AP_vt增加了+2.3%。这些结果进一步证实了我们方法的有效性。

表VII. Cross-DINO组件消融结果。基线模型为DINO-ResNet50。

CLAP-Strip-T	CCTM	Boost	AP	AP50	AP75	APvt	APt	APs
			31.7	54.1	31.9	5.9	14.0	27.4
✓			33.6	56.1	34.2	6.5	16.1	29.8
✓	✓		33.8	56.1	34.6	8.4	15.9	29.5
✓	✓	✓	35.4	59.8	35.9	8.2	16.2	31.5

c) COCO上CCTM内部组件的消融：

CCTM设计用于通过交叉门控操作自适应地增强编码器特征，选择性地逐步融合骨干特征中的细粒度信息，从而丰富目标的细节。为进一步验证CCTM的有效性，我们进行了消融研究，以两种方式评估不同组件的影响：移除所有门控操作并仅用MLP层替代（仅MLP），以及仅移除B'和E'的门控图（仅一次门控）。表VIII清楚地表明，具有两次交叉门控的CCTM表现最佳，优于一次门控、仅MLP等方案。

表VIII. COCO上CCTM组件消融结果。

模型	消融设置	AP	AP50	AP75	APS	APM	APL
DINO-ResNet50	基线	49.0	66.6	53.5	32.0	52.3	63.0
DINO-ResNet50	仅MLP（无门控）	49.1	66.9	53.3	32.3	52.3	63.2
DINO-ResNet50	仅一次门控	49.4	66.8	53.9	32.1	52.9	63.5
DINO-ResNet50	CCTM（两次门控）	49.8	67.6	54.5	32.4	53.0	64.3

V. 结论

本文提出了一种新颖的Cross-DINO模型，解决了DETR类检测框架中SOD的挑战。我们引入了基于深度MLP的模型及新的CLAP方法到DINO中，以聚合包含小目标上下文线索的长程和短程特征表示。为缓解多层注意力引起的特征模糊问题，我们提出了新的CCTM模块，将骨干特征中的细粒度细节馈送到编码器特征中。此外，我们提出了一种新颖高效的Boost Loss，通过融合目标的类别和尺寸信息来增强类别预测的置信度。我们广泛的实验结果证明了Cross-DINO的有效性。我们希望我们的结果能够在视觉社区中激发基于DETR类框架进行OD的进一步研究。

附录A：CLAP方法

a) 深度MLP固定图像尺寸问题：

在主论文中，我们解决了大多数深度MLP模型面临的共同挑战：它们仅接受固定尺寸的输入图像。这一限制制约了它们在密集预测任务（如目标检测）中的应用，因为输入尺寸可能会变化。为克服这一限制，我们提出了一种通用的自适应重叠裁剪（CLAP）方法，旨在使深度MLP模型能够处理任意尺寸的图像。随后，我们在Cross-DINO中使用Strip-MLP模型评估了此方法的有效性。

b) CLAP方法详情：

大多数基于MLP的模型仅接受固定尺寸的输入图像，因为MLP层在图像的空间维度上操作，导致模型的权重与输入图像的尺寸相关。为解决此问题，我们提出了一种简单而有效的CLAP方法，该方法涉及将图像裁剪并填充为小块，并将共享权重应用于所有块。这使我们能够使用深度MLP模型的固定特征权重处理任意尺寸的图像，极大地扩展了它们在密集预测任务中的应用。

最初，我们假设有一个预训练的MLP模型（如Strip-MLP模型）可用于固定输入尺寸$H_o \times W_o$的图像分类。对于下游任务（如目标检测），输入图像具有变化的尺寸$H \times W$，我们将图像裁剪为具有重叠的小块，确保每个块具有与$H_o \times W_o$相同的尺寸。将图像分割为具有重叠的小块的目的是促进块与相邻块之间的信息交换。如图8所示，重叠尺寸$l_w$和$l_h$根据MLP层中的神经元数量和正在处理的图像尺寸动态确定。此过程可如下公式化：

其中$n_w$和$n_h$表示分割的小块数量，$H \times W$表示正在处理的任意尺寸图像，$H_o$和$W_o$表示MLP层中固定的神经元数量。运算符$\lfloor \rfloor$是向下取整符号。具体而言，小块数量$n_w$和$n_h$根据$W$与$W_o$、$H$与$H_o$的比率动态确定。为处理不可整除的维度，我们对除法结果加上0.5并执行舍入操作，如公式(6)和(7)所示。这确保通过划分更多数量的小块来处理整个图像。为填充额外区域，我们的方法采用具有重叠尺寸$l_w$和$l_h$的跨区域分割方法，如公式(8)和(9)计算。这允许具有重叠区域的相邻块之间进行信息交换，重叠区域将在不同块中被处理两次。

对所有小块应用MLP层后，我们得到更新后的特征。为将小块恢复到原始尺寸，我们通过以0.5的平均权重对重叠区域求和来组合这些特征。这确保每个重叠区域对最终恢复图像贡献相等。因此，我们从MLP层获得处理后的特征，这些特征与原始特征具有相同的尺寸。总之，我们的CLAP方法作为一种通用方法，将基于MLP的模型转换为无分辨率限制的模型，使其能够应用于更广泛的密集预测任务。

附录B：可视化与分析

a) COCO2017上的可视化：

我们在表I中通过与COCO2017数据集上其他流行先进模型的比较，证明了Cross-DINO的有效性，清楚确认了我们方法的优越性能。此外，表VI中的消融结果提供了额外证据支持CCTM和Boost Loss的有效性。这些结果展示了在三种不同骨干模型上的整体一致性提升，突显了我们方法的鲁棒性和总体有效性。

为进一步直观展示我们方法对SOD特征表示的有价值贡献，我们可视化了不同模型的检测结果和类激活图（CAMs）[72]。我们比较了DINO模型和DINO-CB模型（DINO加CCTM和Boost Loss，记为DINO-CB）的结果。使用编码器特征浅层（通常具有更高分辨率）的特征和查询，我们在图9中可视化了它们的检测结果和CAM。通过比较两个模型的CAMs，如图9(b)和(d)所示，我们观察到DINO-CB在每个小目标上表现出更高的响应（图9(d)红色框所示），表明CCTM和Boost Loss帮助模型更多地关注小目标，并在SOD上取得更高性能。然而，DINO模型倾向于在非目标区域具有更高的响应（图9(b)白色框所示），导致整体检测性能低于DINO-CB。这些来自定量和定性视角的结果提供了证据，表明我们的方法有效增强了检测模型专门针对小目标检测的检测能力。

b) WiderPerson上的可视化：

WiderPerson[70]数据集以其在小目标检测中的挑战性而闻名，因为它包含密集分布的行人和各种遮挡。在我们的研究中，我们在此数据集上进行了实验来证明Cross-DINO的有效性，如表II所示。图10提供了DINO和Cross-DINO模型检测结果的可视化。这些结果基于WiderPerson数据集的验证图像。通过比较两个模型的检测结果，我们一致发现Cross-DINO检测到的目标数量（NOB）通常高于DINO。值得注意的是，Cross-DINO在检测以遮挡、小尺寸和模糊为特征的更具挑战性的目标方面超越了DINO。这展示了Cross-DINO在检测"困难"目标方面的鲁棒性和优势，最终提高了整体检测率。此外，Cross-DINO的平均置信度分数（ACS）显著高于DINO。这表明Cross-DINO有效地聚合了检测目标的上下文信息，从而增强了类别预测的置信度。

附录C：有效感受野可视化

为增强初始特征表示，我们引入了一种新的CLAP方法，将固定分辨率的深度MLP模型转换为灵活分辨率的模型，称为CLAP-Strip-MLP。该模型能够在不需要重新训练的情况下处理任意尺寸的图像，并同时高效地聚合长程和短程信息。为展示其聚合能力，我们可视化了有效感受野（ERF）[41]，它表示输入空间中影响某个输出单元激活的区域。遵循VMamba[37]中使用的可视化方法，我们对各种视觉骨干网络的中心像素ERF进行了比较分析，包括ResNet50[20]、ConvNeXt-T[39]、Swin-T[38]、DeiT-S[57]和VMamba-T[37]。我们检查了训练前和训练后的结果。

如图11所示，只有DeiT-S、VMamba-T和我们的CLAP-Strip-T展示了全局ERF，而其他模型展示的是局部ERF。特别是，我们的CLAP-Strip-T能够同时捕获全局和局部ERF，表明它可以收集更丰富的上下文信息。

附录D：Boost Loss中β的影响讨论

在第III-D节中，我们引入了一个新的缩放因子β，其中β ∈ [0, 1]，以平衡不同尺寸目标的损失权重分布。具体而言，这个缩放因子影响不同目标尺寸的损失权重分布，进而影响训练期间模型对不同尺寸目标的关注，最终影响其精度。

为清楚地展示β对不同尺寸目标损失权重的影响，我们进行了权重计算，如表IX所示。损失权重的相对距离（RD）通过用损失权重之差除以最小损失权重值来计算。该指标表征了不同损失函数对不同尺寸目标给予的关注程度。较大的RD值表示模型对不同尺寸目标的区分度和关注度更高。

例如，我们分析了非常微小目标（2×2像素）和微小目标（8×8像素）。表IX列出了各种β值的RD值。可以观察到，较小的β导致目标之间权重区分更显著。具体而言，当β = 0.05时，RD值被放大，相比原始损失（即β = 1.0时）增加了36.8倍（0.0552 vs. 0.0015）。对于8×8和80×80像素等大小目标也观察到了类似现象。

表IX. β对不同目标尺寸损失权重的影响。Boost Loss中γ为0.25。用于计算ĉs的图像尺寸为1024×1024。

目标尺寸	ĉs	(1-ĉs)γ	(1-ĉs0.05)γ	(1-ĉs0.1)γ	(1-ĉs0.25)γ
2×2	0.0020	0.9995	0.7189	0.8248	0.9423
8×8	0.0078	0.9980	0.6813	0.7874	0.9156
相对距离 (2×2 vs 8×8)		0.0015	0.0552 (36.8↑)	0.0475 (31.7↑)	0.0292 (19.5↑)
8×8	0.0078	0.9980	0.6813	0.7874	0.9156
80×80	0.0781	0.9799	0.5882	0.6888	0.8286
相对距离 (8×8 vs 80×80)		0.0185	0.1583 (8.6↑)	0.1431 (7.7↑)	0.1050 (5.7↑)

为确定我们模型的最优β值，我们对缩放因子β进行了额外的消融实验。如表X所示，不同的β值导致模型精度有不同程度的整体提升。特别是，Cross-DINO在VisDrone2019测试数据集上实现了+1.4%至+2.0%的AP提升，证明了模型在不同β值下的鲁棒性。如表IX所讨论的，β的值影响不同尺寸目标的损失权重分布。值得注意的是，与β = 0.05相比，β = 0.25的模型获得更高AP（35.8% vs. 35.2%），但AP_vt略有下降（使用β = 0.25时非常微小目标的RD较小），突显了β对不同尺寸目标的影响。基于这些发现，我们在表III中展示的主要结果中将β设为0.1。

表X. VisDrone2019测试数据集上Boost Loss缩放因子β的消融实验。

模型	Eps	损失	β	AP	AP0.5	AP0.75	APvt	APt	APs
Cross-DINO-CLAP	12	Focal	-	33.8	56.1	34.6	8.4	15.9	29.5
Cross-DINO-CLAP	12	Boost	0.05	35.2	59.4	35.9	8.3	16.1	30.6
Cross-DINO-CLAP	12	Boost	0.10	35.4	59.8	35.9	8.2	16.2	31.5
Cross-DINO-CLAP	12	Boost	0.25	35.8	59.8	36.4	7.6	16.5	31.1

附录E：Boost Loss与Focal Loss的区别

我们的Boost Loss与现有Focal Loss[29]在动机、先验知识、实现和性能方面有根本性不同。具体而言，它们的区别详述如下：

• 不同的动机。Boost Loss专门设计用于解决大目标和小目标的置信度与边界框尺寸之间的显著相关性，如主论文图3和第III-D节所述。相比之下，Focal Loss[29]主要旨在解决不同类别之间的类别不平衡问题。这些不同的动机使得每种损失函数能够有效应对特定的挑战。
• 不同的先验。Boost Loss通过整合关于边界框尺寸的额外先验信息来工作。它根据真实边界框尺寸标注自动将较小目标识别为困难样本。通过显式地为小目标分配更高权重，Boost Loss优先处理这些困难样本，从而将训练重点放在它们身上。相比之下，Focal Loss不利用这种框尺寸信息，这削弱了其识别小目标的能力。
• 不同的实现。与Focal Loss相比，我们的Boost Loss通过定义一种称为CS的新真实标签，专注于对预测目标尺寸和置信度之间的一致性关系进行建模。该标签建立在现有的类别和框的标签标注信息上（无需额外标注成本），如"方法"部分第III-D节所述。
• 性能差异。使用Boost Loss训练的模型在各个骨干网络（ResNet50、Swin-T、CLAP-Strip-T）和数据集（COCO和VisDrone2019）上始终优于使用Focal Loss训练的模型。对于COCO，使用Boost Loss的DINO在三种骨干模型上实现了AP增加+0.6%/+0.6%/+0.9%和APS增加+0.2%/+1.0%/+1.2%的性能提升，如主论文表VI所示，证明了其总体有效性。此外，我们还在更具挑战性的SOD数据集VisDrone2019[73]上进行了额外实验。如表XI所示，使用Boost Loss训练的DINO和Cross-DINO模型均优于使用Focal Loss训练的模型。具体而言，我们观察到DINO-R50的AP增加了+1.1%，Cross-DINO-R50的AP增加了+1.0%，Cross-DINO-CLAP-Strip-T模型的AP增加了+1.4%，进一步证实了其有效性。

表XI. VisDrone2019测试数据集上Focal Loss与Boost Loss的消融结果。

模型	Epoch	损失	AP	AP0.5	AP0.75	APvt	APt	APs
DINO-R50	12	Focal	31.7	54.1	31.9	5.9	14.0	27.4
DINO-R50	12	Boost	32.8	56.2	32.9	5.6	14.4	28.4
Cross-DINO-R50	12	Focal	32.1	54.1	32.5	5.1	13.6	27.7
Cross-DINO-R50	12	Boost	33.1	55.8	33.7	5.7	14.5	28.5
Cross-DINO-CLAP	12	Focal	33.8	56.1	34.6	8.4	15.9	29.5
Cross-DINO-CLAP	12	Boost	35.2	59.4	35.9	8.3	16.1	30.6

参考文献