WEA-DINO：一种改进的基于词嵌入对齐的DINO
用于遥感场景零样本目标检测

I. 引言

随着深度学习技术在目标检测研究领域的发展[1]–[4]，真实世界的遥感检测应用取得了巨大进展。考虑到遥感场景中地物特征的复杂性，我们并非总能获取所有目标和观测配置的训练样本[5], [6]。与此同时，传统的遥感检测模型在捕获训练集中存在的地形元素方面展现出令人印象深刻的性能，但在定位和识别未见类别方面仍表现出局限性。这种需求与技术之间的不匹配显著制约了遥感目标识别实际应用的可行性。因此，近年来，零样本目标检测（Zero-Shot Object Detection, ZSD）任务在遥感场景中逐渐获得关注，成为研究热点。

本文受国家自然科学基金资助（批准号61901015, 62072021）。本文由IEEE出版技术组制作，位于新泽西州皮斯卡塔韦。稿件收稿日期xxxx年xx月xx日，修订日期xxxx年xx月xx日。（通讯作者：Huojin Chen、Hongbo Zhao。）

图1. WEA-DINO范式概述。DINO由CNN骨干网络、多层Transformer编码器/解码器[11]和预测头组成。WEA-DINO引入了WEA-DINO检测头，使模型能够处理零样本目标检测任务。

近年来，已有若干方法被提出以应对自然场景的ZSD任务[7]–[10]。相比之下，遥感场景ZSD任务存在两个特殊挑战：(1) 由于地物元素表现出较大的类内方差，将视觉特征和词嵌入对齐到同一潜在空间具有挑战性，尤其是对于未见类别；(2) 由于遥感场景图像始终覆盖广阔的地理区域，检测模型难以对未见地物元素提供令人信服的定位候选。

为应对上述挑战，本文提出WEA-DINO，将词嵌入对齐机制融入DINO [4]中。如图1所示，我们设计了WEA-DINO检测头（带有词嵌入对齐引导的DINO预测头），并将其插入DINO架构中。具体而言，我们首先通过CNN骨干网络提取输入图像的多层特征。然后，带有对应位置嵌入的特征被输入到DINO-Transformer中，生成带有相应隐藏特征的目标查询（匹配查询和去噪查询）。接着，目标查询和词嵌入通过我们提出的WEA-DINO检测头，预测边界框坐标、类别和余弦相似度矩阵（Cos-Sim矩阵）。最后，我们设计了余弦相似度矩阵与目标矩阵之间的对齐损失。在训练阶段，多个损失项被组合在一起优化WEA-DINO。在推理阶段，余弦相似度矩阵被用于识别未见类别。

在WEA-DINO检测头中，我们为每个类别的词嵌入和视觉特征之间构建了一一对应关系。通过这种设计，未见类别可以在词嵌入的引导下被识别，因此第一个挑战得以解决。在DINO中，对比去噪（Contrastive DeNoising, CDN）被提出用于更好地区分"背景"和"前景"。为了将"前景"定位能力迁移到"未见类别"定位能力，我们对"去噪查询"的隐藏特征与词嵌入特征进行了特征对齐，这可以解决第二个挑战。

在遥感场景目标检测基准数据集DIOR [12]上的大量实验证明了所提出的WEA-DINO的有效性。我们还在PASCAL-VOC [13]上进行了实验，以证明WEA-DINO的泛化能力。本文的主要贡献如下：

• 基于DINO，我们提出了一种改进的新型架构——WEA-DINO，用于应对遥感场景中的零样本目标检测任务。
• 为弥合视觉特征与词嵌入之间的差距，我们在WEA-DINO检测头中引入了词嵌入特征与匹配查询隐藏特征之间的特征对齐。
• 我们在WEA-DINO检测头中引入了词嵌入特征与去噪查询隐藏特征之间的特征对齐，从而提升了对未见类别的定位能力。

II. 相关工作

遥感场景目标检测

遥感场景目标检测技术已广泛应用于各种实际场景中。近期的研究主要集中于解决类内方差大和来自大面积地理覆盖的混淆信息这两个问题。针对第一个问题，[14], [15]提出了一系列方法来克服具有大类内方差的地物目标检测性能较低的问题。针对第二个问题，[16], [17]利用丰富的语义特征和像素级上下文关系来抵抗混淆信息。

零样本目标检测

为应对ZSD任务，以往的方法[9], [10], [18]主要集中在利用词嵌入合成未见类别的特征。通过多样化的未见类别合成特征，定位和分类预测变得可靠。Huang等人提出了RRFS [10]，这是遥感场景目标检测任务中的先驱性方法。在RRFS之后，Huang等人在VisDrone2023挑战赛¹中进一步应对了该任务的广义零样本检测（GZSD）设置。本文主要遵循RRFS的问题定义和实验设置。

¹ http://aiskyeye.com/challenge-2023/zero-shot-object-detection/

III. 本文方法

为了使模型能够识别未见的地物类别，我们提出了WEA-DINO，将特征对齐机制融入原始DINO中。图2展示了WEA-DINO的架构。

图2. WEA-DINO架构。DINO-Transformer用于将多层特征映射为带有相应隐藏特征的目标查询。WEA-DINO检测头用于将目标查询映射为预测结果。

A. 问题定义

在零样本目标检测任务中，存在两个互不相交的类别集合：已见集合和未见集合。在训练集中，只有已见实例被标注。然而，在测试集中，场景可能有所不同：可能仅包含未见实例（ZSD设置），或同时包含已见和未见实例（广义零样本检测，GZSD设置）。本文遵循最新挑战赛¹的设置，处理GZSD设置。已见和未见类别的词嵌入从RRFS [10]中获得。

B. DINO-Transformer概述

DINO-Transformer由多层Transformer编码器、混合查询选择和多层Transformer解码器组成。如图2所示，从CNN骨干网络提取的多层特征及其相应的位置嵌入作为Transformer编码器的输入。在DINO中，Transformer编码器采用多尺度可变形注意力[3]模块来捕获特征图上所有可能的空间位置。经过Transformer编码器的特征增强后，应用混合查询选择来初始化锚框。以初始化的锚框作为目标查询（匹配查询和去噪查询），以编码器输出作为值和键，Transformer解码器用于组合这些特征并更新目标查询。

C. 带词嵌入对齐的DINO检测头（WEA-DINO-Head）

本文提出的带词嵌入对齐的DINO检测头（WEA-DINO-Head）包含"CLS分支"、"REG分支"和"WEA分支"。如图2和公式1所示，"CLS分支"和"REG分支"分别用于将目标查询的隐藏特征（$F_h \in \mathbb{R}^{bs \times N_q \times D}$）映射为类别预测和边界框预测。

其中 $f_{cls}(\cdot)$ 和 $f_{reg}(\cdot)$ 表示全连接线性投影。$f_{FFN}(\cdot)$ 表示前馈网络。$\sigma$ 是Sigmoid操作。$P_{cls} \in \mathbb{R}^{bs \times N_q \times N_c}$ 和 $P_{reg} \in \mathbb{R}^{bs \times N_q \times 4}$ 分别表示分类预测和边界框坐标。$bs$ 表示批量大小。$N_q$、$N_c$ 分别表示目标查询数量和类别数量，$D$ 表示隐藏特征维度。

在我们提出的"WEA分支"中，我们首先用FFN（$f_{we-FFN}(\cdot)$）对词嵌入（$v_w \in \mathbb{R}^{N_c \times D_{we}}$）进行编码。输出的词嵌入特征（$v'_w \in \mathbb{R}^{N_c \times D}$）与隐藏特征具有相同的维度。然后，计算 $F_h$ 和 $v'_w$ 之间的余弦相似度矩阵（$M_{sim}$）（公式2和公式3）。

其中 $v'_w(c) \in \mathbb{R}^D$ 表示第 $c$ 个类别的词嵌入特征。$F_h(i) \in \mathbb{R}^D$ 表示第 $i$ 个目标查询的隐藏特征。此处，$F_h$ 在前两个维度上被展平。

为了将词嵌入特征与匹配查询和去噪查询的隐藏特征都对齐，我们提出了一个对齐机制。第一步是将余弦相似度矩阵分割为匹配和去噪余弦相似度矩阵（$M_{m-sim}$, $M_{d-sim}$）（公式4和公式5）。

其中 $N_q = N_m + N_d$。$N_m$、$N_d$ 分别表示匹配查询和去噪查询的数量。

第二步是生成目标矩阵（$Y_m \in \mathbb{R}^{N_c \times (bs \times N_m)}$ 和 $Y_d \in \mathbb{R}^{N_c \times (bs \times N_d)}$）。这里，我们应用匈牙利匹配来配对预测边界框和真实标注。正查询和负查询将分别被分配独热向量和全零向量。因此，目标矩阵是一个稀疏的二元矩阵。第三步是计算对齐损失。我们采用Focal损失[2]作为 $L_{align}$。损失项在公式6和公式7中定义，其中 $L^m_{align}$ 和 $L^d_{align}$ 分别表示匹配查询和去噪查询上的对齐损失。这里，$\gamma$ 设为2.0。

总的来说，WEA-DINO检测头能够将词嵌入特征和视觉隐藏特征对齐到同一潜在空间中。将词嵌入特征与匹配查询和去噪查询均对齐进一步增强了"未见"定位能力。WEA-DINO检测头的流程如算法1所示。

D. 组合损失优化

如图2所示，不同的损失函数将被组合用于WEA-DINO的优化。总目标损失函数（$L_{obj}$）如公式8所示。

其中 $L_{cls}$ 用于类别识别。$L_{bbox}$ 和 $L_{iou}$ 用于边界框回归。$L_{align}$ 专为未见类别检测而设计。损失项因子 $\{\gamma_1, \gamma_2, \gamma_3, \gamma_4\}$ 设为 $\{0.75, 5.0, 2.0, 2.5\}$。

IV. 实验

数据集与评估指标。我们在DIOR（遥感场景）[12]和PASCAL VOC（自然场景）[13]数据集上进行了实验。两个数据集均采用"16/4已见/未见划分"的类别设置，遵循RRFS [10]中指定的类别细节。对于评估，我们使用mAP@50作为指标。此外，我们选择调和均值（Harmonic Mean, HM）[19]指标，以综合评估模型在已见和未见目标类别上的性能。

实现细节。WEA-DINO框架使用PyTorch和MMDetection工具箱²开发。全部实验在单块配备24GB显存的NVIDIA RTX3090 GPU上执行。选择ResNet50架构作为模型的基础骨干网络。此外，我们使用AdanW优化器，学习率和权重衰减参数均设为0.0001。网络模型中的其余参数按照DINO框架[4]中指定的配置进行设置。我们的代码即将在 https://github.com/cv516Buaa/WEA-DINO 发布。

² https://github.com/open-mmlab/mmdetection

A. 实验结果

DIOR上的结果。如表I所示，我们在DIOR数据集上在GZSD设置下与最先进方法进行比较，WEA-DINO取得了最佳性能。尤其值得注意的是，在未见类别上相比RRFS提升了5.7%，导致HM值显著提升了8.8%。

PASCAL-VOC上的结果。为证明WEA-DINO的泛化能力，我们在自然场景数据集上进行了实验。如表II所示，WEA-DINO在检测未见实例方面展现出优越的性能，同时在HM指标上达到了SOTA性能（相比RRFS在HM值上提升了7.3%）。

B. 可视化与分析

检测结果可视化。为直观展示WEA-DINO的有效性，我们在图3中提供了可视化结果。尽管仍存在一些误报，WEA-DINO展现了其捕获未见实例的能力。此外，已见实例的检测能力并未受到负面影响。

图3. DIOR数据集上检测结果的定性可视化。对于每个未见类别（共4个），我们提供一个案例进行分析。

特征图的可视化与分析。为深入探究WEA-DINO性能提升的原因，我们对骨干网络的特定层进行了可视化分析。具体而言，我们可视化了ResNet50 [23]在DINO和WEA-DINO中的8倍和16倍下采样特征，结果如图4所示。我们采用了一种名为通道联合注意力（Channel Joint Attention, CJA）的可视化方法——更准确地说，我们沿通道维度对8倍和16倍下采样特征进行了平均和归一化处理。可视化结果表明，在网络中加入WEA检测头有助于引导骨干网络更多地关注未见实例的特征。我们认为，这种增强的特征提取能力是WEA-DINO在未见类别上性能提升的关键因素。

图4. 特征图可视化。上两行描绘了DINO [4]中的特征图，中间两行表示WEA-DINO中的特征图，底行对应真实标注。↓表示下采样率。

C. 消融研究

为更深入地理解我们的方法，我们在DIOR数据集上进行了消融研究，以审视方法中每个组件的单独贡献。如表III所示，我们比较了基线模型（DINO）（第一行）与逐步添加匹配查询对齐损失（第二行）和去噪查询对齐损失（第三行）的性能。在模型训练阶段，仅有前16个已见类别有标注训练样本可用。显然，直接用已见类别训练DINO几乎无法识别未见目标。当在匹配查询上添加对齐损失时，WEA-DINO初步被赋予了未见实例的检测能力。当进一步在去噪查询上添加对齐损失时，"未见"和"HM"的结果进一步提升。这表明在匹配查询和去噪查询上添加对齐损失都有助于提升网络对未见类别的识别性能。

V. 结论

本文中，我们提出了WEA-DINO来应对遥感场景的零样本目标检测任务。在WEA-DINO中，我们设计了WEA-DINO检测头来弥合目标匹配查询与词嵌入之间的差距。受对比去噪策略的启发，我们进一步在去噪查询上引入对齐，将"前景"定位能力迁移到"未见类别"定位能力。令人鼓舞的实验结果表明，WEA-DINO在GZSD设置下能够超越此前的SOTA方法。可视化分析直观展示了WEA-DINO的有效性和可解释性。本文提出的方法致力于识别完全未见的目标。尽管取得了最优性能，但必须承认该方法仍有显著的改进空间。近年来，随着众多视觉-语言大模型的出现，这些模型在大规模数据集上进行了预训练，在某种程度上已经"见过"零样本类别。这一特性为零样本检测任务提供了新的视角，代表了我们未来研究的方向。

参考文献