融合原型增强与先验引导的小样本语义分割网络

Abstract

针对小样本语义分割任务中类别原型表征能力不足以及先验掩码利用率低的问题，提出一种融合原型增强与先验引导的小样本语义分割网络（PEPGNet）。首先设计聚焦注意力原型模块，通过引入焦点调制与自注意力机制，融合多尺度上下文与全局上下文信息，动态加权支持集特征的关键区域以抑制背景噪声，从而生成兼具全局语义一致性与局部判别性的增强原型。其次，构建先验掩码引导模块，打破掩码仅作为位置索引的局限，利用残差网络与自注意力机制对其进行深度编码，协同捕捉局部边缘细节与全局几何关联，将粗糙的概率分布重构为富含空间语义的高维结构感知特征，为解码阶段提供精准的几何引导。实验结果表明，在 PASCAL 和 COCO 数据集的 1-shot 和 5-shot 的小样本语义分割任务中，相较于基线网络ProtoFormer ，PEPGNet 在 PASCAL 数据集上平均交并比（mIoU）分别提升了 1.75 和 0.93 个百分点，而在 COCO 数据集上分别提升了 1.83 和 1.25 个百分点。此外可视化结果表明，PEPGNet 通过优化原型构建逻辑与深度挖掘先验知识，能够显著增强网络在小样本条件下的原型判别能力与分割精度，为小样本条件下的精确分割提供了更好的技术支持。