AAAI 2020 | 商汤科技提出新弱监督目标检测框架作者 | 商汤科技 编辑 | 贾伟
本文介绍商汤科技在 AAAI 2020 上的论文《Object Instance Mining for WeaklySupervised Object Detection》。
他们在这篇工作中提出了一种端到端的物体实例挖掘弱监督目标检测框架,引入了基于空间图及外观图的信息传播机制,在网络迭代学习过程中,尝试挖掘每张图像中全部的物体实例。除此之外,还引入了物体实例权重调整损失函数 (reweighted loss),使网络可以同时学习到更完整的物体实例,从而让弱监督目标检测方法得到更加准确的检测框。

AAAI 2020 | 商汤科技提出新弱监督目标检测框架

论文地址:https://arxiv.org/pdf/2002.01087.pdf 目标检测是计算机视觉领域长期关注的问题,在自动驾驶、图像理解、视频监控等领域都有着广泛的应用。然而基于深度学习技术的目标检测器在网络训练中需要大量精确标注的物体边界框,这些耗时耗力的标注工作阻碍了该技术在实际产品中的快速和广泛应用,同时大量的人工标注也大大提高了产品成本。
为了解决这个局限性,仅使用图片级别标注 (既标注仅包含图片中物体的类别) 的弱监督目标检测技术在近几年受到了广泛的关注和研究,具有重要的意义。 现有的弱监督目标检测方法大多数是基于多实例学习框架的,对于每个物体类别,基于多实例学习框架的方法倾向于学习图像中该类中特征最明显的物体,并对于每张图片选取得分最大的一个物体框进行训练,其他被忽略的物体实例容易使学习网络陷入局部最优,进而影响弱监督目标检测的性能。 本论文提出了一种端到端的物体实例挖掘 (Object Instance Mining,OIM) 弱监督目标检测框架。该框架引入了基于空间图 (Spatial Graph) 及外观图 (Appearance Graph) 的信息传播机制,在网络迭代学习过程中,尝试挖掘每张图像中全部的物体实例。这样使得在基于多实例学习方法的网络学习过程中,特征不够显著的物体实例可以被检测到并加入训练,进而提升特征的表达能力和鲁棒性。
除此之外,商汤科技视频大数据团队还引入了物体实例权重调整损失函数 (reweighted loss),使网络可以同时学习到更完整的物体实例,从而让弱监督目标检测方法得到更加准确的检测框。基于物体实例挖掘 (OIM) 弱监督目标检测框架结构如下图所示:AAAI 2020 | 商汤科技提出新弱监督目标检测框架
物体实例挖掘 (OIM) 弱监督目标检测框架。 该框架主要由多实例检测 (Multiple Instance Detection) 及目标实例挖掘 (Object Instance Mining) 两个部分构成。在网络训练迭代过程中,论文先使用多实例检测预测每个候选区域的类别,之后基于检测的输出及候选区域的特征,通过建立空间图及外观图尽可能挖掘图像中的全部物体实例,并将它们加入训练。其中物体实例挖掘过程如下图所示:AAAI 2020 | 商汤科技提出新弱监督目标检测框架物体实例挖掘过程示例 在网络训练迭代过程中,在一幅图中,首先学习 / 检测到最具辨识力的物体实例,基于此实例通过位置关系,既其他候选框与此实例的重叠关系,建立空间图 (Spatial Graph),如图 (a)。之后基于此实例,通过计算它与其他候选框之间的外观相似度,挖掘图片中可能属于同一类别的物体实例,建立外观图 (Appearance Graph),针对每一个新挖掘到实例同样建立空间图,如图 (b),(c)。以此步骤进行迭代训练,直到挖掘出图像中全部可能的物体实例加入训练如图 (d)。 除此之外,由于在网络迭代学习过程中,尤其是对于非刚性物体实例,基于 CNN 的分类器学习到的最具辨识力的是物体实例的某个局部而不是整个物体的整体,,因此本论文设计了物体实例权重调整损失函数 (reweighted loss), 以学习到更准确的物体检测框。团队提出对于不同的候选框应分配不同的权重,对于分类器置信度得分高的候选框分配较低的权重,反之对最高分候选框周围的候选框分配较高的权重,从而学习更完整的物体实例检测框。 团队在 PASCAL VOC 2007 训练集上进行了弱监督物体实例挖掘的过程的可视化,如下图所示 (从左到右),随着网络的迭代学习,更多更准确的物体实例可以被检测出来并加入训练中。AAAI 2020 | 商汤科技提出新弱监督目标检测框架AAAI 2020 | 商汤科技提出新弱监督目标检测框架
团队使用 PASCAL VOC 2007 及 VOC 2012 数据进行了测试,比较了物体实例挖掘 (OIM) 方法与其他相关弱监督检测方法效果。结果表明,弱监督物体实例挖掘方法在定位精确率以及检测准确率均达到或超过目前最先进的方法。
AAAI 2020 | 商汤科技提出新弱监督目标检测框架OIM 与其他目前最先进的方法在 PASCALVOC 2007 测试集上检测精确度的比较 (AP) (%)

AAAI 2020 | 商汤科技提出新弱监督目标检测框架OIM 与其他目前最先进的方法在 PASCALVOC 2007 训练验证集上定位精确度的比较 (CorLoc) (%)

AAAI 2020 | 商汤科技提出新弱监督目标检测框架OIM 与其他目前最先进的方法在 PASCALVOC 2012 验证集 / 测试集上检测精确度的比较 (AP)(%)

AAAI 2020 | 商汤科技提出新弱监督目标检测框架OIM 与其他目前最先进的方法在 PASCALVOC 2012 训练验证集上定位精确度的比较 (CorLoc) (%)


AAAI 2020 报道:

新型冠状病毒疫情下,AAAI2020 还去开会吗?

美国拒绝入境,AAAI2020 现场参会告吹,论文如何分享?

AAAI 2020 论文集:AAAI 2020 论文解读会 @ 望京(附 PPT 下载)
AAAI 2020 上的 NLP 有哪些研究风向?

AAAI 2020 论文解读系列:

01. [中科院自动化所] 通过识别和翻译交互打造更优的语音翻译模型02. [中科院自动化所] 全新视角,探究「目标检测」与「实例分割」的互惠关系03. [北理工] 新角度看双线性池化,冗余、突发性问题本质源于哪里?04. [复旦大学] 利用场景图针对图像序列进行故事生成05. [腾讯 AI Lab] 2100 场王者荣耀,1v1 胜率 99.8%,腾讯绝悟 AI 技术解读06. [复旦大学] 多任务学习,如何设计一个更好的参数共享机制?07. [清华大学] 话到嘴边却忘了?这个模型能帮你 | 多通道反向词典模型08. [北航等] DualVD:一种视觉对话新框架
09. [清华大学] 借助 BabelNet 构建多语言义原知识库10. [微软亚研] 沟壑易填:端到端语音翻译中预训练和微调的衔接方法11. [微软亚研] 时间可以是二维的吗?基于二维时间图的视频内容片段检测12. [清华大学] 用于少次关系学习的神经网络雪球机制

13. [中科院自动化所] 通过解纠缠模型探测语义和语法的大脑表征机制

14. [中科院自动化所] 多模态基准指导的生成式多模态自动文摘

15. [南京大学] 利用多头注意力机制生成多样性翻译

16. [UCSB 王威廉组] 零样本学习,来扩充知识图谱(视频解读)

17. [上海交大] 基于图像查询的视频检索,代码已开源!

18. [奥卢大学] 基于 NAS 的 GCN 网络设计(视频解读)19. [中科大] 智能教育系统中的神经认知诊断,从数据中学习交互函数20. [北京大学] 图卷积中的多阶段自监督学习算法21. [清华大学] 全新模型,对话生成更流畅、更具个性化(视频解读,附 PPT)22. [华南理工] 面向文本识别的去耦注意力网络23. [自动化所] 基于对抗视觉特征残差的零样本学习方法24. [计算所] 引入评估模块,提升机器翻译流畅度和忠实度(已开源)25. [北大 & 上交大] 姿态辅助下的多相机协作实现主动目标追踪26. [快手] 重新审视图像美学评估 & 寻找精彩片段聚焦点27. [计算所 & 微信 AI] 改进训练目标,提升非自回归模型翻译质量(已开源)28. [中科院 & 云从科技]:双视图分类,利用多个弱标签提高分类性能29. [中山大学] 基于树状结构策略的渐进强化学习30. [东北大学] 基于联合表示的神经机器翻译(视频解读)31. [计算所] 引入评估模块,提升机器翻译流畅度和忠实度(视频解读)32. [清华大学] 用于少次关系学习的神经网络雪球机制(视频解读)33. [计算所] 非自回归机器翻译,基于 n 元组的训练目标(视频解读)34. [清华大学] 司法考试数据集(视频解读,附下载链接)
35. [自动化所] 弱监督语义分割(视频解读)36. [自动化所] 稀疏二值神经网络,不需要任何技巧,取得 SOTA 精度(视频解读)37. [华科 & 阿里] 从边界到文本—一种任意形状文本的检测方法38. [上交大 & 云从科技] DCMN+ 模型:破解「阅读理解」难题,获全球领先成绩39. [自动化所 & 微信 AI] 双通道多步推理模型,更好解决视觉对话生成问题
40. [ETH Zurich] 反向 R?削弱显著特征为细粒度分类带来提升41. [中科大] RiskOracle: 一种时空细粒度交通事故预测方法42. [华为] 短小时序,如何预测?——基于特征重构的张量 ARIMA43. [清华大学] 棋盘游戏做辅助,进行跳跃式标注(视频解读)44. [商汤] 新视频语义分割和光流联合学习算法

AAAI 2020 | 商汤科技提出新弱监督目标检测框架

更多 AAAI 2020 信息,将在「AAAI 2020 交流群」中进行,加群方式:添加 AI 研习社顶会小助手(AIyanxishe2),备注「AAAI」,邀请入群。

AAAI 2020 | 商汤科技提出新弱监督目标检测框架AAAI 2020 | 商汤科技提出新弱监督目标检测框架

AAAI 2020 | 商汤科技提出新弱监督目标检测框架

AAAI 2020 | 商汤科技提出新弱监督目标检测框架点击“阅读 原文” 前往 AAAI 2020 专题页