增量跨模态检索方法

跨模态检索是可由一个模态样本查询能够返回另一模态语义相关结果的检索方法.但是在许多实际检索系统中,新数据是不断增量迭代的,这就要求检索模型具有良好的可扩展性.然而当下的大多数跨模态检索方法未聚焦于可扩展性的研究,无法平衡新知识和旧知识之间的关系.针对跨模态检索中存在的这个问题,本文提出了增量跨模态检索方法(Incremental Cross Modal Retrieval,ICMR).该方法仅使用增量样本数据集进行模型的扩展.所提方法包含两个阶段:阶段1是基于跨模态的知识蒸馏网络构建,目的是防止增量学习模型对旧数据集的灾难性遗忘;阶段2是生成不同模态哈希编码的特征表示,利用构建的新旧标签共现概率矩阵更有效的将新增类别语义信息加入到特征表示当中.实验表明基于跨模态的增量学习模型仍能保持旧数据集检索任务性能,并且在新增类样本集上也具有良好的检索精度.