近日，我院冯宇健博士在国际一流期刊《Pattern Recognition》（中科院一区TOP期刊，影响因子7.5）上发表题为“Homogeneous and heterogeneous relational graph for visible-infrared person re-identification”的研究论文。该论文以江苏理工学院为第一单位，以冯宇健博士为第一作者。
可见光-红外人物再识别(VI Re-ID)的目的是在可见光和红外模态之间匹配人物图像。现有的VI Re-ID方法主要侧重于提取图像中同质的结构关系，即局部特征之间的关系，而忽略了局部特征在不同模态下的异质相关性。异构结构关系是学习有效身份表征和进行跨模态匹配的关键。冯宇健博士引入Homogeneous-Heterogeneous Graph Framework (HHGF)，包括Homogeneous structure Graph (HOSG)、Heterogeneous Graph Alignment Module (HGAM)和Cross-modal cross-correlation (CMCC) loss function，对单个模态内的同质结构关系进行建模，并挖掘可见光和红外模态之间的异质结构相关性。主要内容：（1）HOSG是一对任意节点(局部特征)与可见光或红外图像中所有剩余节点之间的关系，以学习有效的身份表示。（2）为了寻找跨模态的身份一致对应关系，HGAM采用路径搜索的方式进一步测量两模态局部节点特征之间的关系边缘强度。（3）提出CMCC损失函数提取可见光和红外图特征表示的模态不变性。该研究通过构建同质-异质图框架，深入挖掘了可见光与红外模态下局部特征之间的异质结构相关性，建模了VI Re-ID任务中局部特征间的复杂关系，消除了模态不一致性带来的干扰，提升了模型的泛化能力，可为跨模态识别任务中的模态差异提供创新性解决方案。论文DOI: https://doi.org/10.1016/j.patcog.2024.110981。（文/图：冯宇健、史培中；审核：景征骏）
