近日，湖南工业大学计算机学院教授彭成课题组在计算机领域顶级期刊IEEE Transactions on Industrial Informatics上发表学术论文，论文题目为A Rolling Bearing Fault Diagnosis Method Based on Multimodal Knowledge Graph (DOI: 10.1109‬/TII.2024.3431074‬ )。该期刊由美国电气电子工程师学会(Institute of Electrical and Electronics Engineers，IEEE)主办，是中科院SCI期刊分区工程技术一区Top期刊，影响因子为11.7。‬

图1 基于MKG的故障诊断框架

图2 关系级联图注意网络

彭成为论文第一作者，硕士研究生盛延艳为第二作者，湖南工业大学为第一通讯单位，中南大学桂卫华院士、唐朝晖教授课题组为合作单位。

在工业装备健康分析中，关键零部件轴承的诊断故障至关重要，但这些故障的复杂性和多样性给传统方法带来了挑战。现有算法通常将复合故障视为独立事件，忽视了不同故障之间的相互关系，这限制了在诊断具有多样语义复杂性的故障时的性能。此外，利用多模态数据提高故障诊断准确性的研究较为有限。为克服上述弱点，提出了一种基于多模态数据（包括时间序列振动信号、频谱和数据集描述文本）的多模态知识图谱（Multimodal Knowledge Graph，MKG）构建方法。随后，设计了一种利用基于关系级联图注意网络的MKG补全模型的故障诊断方法，以捕捉各种故障之间的关系。在从七个轴承数据集中构建的MKG上的实验结果表明了所提方法的鲁棒性。