近日,我院张化祥教授实验室的两篇论文《Two-pronged Strategy: Lightweight Augmented Graph Network Hashing for Scalable Image Retrieval》和《Graph Convolutional Multi-modal Hashing for Flexible Multimedia Retrieval》被CCF A类会议ACM Multimedia 2021录用为口头报告论文(录用率9.2%)。论文第一作者分别为在读博士生崔慧和芦旭,指导教师分别为朱磊教授和张化祥教授。此两项研究成果的取得,标志着我院在计算机人工智能与多媒体领域的持续创新与进步。
论文《Two-pronged Strategy: Lightweight Augmented Graph Network Hashing for Scalable Image Retrieval》提出了一种轻量级增广图神经网络哈希方法,用于解决无监督深度哈希模型因缺少明确的语义标签而难以优化大量网络参数且训练成本高的问题。该方法采用双管齐下的策略:一方面提取图像的内部结构作为辅助语义,以增强无监督哈希学习过程的语义监督;另一方面基于辅助语义设计轻量级的图网络结构,减少需要优化的网络参数的数量,从而加快训练过程。实验表明,该方法在检索精度和效率方面都比目前最先进的无监督深度哈希方法有显著提高,且在公开数据集MS-COCO上,与次优结果相比,检索精度提高10%以上,训练时间提高2.7倍以上。论文《Graph Convolutional Multi-modal Hashing for Flexible Multimedia Retrieval》提出了一种灵活的图卷积多模态哈希方法,用于解决传统基于图的多模态哈希检索方法因构造图而引起的计算和存储成本过高问题以及不完整查询样本下部分模态特征丢失问题。该方法采用具有线性复杂度的图卷积神经网络保持模态个体和模态融合的结构相似性,可在完整和不完整数据集上进行高性能多媒体检索。论文提出的语义指导下的多模态个体图卷积神经网络,分别作用于各模态数据,以保持模态内的相似性,并将输出表示融合成具有自适应加权方案的融合图,在查询阶段即使部分模态特征丢失,该方法也能自适应地捕获各种多模态内容。实验验证了方法有效性。
朱磊教授作为学校引进人才,入职3年多来,累计发表或录用中国计算机学会(下简称CCF)推荐A类会议长文、ACM/IEEE的汇刊论文40多篇(第一作者或通讯作者18篇)。这些论文的谷歌学术引用2000多次。发表的论文获得CCF A类会议ACM SIGIR 2019的唯一最佳论文提名奖,CCF A类会议ACM MM 2019的最佳论文提名(5篇最佳候选论文之一),ADMA 2020的最佳论文奖,1篇论文入选2019年中国百篇最具影响国际学术论文。入职以来,先后受邀担任包括中科院SCI一区期刊IPM在内4个SCI期刊的编委,多媒体领域权威国际会议ACM MM领域主席,奥地利科学基金评审专家。担任中国图形图像学会青工委副秘书长、中国计算机学会多媒体专委会执行委员,山东省人工智能学会常务理事等。主持基金委青年/面上项目、山东省优秀青年基金项目,山东省高等学校青创团队项目,参与国家基金委重点项目、山东省自然科学基金重大基础研究项目等多项课题,为泰山学者团队核心成员。获得ACM中国SIGMM新星奖、山东省留学回国人员创业奖及山东省人工智能优秀青年奖。
ACM Multimedia被中国计算机学会(CCF)列为A类会议。根据CCF分类标准,A类会议指国际上极少数的顶级学术会议。CCF A类会议论文是国务院学位评定委员会指定的计算机科学与技术一级学科博士点评估必须指标之一,在计算机科学与技术学科占有非常重要地位,受到国内外一流大学和一流学科的高度重视。多媒体研究的重点是整合分析不同数字形式提供的多种视角,包括图像、文本、视频、音乐和传感器数据等。ACM Multimedia自1993年以来每年举办一次,它一直将学术界和业界的研究人员和实践者聚集在一起,介绍创新的多媒体领域研究成果,并讨论最新的进展。2021年ACM Multimedia将于10月20日至24日在中国成都召开。