恭喜我组在图神经网络架构搜索的工作被国际数据库和数据管理顶会ICDE 2022长文录用!
近日,南京大学PASA大数据实验室在图神经网络架构搜索方向的论文“PSP: Progressive Space Pruning for Efficient Graph Neural Architecture Search”被数据管理与数据库国际顶级会议 ICDE 2022 长文录用,该论文是AutoML自动化机器学习与图神经网络两方面交叉融合的探索结果。论文工作主要由PASA大数据实验室研究生汪文杰、许卓尔、程锋、邱孟川完成,指导教师为朱光辉博士。
ICDE 2022会议的全称是38th IEEE International Conference on Data Engineering(第38届IEEE国际数据工程大会),将于2022年5月9日至12日在马来西亚吉隆坡以线上会议形式召开。ICDE是数据管理与数据库领域最权威的国际顶级学术会议之一,与SIGMOD、VLDB并称为数据管理与数据库领域的国际三大顶会,入选中国计算机学会(CCF)推荐 A 类国际会议列表。
近年来,图神经网络(Graph Neural Network, GNN)在节点分类、图分类以及链接预测等图机器学习任务中取得了巨大的成功。然而,在现实世界中,图数据类型多种多样,尚不存在一个单一的GNN架构,可以适应不同的图数据集。而且,针对特定的图结构数据集,设计性能优异的图神经网络架构需要大量的专家经验和计算开销。受到AutoML自动化机器学习中的神经网络架构搜索(Neural Architecture Search)技术启发,本次录用论文从搜索空间设计的角度出发,研究提出了一种高效的基于渐进式空间剪枝的图神经网络架构搜索方法PSP(Progressive Space Pruning)。首先,研究设计了由多个Cell构成的架构搜索空间。基于Cell的搜索空间可有效解决搜索整个架构带来的搜索空间组合爆炸的问题。其次,引入代理模型,计算搜索空间中候选操作对架构性能的贡献度,迭代剪枝贡献度较低的候选操作。最后,研究提出了一种基于元学习的迁移策略,将在离线数据集上得到的图神经网络架构以及搜索空间迁移到在线相似图数据集上,从而解决计算资源受限场景下的图神经网络架构搜索问题。在不同类型图数据集上的实验结果表明,与目前人工设计最优模型以及已有的自动化图神经架构搜索方法相比,本论文工作提出的方法PSP能够取得更加优异的模型预测性能,而且具有较高的搜索效率和可迁移性。
此次论文入选 ICDE,是PASA大数据实验室在AutoML自动化机器学习领域持续深耕和不断创新的又一成果。在此之前,PASA大数据实验室AutoML技术团队连续9次在AutoML国际大赛中以优异成绩获奖。其中在素有“数据世界杯”之称的KDD Cup 2020数据挖掘国际大赛AutoML自动化机器学习赛道(AutoGraph自动化图数据建模)中,从全球顶尖团队和高手云集的220多支参赛队伍中,经过4个多月的激烈角逐,最终脱颖而出,荣获大赛国际第二名,并获邀在KDD 2020线上会议上做技术分享。