南京大学PASA大数据实验室论文被国际数据挖掘顶级会议KDD 2024（CCF A类会议）录用

近日，南京大学PASA大数据实验室在多任务学习方向的论文“Automatic Multi-Task Learning Framework with Neural Architecture Search in Recommendations”被国际数据挖掘顶级会议KDD 2024录用。MOE是多任务学习中广泛使用的架构，而且已被应用于大模型的架构设计。本文针对MOE架构存在的专家架构单一、不同任务之间易产生负迁移等问题，以多任务推荐为应用场景，研究提出了面向MOE的搜索空间以及高效架构搜索方法，可以将搜索开销降低至单个模型训练时间开销，并且能够取得更优的MOE架构以及多任务学习性能！论文作者来自南京大学PASA大数据实验室，主要工作由PASA大数据实验室研究生蒋申和王岳完成，论文指导教师为朱光辉博士。

KDD2024会议的全称为Special Interest Group on Knowledge Discovery and Data Mining，是数据挖掘领域的顶级会议，将于2024年8月25日至2024年8月29日在西班牙，巴塞罗那召开。本次会议共收到2046份投稿，录用率不到20%。

多任务学习是机器学习研究中的一个基础领域，致力于通过同时学习多个任务，利用多个任务中的知识，提升模型在每个任务上的泛化能力。深度多任务学习模型依赖于跨任务的参数共享，当任务间的关联性较低时，将会出现负迁移问题。本文借助神经网络架构搜索技术，为基于MoE的多任务模型搜索最优的专家共享模式、专家架构和特征选择模式，不仅能够有效解决多任务学习中的负迁移问题，还通过异构的专家架构进一步提升基于MoE的多任务学习模型的性能。