南京大学PASA大数据实验室论文被国际人工智能顶级会议NeurIPS 2023录用

近日，南京大学PASA大数据实验室在神经网络架构搜索方向的论文“Operation-Level Early Stopping for Robustifying Differentiable NAS”被国际人工智能顶级会议 NeurIPS 2023录用。该论文探究了可微分架构搜索中skip-connection富集问题产生的本质原因是超网络中算子的过拟合，并在此基础上提出基于梯度匹配思想的算子级早停方法。该方法仅需要对原始的DARTS代码进行少量的修改，无需额外计算开销，即可取得优秀的性能。论文作者来自南京大学PASA大数据实验室，主要工作由PASA大数据实验室研究生蒋申和吉梓芃完成，论文指导教师为朱光辉博士。

NeurIPS 2023会议的全称是Thirty-sevendth Conference on Neural Information Processing Systems,（第37届神经信息处理大会），将于2023年12月10日-12月16日在美国新奥尔良召开。NeurIPS是中国计算机学会CCF推荐的A类国际学术会议，也是人工智能领域最顶级的国际会议之一。这次会议共收到12,343篇论文投稿，录用率为26.1%。

基于双层优化的可微分搜索作为一项基础的AutoML技术广泛应用于神经架构搜索及其他AutoML自动化建模任务，然而可微分架构搜索存在的跳跃连接聚集（skip-connection aggregation）的问题一直没有得到很好的解决，直接影响了NAS的搜索性能。论文通过大量动机实验揭示了跳跃连接聚集问题产生的主要原因是算子过拟合，并基于梯度匹配的思想，提出基于算子层面的早停方法。这个工作仅需要对原始的DARTS代码进行少量的修改，无需额外计算开销，即可取得优秀的性能，很好地揭示了跳跃连接聚集产生的主要原因。