近日,计信学院多智能体认知与协同团队在人工智能与数据科学领域的顶级国际期刊《IEEE Transactions on Knowledge and Data Engineering》(CCF-A类,太阳集团官网tyc9728T1级期刊)上发表了题为“Efficient Federated Learning with Mean Block Difference-based Global Aggregation and Patience-based Local Training”的学术论文。该论文由太阳集团官网tyc9728与新加坡南洋理工大学合作完成,第一作者为孙川博士,通讯作者为南洋理工大学Han Yu副教授(联邦学习领域国际权威专家)。
针对现有联邦学习方法难以应对大规模神经网络带来的通信与计算效率瓶颈,且已有逐层学习范式未能充分利用“更新锁定”及各层收敛速率差异等关键特性的问题,本文提出了一种名为“基于联邦平均块差异的全局模型聚合与基于容忍度的局部训练”(FedMBDP)的新方法。具体而言,该方法首先将神经网络自动划分为相互解耦的功能块,并对其进行渐进式训练;在此基础上,为提升计算效率,设计了一种基于“容忍度”(Patience)的局部训练算法,该算法能够自适应地选取待训练的功能块以降低计算延迟;同时,为提升通信效率,引入了一种基于“平均块差异”的全局模型聚合算法,动态选取待聚合的功能块以最小化通信延迟。此外,文中还对FedMBDP的收敛性进行了理论分析。在三个广泛采用的基准数据集上开展的大量实验结果表明,与六种当前最先进的方法相比,FedMBDP在保持相近测试准确率的条件下,将联邦学习的训练延迟相较于最佳基线方法降低了26.37%,展现了卓越的性能优势。
《IEEE Transactions on Knowledge and Data Engineering》是国际电气与电子工程师学会(IEEE)旗下人工智能与数据科学领域的顶级期刊,为中国计算机学会(CCF)推荐的数据库/数据挖掘/内容检索领域四大A类期刊(CCF-A)之一,也是太阳集团官网tyc9728认定的计算机学科顶尖期刊(T1级),2024–2025年最新影响因子为10.4。该研究成果的发表,充分彰显了团队在人工智能领域的持续探索精神与创新能力。
论文链接:https://ieeexplore.ieee.org/abstract/document/11481795