边缘智能作为一种高度复杂的新型分布式计算系统,其自身抵御和克服不利条件和不确定性的能力至关重要。因此,需要良好的鲁棒性保证系统能够适应复杂的内部环境和外部需求。然而,协同训练和边缘计算这两个重要组成部分,都为边缘智能场景下的分布式鲁棒优化带来了诸多困难。
1)协同训练中的数据分布不平衡。在协同训练中,参与者/端设备持有的数据会存在显著差异,在数据规模和数据分布上都可能存在不同,如何根据训练数据的特性和数据之间的关联关系,提供兼顾拜占庭弹性、容错和最佳性能的分布式鲁棒优化方法是当前的难点问题。
2)边缘智能网络节点异常行为发生率较高,且存在恶意节点。由于边缘智能系统中涉及到的节点数目众多,自身资源受限,且容易存在自私行为和恶意节点植入,因此更容易受到外部因素的影响,节点的稳定性难以保障。
3)边缘智能系统中的公平性和鲁棒性难以兼顾。在协同训练过程中,数据节点拥有不同规模和不同分布的数据。但是现有技术很难在上述条件下自动纠正已经采样到数据之间的偏差来保证模型结果的公平,又能够同时防范多种影响鲁棒性的模型攻击。
针对上述挑战,本项目拟研究多目标的分布式鲁棒优化算法。拟解决的关键问题包括:
1) 面向边缘智能协同训练中的非恶意故障和数据不平衡问题,研究适应数据分布特性和不可靠通信环境下的分布式节点容错机制和拜占庭机制。通过联合协同学习算法的轻量化设计和去冗余手段,实现系统稳定性和效率优化之间的平衡;
2) 研究兼顾隐私保障和抵御模型对抗攻击的鲁棒优化算法,针对边缘智能中训练阶段和推断阶段存在的不同种类恶意攻击,例如数据中毒、模型更新中毒等,研究尽可能无损模型精度且开销可控的抵御策略,并根据中心式协同训练和非中心式协同训练的不同拓扑设计不同算法,保证其收敛性、灵活性和鲁棒性。
(项目负责人:于东晓)