纵向联邦学习旨在让不同机构在不直接共享原始数据的情况下开展联合建模,因此被广泛认为是金融、医疗、物联网和推荐系统等场景中的重要隐私计算范式。

在该范式广泛使用的分割学习框架中,客户端利用本地私有特征和底部模型生成中间表征,并将其发送给中央服务器进行后续训练与推理。

然而,这种安全感并不意味着风险已经消失:在广泛采用的分割学习框架下,客户端虽然不直接暴露原始特征,却会持续向服务器发送中间表征,而这些看似 “脱敏” 的表示,仍可能成为模型窃取的突破口。

已有研究表明,诚实但好奇的服务器可以通过辅助查询收集 “输入-表征” 对,并训练代理模型对客户端的底部模型进行窃取。针对这一威胁,现有工作主要通过加噪、投影、剪枝或多分支解耦等方式扰动表征,以削弱点对点拟合式攻击的效果。

近日,纽约州立大学石溪分校、史蒂文斯理工学院和纽约大学的一个联合研究团队发现:现有防御虽然能够扰乱中间表征的显式形式,却很难彻底消除其局部几何结构。原因并不复杂:服务器侧模型想要维持预测性能,就必须继续依赖表示空间中的语义关系。换句话说,如果防御把 “相似样本彼此接近、不相似样本彼此分离” 这一基本结构破坏得太严重,模型效用本身也会明显下降。

这意味着,很多防御实际上陷入了一个两难:

也正因为如此,防御后的表征中往往仍然残留着一部分 “为了可用性不得不保留” 的局部几何信息。而这部分信息,恰恰可能成为新的安全突破口。相比于直接拟合每一个中间表征的精确数值,研究团队将注意力转向了一个更稳定、也更容易跨越防御扰动的对象:样本之间的局部几何关系



在此背景下,该联合团队提出了一项直击上述痛点的最新研究。纽约州立大学石溪分校李健老师团队博士生张钦博提出了一种名为VENOM的基于几何感知的纵向联邦学习模型窃取攻击框架,该工作目前已被 CVPR 2026 主会录用。



论文标题:Stealing Split Learning Bottom Models by Recovering Embedding Geometry

VENOM 方法与创新

该研究团队提出了基于几何感知的纵向联邦学习模型窃取攻击框架 VENOM



该方法首先利用服务器侧可观察到的中间表征学习一个更稳定的对比表示空间,从而缓解防御机制带来的坐标扰动问题;随后,在这一学习到的对比空间中挖掘每个样本的 K 近邻与 K 远邻关系,构建局部几何支架;最后,在训练代理模型时,不仅要求其逐点逼近目标表征,还额外通过邻居吸引与远邻排斥机制,使代理模型恢复目标底部模型中间表征流形的局部结构。

实验结果

研究团队在 Bank、SUSY、Diabetes、MNIST、CIFAR-10 和 NUS-WIDE 六个数据集以及不同的底部模型上评估了 VENOM 的窃取效果。测试指标采用窃取准确率(S-ACC)和预测一致率(AGR)。





实验结果表明,VENOM 在多种防御场景下均优于基于距离对齐的窃取方法。这表明,现有防御方法虽然能够在一定程度上扰乱表征坐标,却未必能够真正切断攻击者对局部几何信息的利用。只要模型效用仍然要求表示空间保留一定的语义组织能力,那么这部分结构就可能变成安全上的残余通道。

换言之,模型之所以 “还能用”,某种程度上也意味着它就 “可被利用”

研究者还对 VENOM 的各个组件进行了消融实验,以验证其必要性。



论文还进一步验证了该方法在辅助数据分布发生偏移时的有效性。实验结果显示,当攻击者获得的辅助数据与目标任务并非完全同分布、但仍保持一定语义相近性时,VENOM 依然能够维持较高的窃取性能。



具体而言,在 CIFAR-100 和 Tiny-ImageNet 等近分布外辅助数据上,方法性能虽有一定下降,但整体仍显著优于现有基线。这说明,VENOM 所利用的并不是某一组样本的偶然匹配,而是目标模型表示空间中更一般化的结构特征。只要辅助数据与目标任务在语义层面仍存在一定关联,攻击者就有机会借助这些结构信息完成有效窃取。