基于标签共享的纵向联邦学习差分隐私保护方法及系统

专利主权项内容

1.一种基于标签共享的纵向联邦学习差分隐私保护方法，其特征在于，包括：对主方的标签数据进行差分隐私加噪扰动，得到扰动后的标签数据，并将扰动后的标签数据共享给各个来宾方；各个来宾方利用接收到的标签数据进行本地模型参数训练；本地模型参数训练好之后，各个来宾方将本地模型参数进行差分隐私加噪扰动后发送给主方；主方结合各个来宾方差分隐私加噪扰动后的本地模型参数和自身的模型数据进行聚合训练，获得差分隐私加噪扰动后的学习模型；对主方的标签数据进行差分隐私加噪扰动，得到扰动后的标签数据，并将扰动后的标签数据共享给各个来宾方包括：标签数据分桶，统计主方原始的数据标签分布；使用-RR本地差分隐私加噪扰动数据标签，假设标签有种结果，对于任意输入，以/>的概率响应真实的结果/>，以/>的概率响应到其余-1个结果/>；设共享给来宾方的最终的扰动结果为/>；其中：kkRkj如果，第个来宾方样本/>的唯一标识符为/>，则主方将所拥有样本数据的/>发送给其余各来宾方，来宾方/>根据标识符配对，得到/>；/>为所消耗的隐私代价，通过设置隐私代价/>的大小控制隐私保护程度/>；各个来宾方利用接收到的标签数据进行本地模型参数训练包括：计算损失函数和梯度/>：式中，为来宾方/>的参数，/>为来宾方/>在第轮的模型函数，/>为来宾方/>接收到的加噪后的标签数据，/>为损失函数的F范式平方，/>则表示梯度求导函数；t进行参数更新，为学习率：式中，为来宾方在第+1轮的参数，/>为来宾方在第轮的参数，/>为第轮的学习率；jtjtt直到收敛或达到设置的最大阶段数，得到模型，式中，/>为来宾方的模型代表，/>为参数为/>的模型函数；j本地模型参数训练好之后，各个来宾方将本地模型参数进行差分隐私加噪扰动后发送给主方包括：对来宾方训练出的模型参数进行正则裁剪，引入裁剪阈值/>，使得/>，即：式中，为来宾方经过正则裁剪后的参数，/>为模型参数/>的第一范式；j添加满足拉普拉斯机制的噪声，即：式中，为参与方加噪后的参数，/>为拉普拉斯机制函数，/>为隐私代价；j得到模型参数，并将其发送给主方，式中，/>为来宾方的模型代表，/>为加噪参数/>的模型函数；j主方结合各个来宾方差分隐私加噪扰动后的本地模型参数和自身的模型数据进行聚合训练，获得差分隐私加噪扰动后的学习模型包括：计算损失函数和梯度/>：式中，为第轮的损失函数，/>为模型训练的参数，/>为参与方1的特征数据，为了方便，将/>表示为/>，/>为所有来宾方本地训练得到的模型代表结果，/>为在第轮中训练参数的模型函数，/>为主方的真实标签数据；ttw利用高斯截断机制保护梯度信息，其中噪声大小为，/>为学习率：式中，为在第轮经过正则裁剪后的梯度，/>为第轮梯度的二范式，/>为第轮加噪后的梯度，/>表示均值为0且方差为/>的高斯函数，/>为单位向量，为第+1轮的参数；tttt输出各个来宾方的加噪学习模型参数以及主方的加噪学习模型参数/>。