一种基于Transformer模型的异常登录检测方法

专利主权项内容

1.一种基于Transformer模型的异常登录检测方法，其特征在于，包括以下步骤：步骤1：模型训练；具体包括：步骤1.1：采集目标系统的用户历史认证日志，包括以下字段信息：登录日期、登录时间、登录类型、登录源和目的地址、所用登录协议类型、日志校验码；所述登录类型分为本地登录和网络登录；步骤1.2：对用户认证日志进行格式化处理，将日志文档处理为可输入到BERT模型中的条目式语句；根据历史日志标记结果对应语句标签；步骤1.3：基于BERT模型的嵌入层构建；具体包括：步骤1.3.1：利用WordPiece方法处理预处理的日志语句形成token，完成初始词嵌入；步骤1.3.2：混合位置嵌入并送入BERT模型中，得到包含上下文语义的分布式表示作为下一层Transformer模型输入；步骤1.4：结合BERT的Transformer模型联合训练；具体包括：将BERT所输出的用户认证日志分布式表达输入Transformer模型，再将Transformer模型输出的结果输入Transformer模型后堆叠的Softmax层，计算Softmax层输出与语句标签之间的损失函数；判断损失函数是否满足停止迭代条件，若满足则停止训练，若不满足则依梯度下降算法更新所有参数并迭代步骤1.3；包括如下具体过程：步骤b1：Transformer将输入分布式首先进行三种矩阵的线性变换，为自注意力机制提供所需的Q、K、V矩阵，l为一次输入Transformer的tokens数量，也即一条日志语句的长度，d为输入语句中每个token的特征维度；该过程由下述公式表示：mQ，K，V＝HW，HW，HW，iiiiQiKiV式中，为进行线性变换的三个投影矩阵，d为矩阵线性变换后的每个行向量的维度，H为输入数据的矩阵表示，多头自注意力机制中使用了多空间映射，/>为多空间映射线性变化中得到的第i个空间的查询矩阵，/>为多空间映射线性变化中得到的第i个空间的生成矩阵，/>为多空间映射线性变化中得到的第i个空间的值矩阵；k步骤b2：计算每个头的注意力值，并对每个语义空间求得的注意力值进行拼接，获得多头自注意力机制的计算结果；计算公式如下：MultiHeadAttention＝Concat(head，...，head)*W，1No式中，head表示每个头的注意力值，Concat表示将向量进行拼接，N是Transformer使用的多头自注意力机制中“头”的数量，也即语义空间的数量，满足N×d＝d，W为实现维度变换功能的矩阵；ikmodelo步骤b3：将多头注意力机制输出送入前馈神经网络层，捕捉日志语句中复杂的非线性关系；前馈神经网络层计算公式如下：FFN(x)＝max(0，xW+b)W+b，1122式中，x是前馈神经网络的输入，
其中W以及W均为权重矩阵，b以及b均为偏置矩阵，d是一个超参数，表示神经元的数目；1212ff步骤b4：将Transformer中前馈神经网络层的输出送入模型后堆叠的Softmax层，得到日志语句表征登录行为异常的概率，并于语句标签计算损失函数，损失函数为交叉熵损失，计算公式如下：其中，y为第i个日志语句的标签，正常为1，异常为0，p为第i个日志语句预测为正常的概率，L为第i个日志语句的交叉熵，L为所有日志语句的加权交叉熵；iii步骤1.5：得到训练好的Transformer模型；步骤2：异常登录检测；具体包括：步骤2.1：采集当前尝试登录用户的认证日志；步骤2.2：对用户认证日志进行格式化处理，将日志文档处理为可输入到BERT模型中的条目式语句；根据历史日志标记结果对应语句标签；步骤2.3：基于BERT模型的嵌入层构建；具体包括：步骤2.3.1：利用WordPiece方法处理预处理的日志语句形成token，完成初始词嵌入；步骤2.3.2：混合位置嵌入并送入BERT模型中，得到包含上下文语义的分布式表示作为下一层Transformer模型输入；步骤2.4：将经过步骤2.3处理的分布式输入步骤1.5得到的Transformer模型；步骤2.5：判断尝试登录用户的登录行为是否存在异常，不存在异常则运行登录，否则拒绝登录。