一种基于CNN、Transformer和迁移学习的小样本恶意网站检测方法
申请人信息
- 申请人:中国石油大学(华东)
- 申请人地址:266858 山东省青岛市黄岛区长江西路66号
- 发明人: 中国石油大学(华东)
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于CNN、Transformer和迁移学习的小样本恶意网站检测方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311364762.5 |
| 申请日 | 2023/10/20 |
| 公告号 | CN117408311A |
| 公开日 | 2024/1/16 |
| IPC主分类号 | G06N3/0464 |
| 权利人 | 中国石油大学(华东) |
| 发明人 | 石乐义; 高璐涵; 杨启航; 冯纾; 赵雨晨; 王宝通; 张浩宇; 张祚铭 |
| 地址 | 山东省青岛市黄岛区长江西路66号 |
摘要文本
本发明提供了一种基于CNN、Transformer模型和迁移学习的小样本恶意URL检测方法，该方法采用卷积神经网络、Transformer特征处理器和基于模型参数的迁移学习方法。本方法首先划分数据集，利用词嵌入技术和时间编码技术将原始数据转化为二维向量表示，然后利用卷积层和池化层得到局部特征，把卷积神经网络的输出作为Transformer模型的目标序列输入模型，计算得到K值和V值，通过输入原始二维向量到Transformer的编码器计算得到Q值，然后根据多头注意力层和全连接神经网络来获得全局特征，最后利用全连接层和softmax激活函数实现对URL的分类，通过知识迁移技术将在大样本模型中学到的知识迁移至小样本模型，增强了模型的泛化能力。采用本文的方法对小样本的恶意网站进行检测，提高了对小样本恶意网站的检测模型性能。 来自：马 克 团 队
专利主权项内容
1.一种基于CNN、Transformer和迁移学习的小样本恶意网站检测方法，其特征在于包含以下步骤：a.获取恶意网站数据集M和正常网站数据集N，进行数据清洗，确保数据的一致性和完整性，根据数据的类别中样本的数量，对数据集进行划分，划分为数据集M和数据集M，将源数据集定义为D＝0.7N+M，将目标数据集定义为D＝(N–0.7N)+M；hlrhtlb.进行数据预处理，将URL按照分割符进行拆分，对拆分后的每部分通过词嵌入表示成向量，此外为了捕捉URL的时间信息，引入时间编码，时间编码的公式如下所示：其中时间编码的维度与词嵌入的维度一致，将得到的时间编码和词嵌入结合，得到每个部分的向量表示，为了使向量表示更具有结构性，更全面的表示数据，将向量进行填充堆叠，构成二维向量矩阵；c.构建CT模型，将得到的二维向量矩阵通过卷积神经网络的卷积层和池化层进行特征提取，以此来提取数据的局部特征，将得到的局部特征作为目标序列输入到基于掩码的多头注意力层中，相加并归一化得到Q的值，同时将得到的二维向量矩阵传入到Transformer的多头注意力矩阵中，相加并归一化，再经过全连接神经网络，相加并归一化计算出K和V的值，将计算得到的K、V、Q的值传入到多头注意力层，相加归一化后传入到全连接神经网络，最后通过一个全连接层和softmax激活函数得到预测的结果；d.利用CT模型和迁移学习实现小样本恶意网站检测，使用源数据集D对CT模型进行预训练，选择最佳的训练模型，将最佳模型知识迁移至目标领域进行训练，训练过程中对模型参数进行微调，然后进行测试，为了全面的评估检测效果，使用了准确率、精确率、召回率和F1分数来衡量模型的检测效果。r