← 返回列表
一种电力工程现场轻量级审计事件识别方法、系统及设备
摘要文本
本发明属于智能电力信息处理领域,提供了一种电力工程现场轻量级审计事件识别方法、系统及设备,利用BERT模型解决电力审计场景下的特定文本识别任务,引入稀疏注意力机制和低秩前馈神经网络对BERT模型进行压缩,从而提升BERT模型对电力工程审计文本事件识别的响应速度;采用LoRA微调方式学习面向不同电力审计事件的增量识别信息,将LoRA微调后获取的各个模块作为压缩模型补充模块,从而提升压缩模型在电力工程审计任务中的识别精准度,并且仍然保持了模型的高效性和响应速度。
申请人信息
- 申请人:国网山东省电力公司东营供电公司
- 申请人地址:257000 山东省东营市开发区南一路357号
- 发明人: 国网山东省电力公司东营供电公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种电力工程现场轻量级审计事件识别方法、系统及设备 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410021076.6 |
| 申请日 | 2024/1/8 |
| 公告号 | CN117520802A |
| 公开日 | 2024/2/6 |
| IPC主分类号 | G06F18/21 |
| 权利人 | 国网山东省电力公司东营供电公司 |
| 发明人 | 丁鹏程; 隋爱芳; 巩雪; 刘哲; 孙永健 |
| 地址 | 山东省东营市东营区南一路357号 |
专利主权项内容
1.一种电力工程现场轻量级审计事件识别方法,其特征在于,包括如下步骤:根据审计业务需求,调取对应的电力工程审计文本数据;基于电力工程审计文本数据和训练好的电力工程审计事件识别模型,得到电力工程现场审计事件识别结果;其中,所述电力工程审计事件识别模型的构建过程包括:将电力工程审计文本数据输入至BERT模型中,引入稀疏注意力机制和低秩前馈神经网络对BERT模型进行压缩,得到压缩后的电力工程审计文本向量;固定压缩后的BERT模型参数,将不同类别的电力工程审计文本数据输入至压缩后的BERT模型中,对待审计事件进行微调,得到电力工程审计文本相应类别的增量向量;结合压缩后的电力工程审计文本向量和电力工程审计文本相应类别的增量向量,对不同审计事件进行识别得到电力工程审计文本对应的类别标签概率值。