← 返回列表
一种基于多任务迁移的众包命名实体识别个性化提示微调方法及系统
摘要文本
一种基于多任务迁移的众包命名实体识别个性化提示微调方法及系统,属于众包命名实体识别技术领域。本发明为了解决使用现有的提示方法在众包场景下进行提示微调时识别准确率低、识别效果差的问题而提出的。技术要点:先构建个性化提示生成器:个性化提示生成器针对每个标注者构建私有提示,针对所有标注者构建公有提示,初始化后经过训练过程得到用于预测的私有提示、公有提示,二者再生成最终软提示,最终软提示再通过提示生成网络生成三种注意力机制对应的K、V;再将K、V输入给基于软提示微调的Transformer构架下的模型,得到参数改变后的预训练模型。实验证明,我们提出的PPG能够显著提升已有基于预训练模型的软提示微调命名实体识别方法在众包数据上的效果。
申请人信息
- 申请人:哈尔滨工业大学
- 申请人地址:150001 黑龙江省哈尔滨市南岗区西大直街92号
- 发明人: 哈尔滨工业大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于多任务迁移的众包命名实体识别个性化提示微调方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311709913.6 |
| 申请日 | 2023/12/13 |
| 公告号 | CN117540746A |
| 公开日 | 2024/2/9 |
| IPC主分类号 | G06F40/295 |
| 权利人 | 哈尔滨工业大学 |
| 发明人 | 田泽庶; 张宏莉; 王星; 叶麟 |
| 地址 | 黑龙江省哈尔滨市南岗区西大直街92号 |
专利主权项内容
1.一种基于多任务迁移的众包命名实体识别个性化提示微调方法,其特征在于:先构建个性化提示生成器:个性化提示生成器针对每个标注者构建私有提示,针对所有标注者构建公有提示,初始化后经过训练过程得到用于预测的私有提示、公有提示,二者再生成最终软提示,最终软提示再通过提示生成网络生成三种注意力机制对应的K、V;再将K、V输入给基于软提示微调的Transformer构架下的模型,得到参数改变后的预训练模型,该参数改变的预训练模型用于命名实体识别。