← 返回列表

一种基于多任务迁移的众包命名实体识别个性化提示微调方法及系统

申请号: CN202311709913.6
申请人: 哈尔滨工业大学
申请日期: 2023/12/13

摘要文本

一种基于多任务迁移的众包命名实体识别个性化提示微调方法及系统,属于众包命名实体识别技术领域。本发明为了解决使用现有的提示方法在众包场景下进行提示微调时识别准确率低、识别效果差的问题而提出的。技术要点:先构建个性化提示生成器:个性化提示生成器针对每个标注者构建私有提示,针对所有标注者构建公有提示,初始化后经过训练过程得到用于预测的私有提示、公有提示,二者再生成最终软提示,最终软提示再通过提示生成网络生成三种注意力机制对应的K、V;再将K、V输入给基于软提示微调的Transformer构架下的模型,得到参数改变后的预训练模型。实验证明,我们提出的PPG能够显著提升已有基于预训练模型的软提示微调命名实体识别方法在众包数据上的效果。

专利详细信息

项目 内容
专利名称 一种基于多任务迁移的众包命名实体识别个性化提示微调方法及系统
专利类型 发明申请
申请号 CN202311709913.6
申请日 2023/12/13
公告号 CN117540746A
公开日 2024/2/9
IPC主分类号 G06F40/295
权利人 哈尔滨工业大学
发明人 田泽庶; 张宏莉; 王星; 叶麟
地址 黑龙江省哈尔滨市南岗区西大直街92号

专利主权项内容

1.一种基于多任务迁移的众包命名实体识别个性化提示微调方法,其特征在于:先构建个性化提示生成器:个性化提示生成器针对每个标注者构建私有提示,针对所有标注者构建公有提示,初始化后经过训练过程得到用于预测的私有提示、公有提示,二者再生成最终软提示,最终软提示再通过提示生成网络生成三种注意力机制对应的K、V;再将K、V输入给基于软提示微调的Transformer构架下的模型,得到参数改变后的预训练模型,该参数改变的预训练模型用于命名实体识别。