一种基于模糊匹配和互信息的未登录词收集方法、装置
摘要文本
本发明涉及机器学习和文本分析技术领域，公开了一种基于模糊匹配和互信息的未登录词收集方法、装置，该方法通过互信息与邻接熵的方式确定第一未登录词集合，以模糊匹配的方式确定第二未登录词集合，从而形成潜在扩充词集合，通过训练模型得到扩充词集合，并以筛选的扩充词集合更新专家词典，这一过程中，第一未登录词集合与第二未登录词集合是在专家词典的基础上，确定的可能属于领域专业词汇的备选词集合，在此基础上通过比较两个集合的词汇，进一步对备选词进行分类，形成潜在扩充词集合，并利用词向量模型对潜在扩充词集合进行筛选，从而通过对专家词典的更新，逐步完善相关专业领域的分词训练和生成质量，提升相关文本数据信息的分析处理效果。
申请人信息
- 申请人:苏州元脑智能科技有限公司
- 申请人地址:215000 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢
- 发明人: 苏州元脑智能科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于模糊匹配和互信息的未登录词收集方法、装置 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311816012.7 |
| 申请日 | 2023/12/27 |
| 公告号 | CN117473983B |
| 公开日 | 2024/3/19 |
| IPC主分类号 | G06F40/242 |
| 权利人 | 苏州元脑智能科技有限公司 |
| 发明人 | 孙昊良; 尹垄钧; 郭涛 |
| 地址 | 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢 |
专利主权项内容
1.一种基于模糊匹配和互信息的未登录词收集方法，其特征在于，所述方法包括：获取文本数据与专家词典；基于所述文本数据，通过互信息与邻接熵的方式，确定第一未登录词集合；基于所述文本数据与所述专家词典，通过模糊匹配的方式，确定第二未登录词集合；比较所述第一未登录词集合与所述第二未登录词集合，确定比较结果；基于所述比较结果与所述专家词典，利用所述第一未登录词集合、所述第二未登录词集合，形成潜在扩充词集合；基于所述潜在扩充词集合与所述专家词典，对模型进行训练，得到词向量模型；基于所述潜在扩充词集合与所述专家词典，利用所述词向量模型，确定扩充词集合；基于所述扩充词集合，更新专家词典；所述比较所述第一未登录词集合与所述第二未登录词集合，确定比较结果，包括：比较所述第一未登录词集合与所述第二未登录词集合，通过集合中相同的词，确定第一比较结果；比较所述第一未登录词集合与所述第二未登录词集合，通过集合中不同的词，确定第二比较结果；所述基于所述比较结果与所述专家词典，利用所述第一未登录词集合、所述第二未登录词集合，形成潜在扩充词集合，包括：基于第二比较结果，分别将所述第一未登录词集合、所述第二未登录词集合与jieba分词结合，确定第一结果与第二结果；基于所述第一结果与所述第二结果的细粒度，利用所述专家词典，形成潜在扩充词集合；所述基于所述潜在扩充词集合与所述专家词典，对模型进行训练，得到词向量模型，包括：基于所述潜在扩充词集合与所述专家词典，通过jieba分词对预设文本数据进行分词，确定已分词的文本数据集合；基于所述文本数据集合，对模型进行训练，得到词向量模型。