一种粤语词组分词处理方法及系统

专利主权项内容

1.一种粤语词组分词处理方法，其特征在于，包括：获取由用户输入的待处理粤语文本；根据所述待处理粤语文本，在预设的粤语分词库中匹配粤语字段作为目标粤语字句；其中，所述粤语分词库包括：若干带有分词顺序和分词向量的粤语字句；基于所述目标粤语字句的分词顺序，对所述待处理粤语文本进行第一分词操作，获得所述待处理粤语文本的若干待测分词，并计算每一所述待测分词的待测词向量；其中，每一分词按照分词顺序排序；根据分词顺序、每一所述待测分词的待测词向量和所述目标粤语字句的分词向量，计算所述待处理粤语文本的第一余弦相似度数据；其中，所述第一余弦相似度数据包括：每一分词顺序位置对应的待测词向量和分词向量的余弦相似度；所述待测词向量与所述分词向量基于所述分词顺序一一对应；根据所述第一余弦相似度数据和第一余弦相似度阈值，获得所述待处理粤语文本的分词结果。