中英混合语音识别系统训练方法、装置、设备及介质

专利主权项内容

1.一种中英混合语音识别系统训练方法，其特征在于，包括：获取中英文混合的训练集语料；其中所述训练集语料包含语音训练集和与所述语音训练集对应的文本训练集；利用预设文本翻译词典的中文词汇与翻译得到的英文词汇之间的对应关系对所述文本训练集进行编码处理，以得到编码后文本训练集；利用所述编码后文本训练集以及基于所述文本训练集中的文本句子类型对应的句子级别提示学习模板对初始中英混合语音识别模型进行迭代训练，以得到目标中英混合语音识别模型；将与所述语音训练集中各语音训练数据的语音特征输入至所述目标中英混合语音识别模型，以便进行解码推理，以获取中英混合语音识别系统；其中，所述利用所述编码后文本训练集以及基于所述文本训练集中的文本句子类型对应的句子级别提示学习模板对初始中英混合语音识别模型进行迭代训练之前，还包括：当所述编码后文本训练集中的编码文本为英文文本，则在所述编码文本前增加起始序列标志位以构建第一句子级别提示学习模板；当所述编码后文本训练集中的编码文本为中文文本，则按照第一概率值并基于预设文本翻译词典的对应关系将所述中文文本中随机选择的中文词汇翻译为英文词汇，以得到第一提示学习文本序列编码；并在所述第一提示学习文本序列编码前增加所述起始序列标志位以构建第二句子级别提示学习模板；当所述编码后文本训练集中的编码文本为中文文本，则按照第二概率值并基于预设文本翻译词典的对应关系将所述中文文本中的中文词汇翻译为对应的英文词汇，以得到第一提示学习词序列编码，并在所述第一提示学习词序列编码前增加所述起始序列标志位以构建第一词级别提示学习模板；当所述编码后文本训练集中的编码文本为中英混合文本，则按照第三概率值并基于预设文本翻译词典的对应关系将所述中英混合文本中的英文词汇翻译为中文词汇，以得到第二提示学习文本序列编码；并在所述第二提示学习文本序列编码前增加所述起始序列标志位以构建第三句子级别提示学习模板；当所述编码后文本训练集中的编码文本为中英混合文本，则按照第四概率值并基于预设文本翻译词典的对应关系将所述中英混合文本中的英文词汇翻译为对应的中文词汇，以得到第二提示学习词序列编码，并在所述第二提示学习词序列编码前增加所述起始序列标志位以构建第二词级别提示学习模板；基于所述第一句子级别提示学习模板、所述第二句子级别提示学习模板、所述第三句子级别提示学习模板、所述第一词级别提示学习模板、所述第二词级别提示学习模板构建不同文本句子类型的句子级别提示学习模板。