首页 > 乐器声学 专利正文
背诵检验方法、装置及相关产品与流程

时间:2022-02-24 阅读: 作者:专利查询

背诵检验方法、装置及相关产品与流程

1.本发明的实施方式涉及数据处理技术领域,更具体地,本发明的实施方式涉及由机器实施的背诵检验方法、实施背诵检验的装置、用于实现背诵检验的设备和计算机可读存储介质。


背景技术:

2.本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探究的概念,但不一定是之前已经想到或者已经探究的概念。因此,除非在此指出,否则在本部分中描述的内容对于本技术的说明书和权利要求书而言不是现有技术,并且并不因为包括在本部分中就承认是现有技术。
3.在人们的日常生活中,经常会遇到需要背诵记忆的场景,例如学生的语言学习过程或者老师的日常教学过程。传统的背诵检验方法通常依赖于人和人面对面进行检验(例如老师面对面检查学生)或者默写的方式。在面对面进行检验的过程中,根据背诵者口语输出的背诵内容,检验者可以对背诵效果进行判断和及时反馈。在默写的方式中,背诵者将记忆内容以文字的形式输出,并通过与标准背诵文本进行比较,来实现对背诵效果的自助检验。


技术实现要素:

4.然而,面对面进行检验的方式虽然能够使得背诵者在背诵过程中,及时获得背诵效果的反馈,但是存在着检验效率低、人力时间成本高等缺陷。默写的方式虽然可以方便背诵者自助检验背诵效果,但是仅能考察视觉记忆效果,无法检验背诵者的听觉记忆效果。
5.为此,非常需要一种改进的背诵检验方法,既能够提高背诵检验效率,又能够实现对听觉记忆效果的检验。
6.在本上下文中,本发明的实施方式期望提供一种由机器实施的背诵检验方法、实施背诵检验的装置、用于实现背诵检验的设备和计算机可读存储介质。
7.在本发明实施方式的第一方面中,提供了一种由机器实施的背诵检验方法,包括:确定目标背诵内容;响应于进入背诵检验模式,接收针对所述目标背诵内容进行背诵的背诵语音;以及在接收所述背诵语音的过程中,实时呈现与所述背诵语音相应的背诵文本。
8.在本发明的一个实施例中,在响应于进入背诵检验模式之前,所述方法还包括:响应于进入训练模式,确定一个或多个训练环节;根据用户在最后一个所述训练环节的熟练度,确定是否进入所述背诵检验模式。
9.在本发明的另一个实施例中,所述训练环节包括朗读记忆环节,所述方法进一步包括:响应于当前训练环节为朗读记忆环节,呈现所述目标背诵内容中的目标文本;接收针对所述目标文本进行朗读的第一朗读语音;以及基于所述目标背诵内容,对所述第一朗读语音进行质量评价,以确定所述第一朗读语音的熟练度。
10.在本发明的又一个实施例中,所述训练环节包括挖空记忆环节,所述方法进一步
包括:响应于当前训练环节为挖空记忆环节,对所述目标背诵内容的目标文本中的部分内容进行挖空处理,以形成挖空文本;呈现所述挖空文本,并接收针对所述挖空文本进行朗读的第二朗读语音;以及基于所述目标背诵内容,对所述第二朗读语音进行质量评价,以确定所述第二朗读语音的熟练度。
11.在本发明的再一个实施例中,对目标文本进行挖空处理包括:基于用户当前的熟练度,确定所述目标文本中的挖空数量;以及利用预先训练的机器模型或者根据预定的逻辑,对所述目标文本中的挖空位置进行选取。
12.在本发明的一个实施例中,预定的逻辑包括以下中的至少一项:随机选取;根据所述目标文本的语种类型进行选取;根据用于组成所述目标文本的字词的类型进行选取;根据用于组成所述目标文本的字词对语义的贡献程度进行选取;根据用于组成所述目标文本的字词的长度进行选取;以及根据用于组成所述目标文本的字词的发音难度进行选取。
13.在本发明的另一个实施例中,该方法进一步包括:基于所述目标背诵内容,对所述背诵检验模式中和/或所述训练模式中接收到的语音进行实时检测,以及响应于检测到所述语音中存在异常情况,以视觉和/或听觉的形式实时发出相应的提示信息。
14.在本发明的又一个实施例中,该方法还包括:在接收到针对所述目标背诵内容进行背诵的完整背诵语音之后,基于所述目标背诵内容,对所述完整背诵语音进行质量评价;以及所述质量评价包括发音、流利度、完整度、错误率中的至少一项。
15.在本发明实施方式的第二方面中,提供了一种实施背诵检验的装置,包括:人机交互接口,用于从用户接收输入和向用户提供输出;以及处理器,用于:确定目标背诵内容;响应于进入背诵检验模式,接收通过所述人机交互接口输入的针对所述目标背诵内容进行背诵的背诵语音;以及在接收所述背诵语音的过程中,通过所述人机交互接口实时呈现与所述背诵语音相应的背诵文本。
16.在本发明的一个实施例中,在响应于进入背诵检验模式之前,所述处理器还用于:响应于进入训练模式,确定一个或多个训练环节;根据用户在最后一个所述训练环节的熟练度,确定是否进入所述背诵检验模式。
17.在本发明的另一个实施例中,所述训练环节包括朗读记忆环节,所述处理器进一步用于:响应于当前训练环节为朗读记忆环节,通过所述人机交互接口呈现所述目标背诵内容中的目标文本;通过所述人机交互接口接收针对所述目标文本进行朗读的第一朗读语音;以及基于所述目标背诵内容,对所述第一朗读语音进行质量评价,以确定所述第一朗读语音的熟练度。
18.在本发明的又一个实施例中,所述训练环节包括挖空记忆环节,所述处理器进一步用于:响应于当前训练环节为挖空记忆环节,对所述目标背诵内容的目标文本中的部分内容进行挖空处理,以形成挖空文本;通过所述人机交互接口呈现所述挖空文本,并通过所述人机交互接口接收针对所述挖空文本进行朗读的第二朗读语音;以及基于所述目标背诵内容,对所述第二朗读语音进行质量评价,以确定所述第二朗读语音的熟练度。
19.在本发明的再一个实施例中,所述处理器进一步用于按如下对目标文本进行挖空处理:基于用户当前的熟练度,确定所述目标文本中的挖空数量;以及利用预先训练的机器模型或者根据预定的逻辑,对所述目标文本中的挖空位置进行选取。
20.在本发明的一个实施例中,预定的逻辑包括以下中的至少一项:随机选取;根据所
述目标文本的语种类型进行选取;根据用于组成所述目标文本的字词的类型进行选取;根据用于组成所述目标文本的字词对语义的贡献程度进行选取;根据用于组成所述目标文本的字词的长度进行选取;以及根据用于组成所述目标文本的字词的发音难度进行选取。
21.在本发明的另一个实施例中,所述处理器进一步用于:基于所述目标背诵内容,对所述背诵检验模式中和/或所述训练模式中通过所述人机交互接口接收到的语音进行实时检测,以及响应于检测到所述语音中存在异常情况,以视觉和/或听觉的形式通过所述人机交互接口实时发出相应的提示信息。
22.在本发明的又一个实施例中,所述处理器还用于:在通过所述人机交互接口接收到针对所述目标背诵内容进行背诵的完整背诵语音之后,基于所述目标背诵内容,对所述完整背诵语音进行质量评价;以及所述质量评价包括发音、流利度、完整度、错误率中的至少一项。
23.在本发明实施方式的第三方面中,提供了一种用于实现背诵检验的设备,包括,处理器,其配置用于执行程序指令;存储器,其配置用于存储所述程序指令,当所述程序指令由所述处理器执行时,使得所述设备执行根据本发明的第一方面中的任一项所述的方法。
24.在本发明实施方式的第四方面中,提供了一种计算机可读存储介质,其存储有程序指令,当所述程序指令由处理器加载并执行时,使得所述处理器执行根据本发明的第一方面中的任一项所述的方法。
25.根据本发明实施方式的由机器实施的背诵检验方法,可以通过接收针对目标背诵内容进行背诵的背诵语音,来实现对背诵内容的听觉记忆效果的检验,并通过实时呈现与背诵语音相应的背诵文本,有利于实现对背诵效果的实时反馈。根据本发明实施方式的背诵检验方法,可以辅助用户实现自助的背诵检验,而无需耗费额外的人力成本,从而显著地提高了背诵检验效率,为用户带来了更好的体验。
26.进一步地,在一些实施例中,通过在进入背诵检验模式之前进入训练模式,有利于帮助用户提高背诵记忆效果。在另一些实施例中,通过对接收到的语音进行实时检测,并且以视觉和/或听觉的形式实时发出针对异常情况的提示,以实现在背诵和/或朗读过程中对口语输出结果进行及时的评测和反馈。
附图说明
27.通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
28.图1示意性地示出了适于实现本发明实施方式的示例性计算系统100的框图;
29.图2示意性地示出了根据本发明实施方式的由机器实施的背诵检验方法的流程图;
30.图3示意性地示出了根据本发明实施方式的包括训练模式的方法流程图;
31.图4示意性地示出了根据本发明实施方式的进入朗读记忆环节的方法流程图;
32.图5示意性地示出了根据本发明实施方式的进入挖空记忆环节的方法流程图;以及
33.图6示意性地示出了根据本发明实施方式的实施背诵检验的装置的示意图。
34.在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
35.下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。相反,提供这些实施方式是为了使本发明更加透彻和完整,并且能够将本发明的范围完整地传达给本领域的技术人员。
36.图1示出了适于实现本发明实施方式的示例性计算系统100的框图。如图1所示,计算系统100可以包括:中央处理单元(cpu)101、随机存取存储器(ram)102、只读存储器(rom)103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和显示器114。这些设备中,与系统总线104耦合的有cpu 101、ram 102、rom 103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合,键盘111与键盘控制器106耦合,串行外部设备112与串行接口控制器107耦合,并行外部设备113与并行接口控制器108耦合,以及显示器114与显示控制器109耦合。应当理解,图1所述的结构框图仅仅是为了示例的目的,而不是对本发明范围的限制。在某些情况下,可以根据具体情况增加或减少某些设备

37.本领域技术技术人员知道,本发明的实施方式可以实现为一种系统、方法或计算机程序产品。因此,本发明可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式,本文一般称为“电路”、“模块”或“系统”。此外,在一些实施例中,本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式,该计算机可读介质中包含计算机可读的程序代码。
38.可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是,但不限于,电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举示例)例如可以包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd

rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
39.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
40.计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、rf等等,或者上述的任意合适的组合。
41.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++,
还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络(包括局域网(lan)或广域网(wan))连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
42.下面将参照本发明实施例的方法的流程图和设备(或装置)的框图描述本发明的实施方式。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,这些计算机程序指令通过计算机或其它可编程数据处理装置执行,产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
43.也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中,这样,存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的产品。
44.也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
45.根据本发明的实施方式,提出了一种由机器实施的背诵检验方法、实施背诵检验的装置、用于实现背诵检验的设备和计算机可读存储介质。
46.在本文中,需要理解的是,所涉及的术语如下:
47.asr:automatic speech recognition,自动语音识别技术,可以把语音转换成文字。
48.tts:text to speech,通过文本合成语音的技术。
49.视觉记忆:人们通过图形、文字等视觉输入来进行记忆的方法。视觉记忆效果的考察通常也使用图形文字的形式,例如考察能否看到并进行正确的选择,或者看到并理解图形或文字的意思。
50.听觉记忆:人们通过听觉输入来达到记忆的目的。听觉记忆效果的考察一般通过口语输出来进行检测,或者也可以通过听觉和视觉结合的方式,例如听一段音频,并根据听到的音频内容选择正确的选项。
51.此外,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
52.下面参考本发明的若干代表性实施方式,详细阐释本发明的原理和精神。
53.发明概述
54.本发明人发现,目前的一些用于单词记忆训练的应用程序(app),是通过系统给出固定的词汇内容,并采用例如抄写、根据释义选择词条、填写单词缺少字母等形式帮助用户记忆单词以及检测用户的记忆熟练度。然而,这样的记忆训练和检验方法仅能够训练和考察用户对单词的视觉记忆,而无法考察用户对单词的听觉记忆效果和口语输出能力,不符
合人类自然的语言应用场景。因此,在本发明的实施方式中,提供了一种能够检验用户的听觉记忆效果的背诵检验方法。
55.本发明人还发现,目前常见的辅助背诵的方法一般是针对单词或者句子,而缺少能够针对篇章内容进行整体背诵训练和检验的方法。发明人还考虑到用户在自主背诵记忆的过程中,如果遇到读错、读漏、不会读的情况,难以得到及时的反馈以进行自助检验。因此,在本发明的实施方式中,提供了能够对背诵过程中输入的语音进行实时识别和实时视觉展示的方式,有利于实现对篇章内容的背诵检验以及辅助用户实现自助检验。
56.在介绍了本发明的基本原理之后,下面具体介绍本发明的各种非限制性实施方式。
57.应用场景总览
58.本发明实施方式的背诵检验方法可以通过在机器上运行的应用程序来实施。这种应用程序例如可以是背诵学习应用(app),也可以作为一个功能模式应用到语言学习app中。背诵的内容类型可以包括但不限于单词、词组、短语、句子、诗词、段落、文章、音频等。背诵内容的语种可以是现有的各种语言,包括但不限于汉语、英语、法语、日语、德语、韩语等。用户群体可以是成年人、青少年等。
59.在一些应用场景中,用户可以根据自己的需求,使用背诵学习应用进行自助背诵学习和检验。在另一些应用场景中,用户可以利用背诵学习app辅助教学,例如老师在背诵学习app上进行背诵作业布置,学生在背诵学习app上完成背诵任务后,老师可以同时收到学生的背诵结果反馈,从而实现对学生的背诵检验,有利于提高背诵检验效率以及教学质量。
60.示例性方法
61.下面结合上述应用场景,参考图2来描述根据本发明示例性实施方式的由机器实施的背诵检验方法。需要注意的是,上述应用场景仅是为了便于理解本发明的精神和原理而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
62.如图2中所示,背诵检验方法200可以包括:在步骤210中,确定目标背诵内容。目标背诵内容可以是用户想要或者需要进行背诵的标准内容。在一些实施例中,目标背诵内容可以包括目标文本和相应的目标音频。在一些应用场景中,可以对目标音频的音色(例如女声、男声)、发音风格(例如美式发音、英式发音)等参数进行设置,但是目标音频的音频内容应该与目标文本保持一致。在另一些实施例中,目标文本可以是利用asr技术对目标音频进行识别而获得。在又一些实施例中,目标音频可以是利用tts技术对目标文本进行合成而获得。在再一些实施例中,目标音频可以是通过真人针对目标文本进行朗读而录制获得。
63.在一些实施例中,目标背诵内容可以是由用户确定的,也可以是由系统确定的,例如由系统随机确定。在一些应用场景中,确定目标背诵内容可以是通过确定目标背诵内容中的目标文本来实现,而相应的目标音频也会随之确定。在另一些应用场景中,确定目标背诵内容可以是通过确定目标背诵内容中的目标音频来实现,而相应的目标文本也会随之确定。
64.在另一些实施例中,步骤210可以进一步包括:响应于接收到用户的输入操作或者对预存内容的选择操作,基于输入的内容或者被选择的预存内容,确定目标背诵内容。预存
内容可以包括系统默认存储的内容,也可以包括本次选择之前用户已经输入的内容。在又一些实施例中,当目标背诵内容是选自预存内容时,其目标文本和目标音频可以预先生成,以便于在被选择时能够直接使用,从而有效避免延时。
65.在一些实施例中,在基于输入的内容确定目标背诵内容时,步骤210可以进一步包括以下中的至少一项:响应于输入的内容包括第一目标音频,将第一目标音频转换为相应的第一目标文本;响应于输入的内容包括第二目标文本,将第二目标文本转换为相应的第二目标音频;以及响应于输入的内容包括图像,识别该图像,以确定该图像中包含的第三目标文本,并且将第三目标文本转换为相应的第三目标音频。这里的第一目标音频转换为第一目标文本可以利用低延时流式asr技术实现,可以对用户输入的音频进行实时的转换。流式asr技术是指用户一边输入语音,识别引擎一边识别语音内容并生成相应的文字内容。低延时流式asr技术可以降低识别引擎的反馈延时,从而有利于实现实时的语音识别。第二目标文本转换为相应的第二目标音频,或者第三目标文本转换为相应的第三目标音频,可以利用tts技术实现。识别图像可以利用现有的图像识别技术实现,例如光学字符识别(ocr)技术等。
66.可以理解的是,基于输入的内容确定目标背诵内容,可以通过对用户的自定义内容进行处理以作为目标背诵内容,实现用户自由选择背诵内容的目的和效果,能够有效提高背诵内容的选择范围以及灵活度,从而满足用户的多种背诵需求以进一步提高用户体验。
67.接着,在步骤220中,响应于进入背诵检验模式,可以接收针对目标背诵内容进行背诵的背诵语音。如图2中进一步所示,在步骤221中,在接收背诵语音的过程中,可以实时呈现与背诵语音相应的背诵文本。实时呈现背诵文本可以使得用户在背诵的过程中,能够通过观察背诵文本的正确或者错误而达到实时检验的效果。实时呈现背诵文本可以通过低延时流式asr技术实现。
68.在一些实施例中,为了能够向用户及时反馈背诵效果,以辅助用户进行更好的背诵检验,在实时呈现与背诵语音相应的背诵文本时,背诵检验方法200可以进一步包括:基于目标背诵内容,对背诵检验模式中接收到的背诵语音进行实时检测,以及响应于检测到背诵语音中存在异常情况,以视觉和/或听觉的形式实时发出相应的提示信息。在另一些实施例中,基于目标背诵内容,对背诵语音进行实时检测可以包括以下中的至少一项:将目标背诵内容的数字表示与背诵语音的数字表示进行实时比对;以及将目标背诵内容的目标文本与背诵文本进行实时比对。
69.在又一些实施例中,异常情况可以包括以下中的至少一项:读错内容;读漏内容;多读内容;发音失准;和超过预设时长的停顿。在再一些实施例中,以视觉的形式实时发出相应的提示信息可以包括:在实时呈现的背诵文本中呈现用于提示异常情况的标记。例如,在一些应用场景中,响应于检测到背诵语音与目标背诵内容不一致的地方,即存在读错内容(或称背错内容),可以在实时呈现的背诵文本中以批注或者标亮等形式进行错误标记,以提示用户注意。在另一些应用场景中,响应于检测到背诵语音相比于目标背诵内容存在缺少的内容,即存在读漏内容(或称背漏内容),可以在实时呈现的背诵文本中以批注或者标亮等形式进行反馈标记,以提示用户注意。在又一些应用场景中,响应于检测到背诵语音相比于目标背诵内容存在多余的内容,即存在多读内容(或称多背内容),可以在实时呈现
的背诵文本中以批注或者标亮等形式进行标记,以提示用户注意。在再一些应用场景中,响应于检测到背诵语音发音失准,可以在实时呈现的背诵文本中以批注或者文字闪烁等形式进行标记,和/或发出标准的发音,以便于及时的进行语音纠正。在一些应用场景中,响应于检测到超过预设时长没有发音(即超过预设时长的停顿,表示用户可能出现不会读或者忘词的情况),可以在实时呈现的背诵文本中提前呈现停顿位置处的目标文字,和/或发出停顿位置处的目标音频,以起到提醒用户的作用。预设时长可以根据需要进行设置,例如2秒、3秒等。
70.进一步地,根据本发明的一个实施例,背诵检验方法200还可以包括:在接收到针对目标背诵内容进行背诵的完整背诵语音之后,基于目标背诵内容,对完整背诵语音进行质量评价。质量评价可以包括发音、流利度、完整度、错误率等中的至少一项。质量评价可以通过将完整背诵语音与目标背诵内容进行对比,并利用语音打分技术来实现。将完整背诵语音与目标背诵内容进行对比可以包括以下中的至少一项:将目标背诵内容的数字表示与完整背诵语音的数字表示进行比对;以及将目标背诵内容的目标文本与背诵文本进行比对。
71.质量评价可以全面的评估背诵效果。在一些应用场景中,当用户完成全部背诵内容之后(即在接收到针对目标背诵内容进行背诵的完整背诵语音之后),可以输出并向用户呈现质量评价结果,以辅助用户自主评估背诵效果以及进行下一次的背诵计划。
72.以上结合图2总体上对由机器实施的背诵检验方法进行了示意性的描述。可以理解的是,相比于仅接收背诵语音而不呈现背诵文本,或者仅在背诵完成之后给出测评结果的背诵检验方式,根据本发明实施方式的背诵检验方法通过呈现背诵文本,可以在用户背诵的过程中实时反馈背诵效果,能够帮助用户实时纠错,而无需等待背诵完成后再次回顾全部背诵过程进行纠错。特别是对于篇幅较长的目标背诵内容,回顾背诵内容耗时明显,因此,实时呈现背诵文本的方式能够显著提高用户的背诵记忆效率。
73.本领域技术人员还可以理解的是,上面的描述是示例性的而非限制性的,例如,在一些实施例中,在接收背诵语音的过程中,可以不限于仅实时呈现背诵文本,也可以实时呈现背诵进度、质量评分等,其中质量评分可以是基于上述质量评价方法进行实时评价而得到的动态评分。还例如,在一些应用场景中,在确定了目标背诵内容之后,可以不限于直接进入背诵检验模式,可以根据需要先进行背诵训练。下面将结合图3进行示例性的描述。
74.图3示意性地示出了根据本发明实施方式的包括训练模式的方法流程图。如图3中所示,背诵检验方法300可以包括:在步骤310中,确定目标背诵内容。本领域技术人员可以理解的是,步骤310与前文中结合图2描述的步骤210可以相同或相似,此处不再赘述。
75.接着,在步骤320中,响应于进入训练模式,可以确定一个或多个训练环节。该一个或多个训练环节可以由用户自主设定,也可以由系统设定。系统设定可以基于默认设定,或者可以根据目标背诵内容的难易程度、用户的背诵能力、用户对目标背诵内容的熟练度等进行判断和设定。在一些实施例中,训练环节可以包括例如朗读记忆环节、跟读记忆环节、挖空记忆环节等。
76.根据本发明的另一个实施例,背诵检验方法300可以进一步包括:响应于确定了多个训练环节,可以根据该多个训练环节的难易程度进行排序;以及可以根据用户在当前训练环节的熟练度,确定是否进入下一个训练环节。根据多个训练环节的难易程度进行排序,
可以用于指引用户由易到难进行背诵训练,符合背诵学习的实际应用场景,有利于提高用户的背诵学习效率和效果。
77.上文所述的熟练度可以用于表示用户对目标背诵内容的熟练程度。熟练度可以是基于前文中所述的质量评价方法进行的综合评估。在一些实施例中,根据用户在当前训练环节的熟练度,确定是否进入下一个训练环节可以包括:响应于用户在当前训练环节的熟练度达到预设标准,可以进入下一个训练环节;或者响应于用户在当前训练环节的熟练度尚未达到预设标准,重新进入当前训练环节继续训练学习。预设标准可以根据需要进行设置。
78.如图3中进一步示出的,在步骤330中,可以根据用户在最后一个训练环节的熟练度,确定是否进入背诵检验模式。响应于用户在最后一个训练环节的熟练度达到预设标准,可以确定进入背诵检验模式;或者响应于用户在该最后一个训练环节的熟练度尚未达到预设标准,可以重新进入最后一个训练环节继续进行训练学习。
79.然后,流程可以前进到步骤340中,响应于进入背诵检验模式,接收针对目标背诵内容进行背诵的背诵语音。在步骤340中,可以进一步包括步骤341,在接收背诵语音的过程中,可以实时呈现与背诵语音相应的背诵文本。步骤340和步骤341已经在前文中分别结合图2所示的步骤220和步骤221进行了详细的描述,此处不再赘述。
80.以上结合图3对包括训练模式的背诵检验方法进行了示例性的描述。本领域技术人员可以理解的是,图中所示以及上面的描述是示例性的而非限制性的。例如,步骤340可以不限于仅在步骤320和330之后执行,在一些实施例中,在步骤320之前,也可以执行步骤340,以检验用户对目标背诵内容的初始熟练度,以便在步骤320中可以根据该初始熟练度来确定训练环节。在另一些实施例中,用户可以根据需要自主选择跳过步骤320和步骤330的训练模式,而直接进入背诵检验模式。为了更便于理解本发明所述的训练环节,下面将结合图4和图5对训练环节的具体实施方式进行示例性的描述。
81.图4示意性地示出了根据本发明实施方式的进入朗读记忆环节的方法流程图。通过下面的描述,本领域技术人员可以理解的是,图4中所示的方法400可以是前文中结合图3所描述的方法300中确定了训练环节之后的一个具体化实施方式,因此前文中结合图3中的训练环节的描述也可以适用于下面对方法400的描述中。
82.如图4中所示,方法400可以包括:在步骤410中,响应于当前训练环节为朗读记忆环节,呈现目标背诵内容中的目标文本。在一些实施例中,目标背诵内容可以至少包括目标文本。在另一些实施例中,呈现目标文本可以一次性全部呈现,也可以根据用户的朗读速度逐渐呈现。
83.接着,在步骤420中,可以接收针对目标文本进行朗读的第一朗读语音。第一朗读语音可以由用户依照呈现的目标文本的内容进行朗读而产生。
84.在本发明的另一个实施例中,方法400可以进一步包括:基于目标背诵内容,对训练模式中接收到的语音(例如第一朗读语音)进行实时检测,以及响应于检测到该语音中存在异常情况,以视觉和/或听觉的形式实时发出相应的提示信息。在本发明的又一个实施例中,异常情况可以包括以下中的至少一项:读错内容;读漏内容;多读内容;发音失准;和超过预设时长的停顿。以视觉的形式实时发出相应的提示信息可以包括:在呈现的目标文本中实时呈现用于提示异常情况的标记。
85.进一步地,在步骤430中,可以基于目标背诵内容,对第一朗读语音进行质量评价,以确定第一朗读语音的熟练度。这里的质量评价和熟练度的实现方式与前文中结合图2和图3所描述的相同或相似,此处不再赘述。在又一些实施例中,方法400还可以进一步包括:响应于朗读记忆环节为训练模式中的最后一个训练环节,可以根据第一朗读语音的熟练度,确定是否进入背诵检验模式;或者响应于朗读记忆环节不是训练模式中的最后一个训练环节,可以根据第一朗读语音的熟练度,确定是否进入下一个训练环节。
86.以上结合图4对朗读记忆环节的实施方式进行了描述,下面将结合图5对另一个训练环节进行示例性的描述。
87.图5示意性地示出了根据本发明实施方式的进入挖空记忆环节的方法流程图。如图5中所示,通过下面的描述,本领域技术人员可以理解的是,图5中所示的方法500可以是前文中结合图3所描述的方法300中确定了训练环节之后的另一个具体化实施方式,因此前文中结合图3中的训练环节的描述也可以适用于下面对方法500的描述中。
88.如图5中所示,方法500可以包括:在步骤510中,响应于当前训练环节为挖空记忆环节,可以对目标背诵内容的目标文本中的部分内容进行挖空处理,以形成挖空文本。在本实施例中,目标背诵内容可以至少包括目标文本。这里进行挖空处理的部分内容可以包括单词、汉字、词组、短语、句子等中的至少一种。挖空处理可以是通过删除、遮蔽等手段使得该部分内容所在的位置形成空白或者空格,以生成挖空文本,即包括空白或者空格的不完整文本。挖空文本中的空白或者空格所在位置也可称为挖空位置,以提示用户该挖空位置缺少文字。
89.在本发明的一个实施例中,在步骤510中进行挖空处理的挖空数量和挖空位置可以由用户自主选择。在本发明的另一个实施例中,如图5中进一步示出的,在步骤510中对目标文本进行挖空处理可以包括:在步骤511(虚线框示出)中,可以基于用户当前的熟练度,确定目标文本中的挖空数量。用户当前的熟练度为用户进行当前训练之前的熟练度。在一些实施例中,响应于针对目标背诵内容,用户第一次进入挖空记忆环节,用户当前的熟练度可以为上一个训练环节中达到的熟练度。在另一些实施例中,响应于针对目标背诵内容,用户已经多次进入挖空记忆环节,用户当前的熟练度可以为上一次进入挖空记忆环节训练达到的熟练度。在又一些实施例中,挖空数量可以与用户当前的熟练度正相关,即用户当前的熟练度越高,挖空数量可以设置越多;用户当前的熟练度越低,挖空数量可以设置越少。
90.接着,在步骤512(虚线框示出)中,可以利用预先训练的机器模型或者根据预定的逻辑,对目标文本中的挖空位置进行选取。在一些实施例中,机器模型可以包括基于深度神经网络的模型,并可以通过预先对机器模型进行挖空位置的判断训练以及利用机器模型的自学习能力,实现对挖空位置进行选取的目的。在另一些实施例中,预先对机器模型进行挖空位置的判断训练可以包括:利用大数据或者对训练语料进行人工标注等方式,使得机器模型对于有助于背诵记忆的挖空位置(例如具有实际意义或者重要意义的单词、词组等)进行判断和学习。
91.在本发明的又一个实施例中,根据预定的逻辑进行选取可以包括以下中的至少一项:随机选取;根据目标文本的语种类型进行选取;根据用于组成目标文本的字词的类型进行选取;根据用于组成目标文本的字词对语义的贡献程度进行选取;根据用于组成目标文本的字词的长度进行选取;以及根据用于组成目标文本的字词的发音难度进行选取。
92.上文中所述的语种类型可以包括例如英语、中文、韩语、日语、法语等。根据目标文本的语种类型可以包括根据语种特点进行选取。例如,在一些应用场景中,目标文本为英语,通常英语中具有实际意义的英文单词包括实词(例如名词、实义动词、程度副词等),因此可以在英文的目标文本中选择实词进行挖空。在另一些应用场景中,目标文本为中文,可以选取目标文本中具有实际意义或者能概括句子重点的核心词汇或核心语块进行挖空。
93.上文中所述的用于组成目标文本的字词的类型可以包括名词、动词、量词、数词、代词、形容词、古诗词、文言文、成语等。例如,在一些应用场景中,目标文本包括古诗词,可以采用随机选取的挖空方式。在另一些应用场景中,目标文本中包括成语,可以对成语进行挖空。
94.上文中所述的对语义的贡献程度可以基于能否概括目标文本的核心语义来进行判断。在一些实施例中,可以选取目标文本中对于语义贡献程度较大的字词进行挖空,有利于提高背诵记忆的效果。在一些应用场景中,例如在对英语学习的听力能力考察中,通常考察学生在听到一段英文语音后能否选出正确的选项,这就需要学生能够快速提取语音中的核心语义,因此训练对语义贡献较大的字词的快速记忆有助于提高学生的英语学习能力。
95.上文中所述的根据用于组成目标文本的字词的长度和/或发音难度进行选取,可以理解的是,一般来说,字词的长度越长和/或发音难度越大对于背诵记忆的难度越大。在一些实施例中,可以根据用户的语言能力和对目标背诵文本的熟练度,选取适宜长度和/或发音难度的字词进行挖空处理,可以有效避免挖空难度过大导致用户朗读困难,或者挖空难度过小导致没有加深记忆的效果等情况发生。进一步地,根据字词的发音难度进行挖空选取还可以匹配用户的口语输出水平,通过逐渐增加难度的多次训练,在提高用户的背诵记忆能力的同时有利于进一步提高用户的口语能力。
96.然后,流程可以前进到步骤520中,可以呈现挖空文本,并接收针对挖空文本进行朗读的第二朗读语音。在一些实施例中,呈现挖空文本可以一次性全部呈现,也可以根据用户的朗读速度逐渐呈现。第二朗读语音可以由用户依照呈现的挖空文本的内容进行朗读而产生。
97.在本发明的另一个实施例中,方法500可以进一步包括:基于目标背诵内容,对训练模式中接收到的第二朗读语音进行实时检测,以及响应于检测到第二朗读语音中存在异常情况,以视觉和/或听觉的形式实时发出相应的提示信息。在本发明的又一个实施例中,异常情况可以包括以下中的至少一项:读错内容;读漏内容;多读内容;发音失准;和超过预设时长的停顿。以视觉的形式实时发出相应的提示信息可以包括:在呈现的挖空文本中实时呈现用于提示异常情况的标记。
98.进一步地,在步骤530中,可以基于目标背诵内容,对第二朗读语音进行质量评价,以确定第二朗读语音的熟练度。这里的质量评价和熟练度的实现方式与前文中结合图2和图3所描述的相同或相似,此处不再赘述。在又一些实施例中,方法500还可以进一步包括:响应于挖空记忆环节为训练模式中的最后一个训练环节,可以根据第二朗读语音的熟练度,确定是否进入背诵检验模式;或者响应于挖空记忆环节不是训练模式中的最后一个训练环节,可以根据第二朗读语音的熟练度,确定是否进入下一个训练环节。
99.以上结合图4和图5分别对朗读记忆环节和挖空记忆环节的实施方式进行了描述,本领域技术人员可以理解的是,上面的描述是示例性的而非限制性的。例如,训练环节可以
不限于包括朗读记忆环节和/或挖空记忆环节,在一些实施例中,训练环节还可以包括跟读记忆环节,可以逐步呈现目标文本和播放相应的目标音频,当接收到针对当前呈现的句子进行跟读的跟读语音之后,可以继续呈现目标文本中的下一个句子。在另一些实施例中,响应于进入训练模式,可以先执行如图4所示的朗读记忆环节,然后再执行如图5中所示的挖空记忆环节。本领域技术人员可以理解的是,在图3

图5所示的实施例中,提供了一种包括训练模式的背诵检验方法,可以为用户提供全面的背诵记忆解决方案,有利于提高用户的背诵记忆效率,满足用户的多种需求。
100.示例性装置
101.在介绍了本发明示例性实施方式的方法之后,接下来,参考图6对本发明示例性实施方式的实施背诵检验的装置进行描述。
102.图6示意性地示出了根据本发明实施方式的实施背诵检验的装置的示意图。如图6中所示,装置600可以包括人机交互接口610和处理器620。
103.人机交互接口610可以用于从用户接收输入和向用户提供输出。具体地,人机交互接口610可以包括但不限于显示器、扬声器、麦克风、摄像头等。在一些实施例中,人机交互接口610可以执行以下一项或多项:从用户接收针对目标背诵内容进行背诵的背诵语音;从用户接收针对目标文本进行朗读的第一朗读语音;从用户接收针对挖空文本进行朗读的第二朗读语音;向用户实时输出与背诵语音相应的背诵文本;向用户输出目标文本或者挖空文本;向用户输出背诵语音或者朗读语音的质量评价结果以及其他信息,等等。
104.处理器620可以用于执行各种运算处理任务。在一些实施例中,处理器620可以用于:确定目标背诵内容;响应于进入背诵检验模式,接收通过人机交互接口610输入的针对目标背诵内容进行背诵的背诵语音;以及在接收背诵语音的过程中,通过人机交互接口610实时呈现与背诵语音相应的背诵文本。
105.在本发明的一个实施例中,在响应于进入背诵检验模式之前,处理器620还可以用于:响应于进入训练模式,确定一个或多个训练环节;根据用户在最后一个训练环节的熟练度,确定是否进入背诵检验模式。
106.在本发明的另一个实施例中,训练环节可以包括朗读记忆环节,处理器620可以进一步用于:响应于当前训练环节为朗读记忆环节,通过人机交互接口610呈现目标背诵内容中的目标文本;通过人机交互接口610接收针对目标文本进行朗读的第一朗读语音;以及基于目标背诵内容,对第一朗读语音进行质量评价,以确定第一朗读语音的熟练度。
107.在本发明的又一个实施例中,训练环节可以包括挖空记忆环节,处理器620可以进一步用于:响应于当前训练环节为挖空记忆环节,对目标背诵内容的目标文本中的部分内容进行挖空处理,以形成挖空文本;通过人机交互接口610呈现挖空文本,并通过人机交互接口610接收针对挖空文本进行朗读的第二朗读语音;以及基于目标背诵内容,对第二朗读语音进行质量评价,以确定第二朗读语音的熟练度。
108.在本发明的再一个实施例中,处理器620可以进一步用于按如下对目标文本进行挖空处理:基于用户当前的熟练度,确定目标文本中的挖空数量;以及利用预先训练的机器模型或者根据预定的逻辑,对目标文本中的挖空位置进行选取。
109.在本发明的一个实施例中,预定的逻辑可以包括以下中的至少一项:随机选取;根据目标文本的语种类型进行选取;根据用于组成目标文本的字词的类型进行选取;根据用
于组成目标文本的字词对语义的贡献程度进行选取;根据用于组成目标文本的字词的长度进行选取;以及根据用于组成目标文本的字词的发音难度进行选取。
110.在本发明的另一个实施例中,处理器620可以进一步用于:基于目标背诵内容,对背诵检验模式中和/或训练模式中通过人机交互接口接收到的语音进行实时检测,以及响应于检测到语音中存在异常情况,以视觉和/或听觉的形式通过人机交互接口610实时发出相应的提示信息。
111.在本发明的又一个实施例中,处理器620还可以用于:在通过人机交互接口610接收到针对目标背诵内容进行背诵的完整背诵语音之后,基于目标背诵内容,对完整背诵语音进行质量评价;以及质量评价包括发音、流利度、完整度、错误率中的至少一项。
112.可以理解的是,图6中所示的装置600的功能已经在前文中结合图2

图5所示的方法进行了详细的描述和解释,此处不再赘述。
113.通过上面结合附图对根据本发明实施方式的由机器实施的背诵检验方法的示例性描述,可以理解的是,本发明的实施方式提供了一种包括确定目标背诵内容、接收背诵语音以及在接收背诵语音的过程中,实时呈现相应的背诵文本的背诵检验方法,该方法通过让用户以自然的背诵方式进行背诵,并通过呈现背诵文本来实时且高效的反馈背诵过程,有助于用户通过机器实现背诵检验,从而有利于提高用户进行背诵学习的灵活性、自主性以及背诵检验效率。
114.在一些实施例中,通过在背诵检验模式之前设置训练模式,并使得用户能够以口语朗读的方式进行背诵练习,可以对用户的视觉记忆、听觉记忆和口语输出能力等多个维度进行综合训练和考察,符合语言学习的自然应用场景,有利于进一步辅助用户提高语言学习能力。在另一些实施例中,通过对输入的语音进行实时检测,并以视觉和/或听觉的方式实时发出提示信息,能够在用户练习或者背诵过程中提供及时且高质量的评测和反馈,有利于实现用户的自助检验和及时纠错。
115.应当注意,尽管在上文详细描述中提及了装置的若干模块或子模块,但是这种划分仅仅并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之,上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。
116.此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
117.申请文件中提及的动词“包括”、“包含”及其词形变化的使用不排除除了申请文件中记载的那些元素或步骤之外的元素或步骤的存在。元素前的冠词“一”或“一个”不排除多个这种元素的存在。
118.虽然已经参考若干具体实施方式描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释,从而包含所有这样的修改及等同结构和功能。