基于MR设备的智能助教方法及系统

专利主权项内容

1.一种基于MR设备的智能助教方法，应用于基于MR设备的智能助教系统，其特征在于，所述基于MR设备的智能助教系统包括第一用户MR设备、第二用户MR设备及服务器，所述第一用户MR设备和所述第二用户MR设备均与所述服务器通讯连接；所述第一用户MR设备为学生用户类型的MR设备，所述第二用户MR设备为教师用户类型的MR设备；所述基于MR设备的智能助教方法包括：所述第一用户MR设备或所述第二用户MR设备若接收到用户操作信息，则产生与所述用户操作信息对应的教学实训操作交互指令并发送至所述服务器；所述服务器响应于所述第一用户MR设备或所述第二用户MR设备发送的教学实训操作交互指令，获取与所述教学实训操作交互指令对应的当前交互模式；所述服务器若确定所述当前交互模式为AI助教语音交互模式，则获取通过所述第一用户MR设备或所述第二用户MR设备采集并上传的当前用户语音数据；所述服务器基于预先训练的语音识别模型获取与所述当前用户语音数据对应的当前语音识别文本；所述服务器基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，并将所述目标答复数据及所述多维度辅助答复数据发送至所述第一用户MR设备或所述第二用户MR设备；所述服务器若确定所述当前交互模式为机器视觉交互模式，则将所选定的当前操作实训实验对应的工具图像采集指令发送至所述第一用户MR设备；所述第一用户MR设备基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至所述服务器，以使得所述服务器基于预选训练的工具图像识别模型对所述工具操作视频或所述工具操作图片集进行识别，得到操作工具识别结果集；所述服务器基于所述操作工具识别结果集与所述当前操作实训实验对应的标准操作工具集的匹配结果，生成与所述当前操作实训实验对应的最终评价结果并发送至所述第一用户MR设备。