一种云菜谱的自动生成方法、装置以及存储介质

专利主权项内容

1.一种云菜谱的自动生成方法，其特征在于，包括：在获取到用户所下达的菜谱生成指令后，根据所录制的烹饪操作视频以及设备状态信息生成烹饪数据流；对烹饪数据流进行分析并确定用户烹饪行为，根据用户烹饪行为以及设备状态信息生成烹饪流程简版；将烹饪流程简版发送给用户并获取用户所反馈的修正信息，根据修正信息以及烹饪流程简版生成菜谱并共享至云端平台；所述在获取到用户所下达的菜谱生成指令后，根据所录制的烹饪操作视频以及设备状态信息生成烹饪数据流包括：在获取到用户所下达的菜谱生成指令后，控制预设的摄像装置进入录制状态，并记录所录制的视频图像帧与各时间节点之间的第一对应关系；通过物联网获取所存在的烹饪设备的设备状态信息，并建立设备状态信息与各时间节点之间的第二对应关系；根据第一对应关系以及第二对应关系建立视频图像帧与设备状态信息间的第三对应关系；按照第三对应关系输出由设备状态信息与视频图像帧结合生成的烹饪数据流；所述对烹饪数据流进行分析并确定用户烹饪行为，根据用户烹饪行为以及设备状态信息生成烹饪流程简版包括：根据烹饪数据流建立烹饪流程时间线，并根据烹饪数据流中的设备状态信息对烹饪流程时间线进行设备烹饪流程的补充；对烹饪数据流中的烹饪操作视频进行分析，确定烹饪操作视频中所存在的第一类识别目标以及第二类识别目标并对其进行分类标注；根据烹饪操作视频确定第一类识别目标以及第二类识别目标之间的交互状态，并根据交互时对应对象的目标类型及状态判断用户的具体烹饪行为；确定用户具体烹饪行为在烹饪操作视频内对应发生的起止时间，并在烹饪流程时间线上生成对应的时间段-具体烹饪行为的判定标记；将烹饪流程时间线按照预设的固定模式进行处理输出，得到烹饪流程简版；所述根据烹饪操作视频确定第一类识别目标以及第二类识别目标之间的交互状态，并根据交互时所对应对象的目标类型及状态判断用户的具体烹饪行为包括：确定第一类识别目标产生协同动作的第二类识别目标，并确定该第二类识别目标所对应的标注内容、该第二类识别目标的状态以及与其他第二类识别目标的结合状态；其中，第二类识别目标的状态包括食材的处理形态，第二类识别目标与其他第二类识别目标的结合状态包括食材与容器、食材与烹饪设备以及食材与烹饪器具的结合状态；根据第二类识别目标对应的标注内容确定该第二类识别目标的目标类型以及对应映射的关联特征库，并根据关联特征库确定识别目标对应的多种烹饪步骤特征；根据第二类识别目标与第一类识别目标之间以及其他第二类识别目标之间的交互状态，基于该第二类识别目标所对应的多种烹饪步骤特征确定出用户的具体烹饪行为；所述对烹饪数据流进行分析并确定用户烹饪行为还包括：确定烹饪数据流中所存在的多段烹饪操作视频，并确定构成任意一段烹饪操作视频的视频帧序列；采用VGG-16神经网络提取任意视频帧中存在的深度特征向量矩阵/>，并构成基于烹饪操作视频帧变换的深度特征矩阵序列/>；将深度特征矩阵序列输入预先训练的S2VT模型，得到关于概况烹饪操作视频内容的行为词序列/>的条件概率/>：其中，n表示待分析的烹饪操作视频的视频帧序列长度n，m表示行为词序列长度；选择概率最高的一个行为词作为该段烹饪操作视频的主体烹饪行为；确定该段烹饪操作视频中存在的用户人体和参与烹饪工作的识别目标，基于主体烹饪行为生成具有主谓宾关系的用户烹饪行为。。关注微信公众号马克数据网