基于人工智能和视频处理的文本推荐方法和系统

专利主权项内容

1.一种基于人工智能和视频处理的文本推荐方法，其特征在于，包括：检测用户是否开启书籍阅读操作；若检测到用户开启书籍阅读操作，则打开前置摄像头获取用户阅读书籍时的视频并同时录制手机屏幕得到屏幕录制视频；将所述用户阅读书籍时的视频和所述屏幕录制视频输入到兴趣段落确定模型以确定书籍中的多个初始兴趣段落，所述兴趣段落确定模型为Transformer模型，所述兴趣段落确定模型的输入为所述用户阅读书籍时的视频和所述屏幕录制视频，所述兴趣段落确定模型的输出为书籍中的多个初始兴趣段落，所述兴趣段落确定模型包括视频匹配层、段落动作确定层、兴趣程度确定层、兴趣段落筛选层视频匹配层的输入为所述用户阅读书籍时的视频和所述屏幕录制视频，视频匹配层的输出为书籍的每一个段落对应的用户阅读书籍时的分割视频、书籍的每一个段落对应的屏幕录制分割视频，段落动作确定层的输入为书籍的每一个段落对应的用户阅读书籍时的分割视频、书籍的每一个段落对应的屏幕录制分割视频，段落动作确定层的输出为书籍的每一个段落对应的阅读时长、面部表情序列、用户的手势操作、眼部动作序列，兴趣程度确定层的输入为书籍的每一个段落对应的阅读时长、面部表情序列、用户的手势操作、眼部动作序列，兴趣程度确定层的输出为书籍的每一个段落的兴趣程度，兴趣段落筛选层的输入为书籍的每一个段落的兴趣程度，兴趣段落筛选层的输出为多个初始兴趣段落；基于所述书籍中的多个初始兴趣段落对应的文字内容确定目标段落；基于所述目标段落的文字内容使用生成对抗网络生成段落描述图像；将所述段落描述图像输入到封面确定模型得到目标书籍封面；将所述目标书籍封面对应的目标书籍推荐给用户；所述方法还包括：获取用户对所述目标书籍的不感兴趣操作；响应于所述用户对所述目标书籍的不感兴趣操作，将所述目标段落从所述多个初始兴趣段落中剔除得到剔除后的多个段落；基于所述剔除后的多个段落的文字内容使用所述生成对抗网络生成多个段落描述图像；获取用户选定的段落描述图像，所述用户选定的段落描述图像为用户从多个段落描述图像选取出的段落描述图像；将所述用户选定的段落描述图像输入到所述封面确定模型得到待推荐书籍封面；将所述待推荐书籍封面对应的待推荐书籍推荐给用户。