基于多级数据通道的实时大数据处理方法及系统

专利主权项内容

1.一种基于多级数据通道的实时大数据处理方法，其特征在于，应用于大数据处理系统，所述方法包括：将涵盖目标用户活动事件的实时业务会话数据流拆解成若干个通道阶段数据集，分别对所述若干个通道阶段数据集进行会话交互描述挖掘，得到若干个多模态局部会话交互描述知识；依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，所述第一多模态局部会话交互描述知识为所述若干个多模态局部会话交互描述知识中的任一个，所述若干个第二多模态局部会话交互描述知识包括所述第一多模态局部会话交互描述知识以及最少一个除所述第一多模态局部会话交互描述知识以外的剩余多模态局部会话交互描述知识；依据所述若干个多模态局部会话交互描述知识分别对应的若干个会话行为嵌入向量，确定所述目标用户活动事件的业务需求决策观点；其中，所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，包括：对所述第一多模态局部会话交互描述知识的会话索引向量以及每个第二多模态局部会话交互描述知识的会话标识向量和会话属性向量进行特征混淆，得到所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量；其中，所述对所述第一多模态局部会话交互描述知识的会话索引向量以及每个第二多模态局部会话交互描述知识的会话标识向量和会话属性向量进行特征混淆，得到所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，包括：依据所述第一多模态局部会话交互描述知识的会话索引向量和每个第二多模态局部会话交互描述知识的会话标识向量，确定所述第一多模态局部会话交互描述知识与每个所述第二多模态局部会话交互描述知识之间的特征牵涉分值；基于所述若干个第二多模态局部会话交互描述知识分别对应的若干个特征牵涉分值，对所述若干个第二多模态局部会话交互描述知识的会话属性向量进行量化集成，得到所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量；其中，所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量之前，所述方法还包括：依据第一通道阶段数据集在所述实时业务会话数据流中的第一分布标签，确定与所述第一分布标签关联的第二分布标签，其中，所述第一多模态局部会话交互描述知识是对所述第一通道阶段数据集进行会话交互描述挖掘所得的；将对应于所述第二分布标签的第二通道阶段数据集对应的多模态局部会话交互描述知识，确定为多模态关联会话交互描述知识；其中，所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量之前，所述方法还包括：针对所述若干个通道阶段数据集中的每个通道阶段数据集，对所述通道阶段数据集的分布标签信息进行特征映射，得到分布表征变量，将所述分布表征变量叠加到所述通道阶段数据集的多模态局部会话交互描述知识，所述分布标签信息用于反映所述通道阶段数据集在所述实时业务会话数据流中的分布标签；其中，所述依据所述若干个多模态局部会话交互描述知识分别对应的若干个会话行为嵌入向量，确定所述目标用户活动事件的业务需求决策观点，包括：依据原始分类判别向量，确定第一基础会话索引向量，对所述第一基础会话索引向量以及所述若干个会话行为嵌入向量的会话标识向量和会话属性向量进行特征混淆，得到会话向量混淆结果，所述原始分类判别向量用于指示启动特征混淆处理；依据所述原始分类判别向量和既有会话向量混淆结果，确定第二基础会话索引向量，对所述第二基础会话索引向量以及所述若干个会话行为嵌入向量的会话标识向量和会话属性向量进行特征混淆，得到后一个会话向量混淆结果，直到所得的会话向量混淆结果提示完成特征混淆；依据既有若干个会话向量混淆结果，确定所述目标用户活动事件的业务需求决策观点；其中，所述依据所述原始分类判别向量和既有会话向量混淆结果，确定第二基础会话索引向量，包括：依据最新的既有会话向量混淆结果的会话索引向量和所述原始分类判别向量的会话标识向量，确定所述原始分类判别向量对应的特征牵涉分值，以及，依据所述最新的既有会话向量混淆结果的会话索引向量和每个既有会话向量混淆结果的会话标识向量，确定每个既有会话向量混淆结果对应的特征牵涉分值；基于所述原始分类判别向量对应的特征牵涉分值和每个既有会话向量混淆结果对应的特征牵涉分值，对所述原始分类判别向量的会话属性向量和每个既有会话向量混淆结果的会话属性向量进行量化集成，得到所述第二基础会话索引向量；其中，所述分别对所述若干个通道阶段数据集进行会话交互描述挖掘，得到若干个多模态局部会话交互描述知识，包括：调整每个所述通道阶段数据集的原始会话交互描述知识关系网的特征规模，直到得到目标特征规模的会话交互描述知识关系网；将所述目标特征规模的会话交互描述知识关系网调整为特征规模为1维的多模态局部会话交互描述知识；其中，每个所述多模态局部会话交互描述知识的描述层面数为第一个数，所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量之前，所述方法还包括：对每个所述多模态局部会话交互描述知识进行滑窗可逆处理，得到滑窗可逆处理后的多模态局部会话交互描述知识，所述滑窗可逆处理后的多模态局部会话交互描述知识的描述层面数为第二个数，所述第二个数小于所述第一个数；所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，包括：依据滑窗可逆处理后的第一多模态局部会话交互描述知识和若干个滑窗可逆处理后的第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量；其中，所述若干个多模态局部会话交互描述知识基于每个所述多模态局部会话交互描述知识对应的通道阶段数据集在所述实时业务会话数据流中的分布标签排列，形成所述实时业务会话数据流的会话交互描述知识关系网，所述会话交互描述知识关系网的描述层面数为第一个数；所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量之前，所述方法还包括：对所述实时业务会话数据流的会话交互描述知识关系网进行滑窗可逆处理，得到滑窗可逆处理后的会话交互描述知识关系网，所述滑窗可逆处理后的会话交互描述知识关系网的描述层面数为第二个数，所述第二个数小于所述第一个数；所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，包括：依据所述滑窗可逆处理后的会话交互描述知识关系网中的第一多模态局部会话交互描述知识和所述滑窗可逆处理后的会话交互描述知识关系网中的若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量；其中，所述将涵盖目标用户活动事件的实时业务会话数据流拆解成若干个通道阶段数据集，分别对所述若干个通道阶段数据集进行会话交互描述挖掘，得到若干个多模态局部会话交互描述知识，包括有：将涵盖目标用户活动事件的实时业务会话数据流拆解成若干个通道阶段数据集，基于业务需求决策算法，分别对所述若干个通道阶段数据集进行会话交互描述挖掘，得到若干个多模态局部会话交互描述知识；其中，所述业务需求决策算法包括会话交互描述挖掘分支和专家知识处理分支，所述专家知识处理分支包括特征挖掘组件和观点决策组件；所述分别对所述若干个通道阶段数据集进行会话交互描述挖掘，得到若干个多模态局部会话交互描述知识，包括：根据所述会话交互描述挖掘分支，分别对所述若干个通道阶段数据集进行会话交互描述挖掘，得到若干个多模态局部会话交互描述知识；所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，包括：根据所述特征挖掘组件，依据所述第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量；所述依据所述若干个多模态局部会话交互描述知识分别对应的若干个会话行为嵌入向量，确定所述目标用户活动事件的业务需求决策观点，包括：根据所述观点决策组件，依据所述若干个多模态局部会话交互描述知识分别对应的若干个会话行为嵌入向量，确定所述目标用户活动事件的业务需求决策观点；其中，所述专家知识处理分支还包括知识译码组件，所述知识译码组件包括焦点化处理节点和特征混淆节点；所述依据所述若干个多模态局部会话交互描述知识分别对应的若干个会话行为嵌入向量，确定所述目标用户活动事件的业务需求决策观点，包括：根据所述焦点化处理节点，依据原始分类判别向量，确定第一基础会话索引向量；根据所述特征混淆节点，对所述第一基础会话索引向量以及所述若干个会话行为嵌入向量的会话标识向量和会话属性向量进行特征混淆，得到会话向量混淆结果，所述原始分类判别向量用于指示启动特征混淆处理；根据所述焦点化处理节点，依据所述原始分类判别向量和既有会话向量混淆结果，确定第二基础会话索引向量；根据所述特征混淆节点，对所述第二基础会话索引向量以及所述若干个会话行为嵌入向量的会话标识向量和会话属性向量进行特征混淆，得到后一个会话向量混淆结果；直到所得的会话向量混淆结果提示完成特征混淆；根据所述观点决策组件，依据既有若干个会话向量混淆结果，确定所述目标用户活动事件的业务需求决策观点；其中，所述专家知识处理分支的调试步骤包括：获取过往实时业务会话数据流的若干个多模态局部会话交互描述知识以及所述过往实时业务会话数据流对应的调试学习依据，所述调试学习依据用于反映所述目标用户活动事件的已认证需求决策观点；根据所述专家知识处理分支，对所述过往实时业务会话数据流的若干个多模态局部会话交互描述知识进行处理，得到过往需求预测观点；依据所述过往需求预测观点和所述调试学习依据，调试所述专家知识处理分支。