一种大数据任务监控方法、系统、装置及存储介质
申请人信息
- 申请人:天翼数字生活科技有限公司
- 申请人地址:200000 上海市静安区万荣路1256、1258号1423室
- 发明人: 天翼数字生活科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种大数据任务监控方法、系统、装置及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311337049.1 |
| 申请日 | 2023/10/16 |
| 公告号 | CN117421171A |
| 公开日 | 2024/1/19 |
| IPC主分类号 | G06F11/30 |
| 权利人 | 天翼数字生活科技有限公司 |
| 发明人 | 成文; 邓琛; 丁家文; 邹京辰; 赵子颖; 黄毓铭 |
| 地址 | 上海市静安区万荣路1256、1258号1423室 |
摘要文本
天翼数字生活科技有限公司获取“一种透气窗帘布”专利技术，本发明公开了一种大数据任务监控方法、系统、装置及存储介质，包括采集任务数据，对任务数据预处理后输入第一预设模型，得到任务数据的第一特征向量，根据第一特征向量和第二预设模型计算异常分数，根据异常分数确定异常阈值，根据异常分数和异常阈值确定异常数据，根据预设规则监控异常数据，在预设规则满足时执行相应的操作，根据任务执行的参数对第二预设模型进行更新，根据预设算法、第三预设模型以及第四预设模型确定目标异常数据及对应的上下文信息，将目标异常数据及对应的上下文信息输入预设的知识图谱和推理引擎，得到目标异常数据的故障诊断报告和对应的解决方案。本发明实施例实现自动化监控，提高监控效率，可广泛应用于大数据领域。
专利主权项内容
1.一种大数据任务监控方法，其特征在于，包括以下步骤：采集任务数据，并对所述任务数据进行预处理，得到三维张量数据；其中，所述任务数据包括数据中台中各个集群的任务信息及对应的资源信息，所述三维张量数据包括执行时间时间序列数据、资源利用率时间序列数据和调度信息时间序列数据；将所述三维张量数据输入训练好的第一预设模型，得到第一特征向量；其中，所述第一特征向量表征各所述任务数据的隐藏状态；根据所述第一特征向量与训练好的第二预设模型确定异常分数，并根据所述异常分数确定异常阈值，将所述异常分数与所述异常阈值进行比较，确定异常数据；其中，所述异常数据表征所述异常分数大于所述异常阈值的第一特征向量；根据预设规则对所述异常数据进行监控，若所述异常数据满足所述预设规则，执行所述预设规则对应的操作；根据所述异常数据确定异常数据的特征向量，将所述异常数据输入训练好的第四预设模型得到异常数据的上下文信息特征向量，根据所述异常数据的特征向量与所述异常数据的上下文信息特征向量确定目标异常数据；根据所述目标异常数据、预设图谱与推理引擎确定故障诊断报告和解决方案。 更多数据：