← 返回列表
一种面向集群计算的异常子任务识别方法及装置
摘要文本
本说明书实施例提供了一种面向集群计算的异常子任务识别方法及装置。该方法包括：针对正在运行的任务，获取其多个子任务对应运行在集群中多个节点上的运行数据；基于运行数据构建第一训练样本集，其中包括各个已完成子任务的任务特征和对应的实际完成时长；利用第一训练样本集训练时长预测模型，以确定各个运行中子任务的预测完成时长；基于运行数据构建第二训练样本集，其中以已完成子任务为正样本，以运行中子任务为负样本；基于第二训练样本集训练概率预测模型，以预测各个运行中子任务的完成概率；将各个运行中子任务的预测完成时长更新为其与对应完成概率的商；根据更新后的预测完成时长，确定其中异常时长所对应的异常子任务。
申请人信息
- 申请人:浙江大学; 物产中大数字科技有限公司
- 申请人地址:310013 浙江省杭州市西湖区余杭塘路866号
- 发明人: 浙江大学; 物产中大数字科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种面向集群计算的异常子任务识别方法及装置 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311435871.1 |
| 申请日 | 2023/10/30 |
| 公告号 | CN117349775A |
| 公开日 | 2024/1/5 |
| IPC主分类号 | G06F18/2433 |
| 权利人 | 浙江大学; 物产中大数字科技有限公司 |
| 发明人 | 周俊; 朱海洋; 陈为; 陈正奎; 肖杰; 郑励; 谈旭炜; 储诚灿; 潘奇豪; 李可涵; 钱晓英; 黄理乐 |
| 地址 | 浙江省杭州市西湖区余杭塘路866号; 浙江省杭州市环城西路56号402室 |
专利主权项内容
1.一种面向集群计算的异常子任务识别方法，其特征在于，包括：针对正在运行的目标任务，获取其多个子任务对应运行在集群中多个节点上的运行数据；基于所述运行数据构建第一训练样本集，其中包括所述多个子任务中各个已完成子任务的任务特征和对应的实际完成时长；利用所述第一训练样本集训练时长预测模型，以及，利用训练好的时长预测模型，确定所述多个子任务中各个运行中子任务的预测完成时长；基于所述运行数据构建第二训练样本集，其中以所述各个已完成子任务为正样本，以所述各个运行中子任务为负样本；基于所述第二训练样本集训练概率预测模型，以及，利用训练好的概率预测模型，预测所述各个运行中子任务的完成概率；将所述各个运行中子任务的预测完成时长更新为其与对应完成概率的商；根据更新后的预测完成时长，确定其中异常时长所对应的异常子任务。