面向微服务架构的日志和调用链数据融合的异常检测算法
申请人信息
- 申请人:上海鼎茂信息技术有限公司
- 申请人地址:200333 上海市普陀区岚皋路567号901-908室
- 发明人: 上海鼎茂信息技术有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 面向微服务架构的日志和调用链数据融合的异常检测算法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311438727.3 |
| 申请日 | 2023/11/1 |
| 公告号 | CN117349740A |
| 公开日 | 2024/1/5 |
| IPC主分类号 | G06F18/2411 |
| 权利人 | 上海鼎茂信息技术有限公司 |
| 发明人 | 田富龙; 何诚; 杜庆峰; 石晓楠 |
| 地址 | 上海市普陀区岚皋路567号901-908室 |
摘要文本
本发明公开了面向微服务架构的日志和调用链数据融合的异常检测算法，属于多模态运维数据异常检测算法技术领域，面向微服务架构的日志和调用链数据融合的异常检测算法，包括以下具体步骤：S1、数据预处理阶段，将日志和调用链解析提取事件模板，使用分词器从语义上对单词进行细粒度的分词，然后使用预训练模型得到的词嵌入和TF‑IDF聚合经过PCA得到事件嵌入向量，借助图结构，将日志、调用链事件表示为图的节点，把时序关系、调用关系表示为边。本发明提出一种面向微服务架构的日志和调用链数据融合的异常检测算法，支持在已知部分可靠标签的情况下推断整体样本标签分布，准确地检测出微服务应用的异常，具有很大的应用前景。。数据由马 克 团 队整理
专利主权项内容
微信公众号马克 数据网 1.面向微服务架构的日志和调用链数据融合的异常检测算法，其特征在于，包括以下具体步骤：S1、数据预处理阶段，将日志和调用链解析提取事件模板，使用分词器从语义上对单词进行细粒度的分词，然后使用预训练模型得到的词嵌入和TF-IDF聚合经过PCA得到事件嵌入向量，借助图结构，将日志、调用链事件表示为图的节点，把时序关系、调用关系表示为边，将日志信息与调用链结构进行有效融合；S2、概率标签模型与检测模型训练阶段，结合PU学习和Deep SVDD的思想，使用可靠正样本标签数据训练紧凑超球面，对整体样本的标签估计，为训练监督模型提供标签支持，增强模型鲁棒性，同时，基于日志、调用链图向量到超球面中心的距离设计了可灵活调整的概率标签计算方法实现标签平滑，提高模型对未知数据的判别能力，完成了概率估计模型的拟合得到所有训练样本的概率标签，基于此训练基于GraphSAGE的日志调用链融合图二分类检测模型；S3、异常检测阶段，完成训练后，将日志、调用链融合图输入到算法中即可在GraphSAGE末端得到异常概率。