用于评估模型性能的系统和方法

专利主权项内容

1.一种系统，包括：一个或以上存储介质，所述存储介质包括用于模型评估的指令集；以及一个或以上处理器，所述处理器被配置为与所述一个或以上存储介质通信，其中当执行所述指令集时，所述一个或以上处理器用于：(a)获取第一样本集及第二样本集，其中：(i)第一样本集包括基于第一模型的至少两个第一样本，(ii)第二样本集包括基于第二模型的至少两个第二样本，以及(iii)所述第一样本及所述第二样本各自包括一个特征值；(b)将所述第一样本集划分为至少两个第一样本子集，每个所述第一样本子集提供一个平均第一样本子集特征值；(c)将所述第二样本集划分为至少两个第二样本子集，每个所述第二样本子集提供一个平均第二样本子集特征值；(d)基于所述第一模型和所述第二模型之间的平均差异、显著性水平和置信区间，确定所述第一模型和所述第二模型之间的最终模型，其中，所述显著性水平用于验证由影响因子引起的所述平均差异的显著程度，所述影响因子包括模型差异和/或样本差异，所述置信区间表示分别基于所述第一模型和所述第二模型与新请求相关联的可能特征值之间的差异的间隔范围，所述平均差异、所述显著性水平、所述置信区间均基于所述平均第一样本子集特征值和所述平均第二样本子集特征值获得；基于所述平均第一样本子集特征值和所述平均第二样本子集特征值来确定所述显著性水平，所述一个或以上处理器还用于：确定与所述平均第一样本子集特征值的集中趋势有关的第一评估参数；确定与所述平均第二样本子集特征值的所述集中趋势有关的第二评估参数；确定与所述平均第一样本子集特征值和所述平均第二样本子集特征值的所述集中趋势有关的第三评估参数；基于第一评估参数与所述第三评估参数之间的差异，以及第二评估参数与所述第三评估参数之间的差异确定第一误差；基于所述平均第一样本子集特征值与所述第三评估参数之间的差异，以及所述平均第二样本子集特征值与所述第三评估参数之间的差异确定第二误差；以及基于所述第一误差和所述第二误差确定所述显著性水平。