一种卫星遥感大数据集统计方法、装置及设备

专利主权项内容

1.一种卫星遥感大数据集统计方法，其特征在于，方法包括：分块读取待统计卫星遥感大数据集对应的数据点对；所述数据点对的数量为千万级到百亿级；计算所述数据点对的平均偏差和标准差，并进行3-σ数据剔除，得到有效数据点对；计算所述有效数据点对的偏差，并按照所述偏差大小对所述有效数据点对进行排序；将所述有效数据点对根据段内极差最小法进行分段，并根据要抽取的数据总数，对分段后的所述有效数据点对按比例随机取样，得到取样数据；将每一段抽取得到的取样数据进行合并，形成目标数据集，并基于所述目标数据集进行统计计算和绘图；所述分块读取待统计卫星遥感大数据集对应的数据点对，具体包括：按照待统计卫星遥感大数据集的(1/2)^n进行分块读取；其中，n为分块的次数，n=1, 2, 3, …；所述计算所述有效数据点对的偏差，具体包括：计算所述有效数据点对中的观测值与真实值之间的差值，将所述差值确定为所述有效数据点对的偏差；进行3-σ数据剔除，得到有效数据点对，具体包括：将存进内存的所述数据点对中满足预设剔除条件的数据点对进行剔除，得到有效数据点对；所述预设剔除条件为：Bias<mBias-3*mStd；或者，所述预设剔除条件为：Bias>mBias+3*mStd；其中，Bias表示任意一个数据点对的偏差，mBias表示数据点对的平均偏差，mStd表示数据点对的标准差。