一种数据处理方法、装置、设备及可读存储介质

专利主权项内容

1.一种数据处理方法，其特征在于，包括：基于目标数据源的类型感知所述目标数据源的状态，基于所述目标数据源的类型和状态，从所述目标数据源获取目标数据和目标业务的信息，所述类型包括文件类数据源、数据流类数据源以及数据库类数据源；所述目标业务的信息包括所述目标数据的业务需求；将所述目标数据以实时流数据形式存储至消息队列，采用流处理框架将所述目标数据持久化至数据湖；从目标源提取所述目标数据，并采用流处理框架对所述目标数据进行解析处理，得到标准化数据，所述解析处理包括数据标准化转换，所述目标源包括消息队列和数据湖中的一项；将所述标准化数据以实时流数据形式存储至消息队列，采用流处理框架将所述标准化数据持久化至数据湖；从所述目标源提取所述标准化数据，基于所述业务需求，采用流处理框架对所述标准化数据进行业务处理，得到所述目标业务对应的数据处理结果。