一种基于大数据的数据挖掘系统及其挖掘方法

专利主权项内容

1.一种基于大数据的数据挖掘系统，其特征在于，包括：数据采集单元，用于：对基本数据、图像数据和视频数据文件进行采集并生成基础数据文件，对基本数据的文本信息进行信息读取得到关键词集合，对图像数据文件进行文字信息及图片特征提取，并对基本数据中的关键词集合以及图像数据文件中的文字信息及图片特征进行抓取，并生成抓取数据集；数据存储单元，用于：与云平台交互，对基本数据中的关键词集合、图像数据文件中的文字信息及图片特征以及视频数据文件中的关键区域进行数据集分布式存储及加密，同时基于云平台中通过网络对数据进行共享；数据挖掘单元，用于：提取抓取数据集的关键字节进行校验并对异常数据进行剔除，生成去异数据，基于去异数据对基础数据文件进行数据清洗并生成确定数据集；数据反馈单元，用于：对云平台进行数据检索和检索结果显示及提醒；云平台，用于：通过云端储存和编辑后，将分类信息输送至数据存储单元，并将反馈信息回传；用户终端，用于：用于对数据采集单元、数据存储单元、数据挖掘单元和数据反馈单元进行储存、运行和实施，包括不少于一个登录端及不少于一个控制终端，当控制终端工作时，运行数据采集单元、数据存储单元、数据挖掘单元和数据反馈单元并实现基于基于大数据的数据挖掘系统，登录端通过互联网连接到控制终端、云平台和服务器。