一种非结构化数据的元数据存储方法、装置、介质及设备
摘要文本
在本说明书提供的一种非结构化数据的元数据存储方法、装置、介质及设备中,通过响应于第一用户输入的包含非结构化数据的元数据存储请求,对非结构化数据的提取,确定符合预设元数据分类的原始数据。再通过对原始数据的解析,确定原始数据中对应预设元数据分类的结构化元数据。最后将结构化元数据存储在湖仓一体存储平台中,供第二用户检索并管理。使得不同权限的用户能够高效的检索并管理非结构化数据中需要管理的结构化元数据。 关注微信公众号马克数据网
申请人信息
- 申请人:之江实验室
- 申请人地址:311121 浙江省杭州市余杭区中泰街道科创大道之江实验室
- 发明人: 之江实验室
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种非结构化数据的元数据存储方法、装置、介质及设备 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311665185.3 |
| 申请日 | 2023/12/6 |
| 公告号 | CN117349401B |
| 公开日 | 2024/3/15 |
| IPC主分类号 | G06F16/31 |
| 权利人 | 之江实验室 |
| 发明人 | 张夏昭; 刘仪阳; 洪泓; 杨磊; 潘爱民 |
| 地址 | 浙江省杭州市余杭区中泰街道科创大道之江实验室 |
专利主权项内容
1.一种非结构化数据的元数据存储方法,其特征在于,包括:响应于第一用户输入的携带非结构化数据的元数据存储请求,确定湖仓一体存储平台中预设的元数据分类、所述元数据存储请求中的非结构化数据、所述元数据存储请求对应的存储任务的存储编号、所述元数据存储请求对应的存储任务的启动时间以及所述元数据存储请求中的非结构化数据的存储路径以及非结构化数据的名称;遍历所述非结构化数据,确定所述非结构化数据中属于任一元数据分类的信息,作为从所述非结构化数据中提取出的原始信息,所述原始信息对应至少一种元数据分类;针对每种元数据分类,通过对所述原始信息进行字符串解析,确定所述原始信息中与该元数据分类对应的子数据,将解析得到的子数据与该元数据分类,作为所述原始信息中提取得到的结构化元数据;通过所述湖仓一体存储平台中的数据湖管理框架,将所述结构化元数据装载到所述湖仓一体存储平台中对应的容器中,并根据所述结构化元数据对应的非结构化数据的存储编号、非结构化数据的存储路径以及非结构化数据的名称,确定所述结构化元数据的索引;根据所述索引,将所述索引与对应的所述结构化元数据存入所述湖仓一体存储平台;当接收到第二用户的检索请求时,从存储的所述结构化元数据中,确定与所述检索请求中携带的关键词匹配的结构化元数据,作为检索结果返回所述第二用户。