← 返回列表
一种基于数据处理单元读取列式存储文件的加速方法及装置
申请人信息
- 申请人:中科驭数(北京)科技有限公司
- 申请人地址:100089 北京市海淀区北清路81号院一区4号楼14层1401室
- 发明人: 中科驭数(北京)科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于数据处理单元读取列式存储文件的加速方法及装置 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311422165.3 |
| 申请日 | 2023/10/30 |
| 公告号 | CN117573699A |
| 公开日 | 2024/2/20 |
| IPC主分类号 | G06F16/245 |
| 权利人 | 中科驭数(北京)科技有限公司 |
| 发明人 | 韩磊; 才华 |
| 地址 | 北京市海淀区北清路81号院一区4号楼14层1401室 |
摘要文本
中科驭数(北京)科技有限公司获取“一种透气窗帘布”专利技术，本发明提供一种基于数据处理单元读取列式存储文件的加速方法及装置，包括：基于Spark层读取列式存储文件的文件信息，并将文件信息传递至数据处理平台层；数据处理平台层根据文件信息读取相应的列式存储文件；基于数据处理单元板卡并行读取列式存储文件，并进行计算，将计算结果发送至数据处理平台层；数据处理平台层将列式存储文件的计算结果进行行列转换处理，并将处理后的计算结果进行输出与展示。本发明提供的加速方法对于列式存储文件的读取，由数据处理单元直接并行读取并计算，避免数据的大量拷贝，提升整体方案性能，同时减少数据传输，节约主机处理器、内存、网络传输资源，提高系统吞吐量。。该数据由<专利查询网>整理
专利主权项内容
1.一种基于数据处理单元读取列式存储文件的加速方法，其特征在于，所述方法包括以下步骤：基于Spark层读取列式存储文件的文件信息，并将所述文件信息传递至数据处理平台层；所述数据处理平台层根据所述文件信息读取相应的列式存储文件；所述文件信息至少包括文件路径和数据结构定义信息；基于数据处理单元板卡并行读取所述列式存储文件，并进行计算，将计算结果发送至所述数据处理平台层；所述数据处理平台层将所述列式存储文件的计算结果进行行列转换处理，并将处理后的计算结果进行输出与展示。。关注公众号马 克 数 据 网