一种海量结构化数据的存储方法及系统

专利申请号：CN202311002077.8

公 开 号：CN116719822A

发 明 人：张哲 殷亮 

代 理 人：王允辉

代理机构：广州专理知识产权代理事务所(普通合伙)

专利类型：发明专利

申 请 日：20230908

公 开 日：20230810

专利主分类号：G06F16/22

关 键 词：分区数据 结构化数据 分类标签 数据排列 列存储 列数据 向量化 主数据 预设 存储 唯一身份识别码 数据处理效率 预设存储位置 结构化存储 身份识别码 存储空间 分区存储 排序结果 数据分配 映射关系 数据源 元数据 构建 排序 

摘      要：本发明提供了一种海量结构化数据的存储方法及系统，所述方法包括：从数据源获取海量结构化数据；基于海量结构化数据的元数据对海量结构化数据进行分区存储，生成分区数据；获取每个分区数据内的主数据，基于主数据对隶属的分区数据添加分类标签，根据分类标签对每个分区数据进行列存储；对列存储的每一列数据执行预设向量化操作，基于预设向量化操作对每一列数据进行排序；基于排序结果对每个数据分配唯一身份识别码，根据每个分区数据内的分类标签和身份识别码构建数据排列模型；建立每个数据排列模型与对应分区数据的映射关系并存储至预设存储位置。本发明可以降低海量结构化存储数据的存储空间压力，提高数据处理效率。