基于大数据结合人工智能实现数据的筛选方法及系统

专利申请号：CN202410145704.1

公 开 号：CN117909333A

发 明 人：黄泽文 陈军勇 

代 理 人：董博

代理机构：深圳市世纪宏博知识产权代理事务所(普通合伙)

专利类型：发明专利

申 请 日：20240419

公 开 日：20240202

专利主分类号：G06F16/215

关 键 词：数据筛选 初筛 筛选 分类数据 数据类别 优化模型 优化 标注 标记数据库 标准化处理 标准化数据 特征相似度 人工智能 标准数据 初始数据 二次筛选 基准特征 数据清洗 数据特征 特征数据 验证数据 指标优化 大数据 共线性 准确率 构建 预设 清洗 验证 查询 分类 

摘      要：本发明涉及数据筛选领域，提出了基于大数据结合人工智能实现数据的筛选方法及系统，所述方法包括：获取待筛选的初始数据，并对其进行数据清洗，对初始清洗数据进行标准化处理，接着提取标准数据特征，并识别多重共线性，并计算其中特征相似度，并对基准特征进行数据特征标注，得到标注特征数据，构建标记数据库，训练预设的数据筛选模型，利用该模型对标准化数据进行分类初筛，然后识别初筛分类数据的数据类别，并基于数据类别对其进行优化验证，得到优化验证数据，并查询对应的优化指标，并基于优化指标优化其模型，得到优化模型，利用优化模型对初筛分类数据进行二次筛选，得到所需的筛选数据。本发明可以提高数据筛选的筛选准确率。