智能数据分区与布局研究

作     者：刘欢 刘鹏举 王天一 何雨琪 孙路明 李翠平 陈红 LIU Huan;LIU Peng-Ju;WANG Tian-Yi;HE Yu-Qi;SUN Lu-Ming;LI Cui-Ping;CHEN Hong

作者机构：数据工程与知识工程教育部重点实验室(中国人民大学)北京100872 中国人民大学信息学院北京100872 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2022年第33卷第10期

页      面：3819-3843页

核心收录：

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：北京市自然科学基金(4212022) 国家重点研发计划(2018YFB1004401) 国家自然科学基金(61772537,61772536,62072460,62076245) 

主　　题：数据库系统 分区策略 布局策略 机器学习 

摘      要：大数据时代,数据规模庞大,由数据进行驱动的应用分析场景日益增多.如何快速、高效地从这些海量数据中提取出用以分析决策的信息,给数据库系统带来重大挑战.同时,现代商业分析决策对分析数据的实时性要求数据库系统能够同时快速处理ACID事务和复杂的分析查询.然而,传统的数据分区粒度太粗,且不能适应动态变化的复杂分析负载;传统的数据布局单一,不能应对现代大量增加的混合事务分析应用场景.为了解决以上问题,“智能数据分区与布局成为当前的研究热点之一,它通过数据挖掘、机器学习等技术抽取工作负载的有效特征,设计最佳的分区策略来避免扫描大量不相关的数据,指导布局结构设计以适应不同类型的工作负载.首先介绍了智能数据分区与布局的相关背景知识,然后对智能数据分区与布局技术的研究动机、发展趋势、关键技术进行详细的阐述.最后,对智能数据分区与布局技术的研究前景做出总结与展望.