检索结果-内蒙古大学图书馆

华东师范大学学报（自然科学版） 2019年第5期 143-158页

作者：丁国浩徐辰钱卫宁华东师范大学数据科学与工程学院

近年来,随着互联网技术的快速发展,无论是互联网企业还是传统的金融机构,用户量和业务处理数据量都在快速地增长.传统的通过增加服务器并采用基于分库分表的方法来解决扩展性问题,需要大量的人工维护成本和硬件开销.为降低开销和分库分... 详细信息

近年来,随着互联网技术的快速发展,无论是互联网企业还是传统的金融机构,用户量和业务处理数据量都在快速地增长.传统的通过增加服务器并采用基于分库分表的方法来解决扩展性问题,需要大量的人工维护成本和硬件开销.为降低开销和分库分表带来的各种问题,业界通常用新型数据库系统替换原有的系统,其中,基于日志结构合并树存储的数据库系统(如OceanBase)被广泛采用,这类系统磁盘上存储数据块呈现全局有序的特征.在从传统数据库切换到新型数据库过程中,需要将大量数据加载到新数据库系统中,长时间加载的过程中可能出现数据库节点宕机.为了减少总加载时间和故障恢复时间,提出了一种负载均衡且支持高效容错的数据加载方法;为了支持负载均衡的数据加载,与预确定分区划分数据的方法不同,考虑到目标系统默认存储块大小,采用通过基于文件大小和目标系统默认存储块大小预计算分区数目,并利用分库分表的数据导出往往已经排序的特点,采用选取部分采样块和等间隔选取样本的方式确定分区之间的切分点,避免了全局采样和随机或头部样本选取方式确定切分点带来的高开销;为了加快故障恢复速度,利用日志结构合并树存储系统的多备份减少故障恢复时的数据量,提出了基本副本局部故障恢复方式,避免了完全重新加载的故障恢复方式.实验结果表明,相比采用预确定分区数目和全局选取采样块的随机或头部选取样本方法,采用预计算分区数目和部分选取采样块的等间隔选取样本确定切分点的方法,提高了数据加载的性能,并且验证了基于副本局部故障恢复方法相比完全重启加载恢复方法的高效性.

关键词：数据加载负载均衡容错日志结构

来源：评论

学校读者我要写书评

暂无评论

支持通信数据查询分析的分布式计算系统

引用

华东师范大学学报（自然科学版） 2014年第5期 89-102,116页

作者：晁平复郑芷凌房俊华张蓉华东师范大学软件学院上海200062 华东师范大学数据科学与工程学院上海200062

本文详细介绍一种基于分布式内存的通信数据管理平台,可以有效支持针对通信数据的实时处理以及在线查询分析任务.首先,通过对分布式技术、内存技术进行分析,依据通信业务的特点进行技术选型;然后,基于高性能的分布式内存计算环境,设计... 详细信息

本文详细介绍一种基于分布式内存的通信数据管理平台,可以有效支持针对通信数据的实时处理以及在线查询分析任务.首先,通过对分布式技术、内存技术进行分析,依据通信业务的特点进行技术选型;然后,基于高性能的分布式内存计算环境,设计、实现针对通信数据的实时处理与在线查询分析平台;最后,利用内存技术对平台实现方案进行技术优化.实验结果表明,基于内存的分布式计算系统在查询响应速度、实时数据处理效率、系统资源利用率以及数据吞吐量上较基于硬盘的系统较大的性能提升.

关键词：通信数据管理分布式系统内存计算实时数据处理

来源：评论

学校读者我要写书评

暂无评论

一种基于模式的实体解析算法

引用

计算机学报 2015年第9期38卷 1796-1808页

作者：刘辉平金澈清周傲英华东师范大学软件学院数据科学与工程研究院上海200062

实体解析是数据融合和数据清洗的关键步骤,旨在从大量的数据集中找出描述相同实体的记录.当前主要有两种基本的解决思路,一种是穷尽式的实体解析,通过两两比较数据集中的所有记录,然后再合并相似的记录,从而找到描述某一个实体的若干记... 详细信息

实体解析是数据融合和数据清洗的关键步骤,旨在从大量的数据集中找出描述相同实体的记录.当前主要有两种基本的解决思路,一种是穷尽式的实体解析,通过两两比较数据集中的所有记录,然后再合并相似的记录,从而找到描述某一个实体的若干记录集合.然而,该方法的计算复杂度比较高(O(n2),其中n表示数据集合的规模),难以处理大型数据集合.另一种思路是基于分块的实体解析,它调用特定的分块函数(如哈希函数、滑动窗口技术等)将集合中较为相似的记录划分到同一个块中,再仅对属于同一块中的记录进行两两比较.这种方法显著降低了运行时间,但会损失部分精度,因为某些描述同一实体的记录可能没有被分到同一个块中.文中提出了一种基于模式的实体解析算法,通过将相似的记录合并成记录集合并尝试生成对应的记录模式,然后进行模式之间的两两比较来产生一个边界值,以确定对应的记录集合是否需要进行进一步的精确比较,从而判断是否属于同一个实体.与第一种方法相比,该方法可有效地过滤部分不可能相似的记录,从而避免了针对所有数据记录进行两两比较,显著地降低了时间复杂度;与第二种方法相比,该方法并不损失任何精度.基于真实和模拟数据集合的实验结果验证了新方法的执行效率和有效性.

关键词：数据融合数据清洗实体解析编辑距离字符串相似度

来源：评论

学校读者我要写书评

暂无评论

数据管理系统评测基准:从传统数据库到新兴大数据

引用

计算机学报 2015年第1期38卷 18-34页

作者：金澈清钱卫宁周敏奇周傲英华东师范大学软件学院数据科学与工程研究院上海200062

大数据时代的到来意味着新技术、新系统和新产品的出现.如何客观地比较和评价不同系统之间的优劣自然成为一个热门研究课题,这种情形与三十多年前数据库系统蓬勃发展时期甚为相似.众所周知,在数据库系统取得辉煌成就的发展道路上,基准... 详细信息

大数据时代的到来意味着新技术、新系统和新产品的出现.如何客观地比较和评价不同系统之间的优劣自然成为一个热门研究课题,这种情形与三十多年前数据库系统蓬勃发展时期甚为相似.众所周知,在数据库系统取得辉煌成就的发展道路上,基准评测研究一直扮演着重要角色,极大推进了数据库技术和系统的长足发展.数据管理系统评测基准是指一套可用于评测、比较不同数据库系统性能的规范,以客观、全面反映具有类似功能的数据库系统之间的性能差距,从而推动技术进步、引导行业健康发展.数据管理系统评测基准与应用息息相关:应用发展产生新的数据管理需求,继而引发数据管理技术革新,再催生多个数据管理系统/平台,进而产生新的数据管理系统评测基准.数据管理系统评测基准种类多样,不仅包括面向关系型数据的基准评测,还包括面向半结构化数据、对象数据、流数据、空间数据等非关系型数据的评测基准.在当今新的数据系统发展中,面向大数据管理系统的评测基准的研究热潮也如期而至.大数据评测基准研究与应用密切相关.总体而言,尽管已有的数据管理系统评测基准未能充分体现大数据的特征,但是从方法学层面而言,三十多年来数据管理系统评测基准的发展经验是开展大数据系统研发最值得借鉴和参考的,这也是该文的主要动机.该文系统地回顾了数据管理系统评测基准的发展历程,分析了取得的成就,并展望了未来的发展方向.

关键词：评测基准大数据数据生成器度量工作负载

来源：评论

学校读者我要写书评

暂无评论

基于GPU的关系型流处理系统实现与优化

引用

华东师范大学学报（自然科学版） 2019年第5期 178-189页

作者：黄皓李志方王嘉伦翁楚良华东师范大学数据科学与工程学院

现有的基于CPU的流处理系统在功能上已支持在大规模数据集上的复杂分析查询,但由于CPU计算能力与特性的限制,无法在性能上同时满足高吞吐量和低响应时间的要求.本文提出一种基于GPU的流处理系统框架Serval,通过充分利用CPU-GPU异构资源... 详细信息

现有的基于CPU的流处理系统在功能上已支持在大规模数据集上的复杂分析查询,但由于CPU计算能力与特性的限制,无法在性能上同时满足高吞吐量和低响应时间的要求.本文提出一种基于GPU的流处理系统框架Serval,通过充分利用CPU-GPU异构资源,实现了关系型流查询的高效处理.Serval框架采用流水线模型和流执行缓存技术以优化吞吐量和响应时间,并实现多种调优策略以适应不同场景.实验表明,单节点Serval的吞吐量与响应时间性能均优于现有GPU数据库MapD和三节点分布式服务器上的Spark Streaming.

关键词：流处理系统关系型查询 GPU数据库

来源：评论

学校读者我要写书评

暂无评论

基于Paxos的分布式一致性算法的实现与优化

引用

华东师范大学学报（自然科学版） 2019年第5期 168-177页

作者：祝朝凡郭进伟蔡鹏华东师范大学数据科学与工程学院

互联网的不断发展,企业的信息化程度不断加强,不计其数的数据需要得到及时处理.但是网络环境不稳定,容易发生数据丢失、节点宕机,从而造成严重后果.因此,构建可以容错的分布式存储系统变得越来越受欢迎.为了保证系统的高可用性和一致性... 详细信息

互联网的不断发展,企业的信息化程度不断加强,不计其数的数据需要得到及时处理.但是网络环境不稳定,容易发生数据丢失、节点宕机,从而造成严重后果.因此,构建可以容错的分布式存储系统变得越来越受欢迎.为了保证系统的高可用性和一致性,需要引入分布式一致性算法.为了提高系统在不稳定网络下的性能,传统基于Paxos的分布式系统允许日志中存在空洞.然而,当节点进入恢复状态时,这些系统通常需要大量网络交互来补全日志空洞,这极大地增加了节点恢复的时间,从而影响了系统的可用性.针对节点恢复过程中补全日志空洞代价过大的问题,本文重新设计了日志项结构,优化了数据恢复流程,通过实验模拟,验证改进的基于Paxos的一致性算法的有效性.

关键词：分布式存储系统一致性日志复制节点恢复

来源：评论

学校读者我要写书评

暂无评论

基于LevelDB的二维数据二级索引实现

引用

华东师范大学学报（自然科学版） 2019年第5期 159-167页

作者：刘子豪胡卉芪徐瑞周烜华东师范大学数据科学与工程学院

随着科学研究中产生的空间数据尤其是二维数据量级的增长和NoSQL型数据库技术的发展,越来越多的空间数据被存储到NoSQL数据库中.LevelDB是一款开源的Key-Value型NoSQL数据库,由于它基于LSM架构并拥有较好的写入性能而被广泛应用.但是Key... 详细信息

随着科学研究中产生的空间数据尤其是二维数据量级的增长和NoSQL型数据库技术的发展,越来越多的空间数据被存储到NoSQL数据库中.LevelDB是一款开源的Key-Value型NoSQL数据库,由于它基于LSM架构并拥有较好的写入性能而被广泛应用.但是Key-Value结构的局限性使其无法有效地索引空间数据,对于这个问题本文提出了一种基于LevelDB和R-tree的二级索引,使其可以支持二维数据的索引和近邻查询.实验结果表明该结构有较好的可用性.

关键词： Key-Value数据库二级索引 R-tree

来源：评论

学校读者我要写书评

暂无评论

面向自动问答的机器阅读理解综述

引用

华东师范大学学报（自然科学版） 2019年第5期 36-52页

作者：杨康黄定江高明华东师范大学数据科学与工程学院

人工智能正在深彻地变革各个行业.AI与教育的结合加速推动教育的结构性变革,正在将传统教育转变为智适应教育.基于深度学习的自动问答系统不仅可帮助学生实时解答疑惑、获取知识,还可以快速获取学生行为数据,加速教育的个性化和智能化.... 详细信息

人工智能正在深彻地变革各个行业.AI与教育的结合加速推动教育的结构性变革,正在将传统教育转变为智适应教育.基于深度学习的自动问答系统不仅可帮助学生实时解答疑惑、获取知识,还可以快速获取学生行为数据,加速教育的个性化和智能化.机器阅读理解是自动问答系统的核心模块,是理解学生问题,理解文档内容,快速获取知识的重要技术.在过去的几年里,随着深度学习复兴以及大规模机器阅读数据集的公开,各种各样的基于神经网络的机器阅读模型不断涌现.这篇综述主要讲述3方面的内容:介绍机器阅读理解的定义与发展历程;分析神经机器阅读模型之间的优点及不足;总结机器阅读领域的公开数据集以及评价方法.

关键词：人工智能智适应教育深度学习机器阅读理解

来源：评论

学校读者我要写书评

暂无评论

面向初等数学的知识点关系提取研究

引用

华东师范大学学报（自然科学版） 2019年第5期 53-65页

作者：杨东明杨大为顾航洪道诚高明王晔华东师范大学数据科学与工程学院

随着互联网技术的发展,在线教育已经改变了学生的学习方式.但由于缺乏完整的知识体系,在线教育存在着智能化程度低和"信息迷航"的问题.因此,构建知识体系成为在线教育平台的核心技术.知识点间的关系提取是知识体系构建的主要... 详细信息

随着互联网技术的发展,在线教育已经改变了学生的学习方式.但由于缺乏完整的知识体系,在线教育存在着智能化程度低和"信息迷航"的问题.因此,构建知识体系成为在线教育平台的核心技术.知识点间的关系提取是知识体系构建的主要任务之一,目前比较高效的关系提取算法主要是监督式的.但是这类方法受限于文本质量低、语料稀缺、标签数据难获取、特征工程效率低、难以提取有向关系等挑战.为此,基于百科语料和远程监督思想,研究了知识点间的关系提取算法.提出了基于关系表示的注意力机制,该方法能够提取知识点间的有向关系信息.结合了GCN和LSTM的优势,提出了GCLSTM,该模型更好地提取了句子中的多点信息.基于Transformer架构和关系表示的注意力机制,提出了适用于有向关系提取的BTRE模型,降低了模型的复杂度.设计并实现了知识点关系提取系统.通过设计3组对比实验,验证了模型的性能和效率.

关键词：知识体系构建关系提取注意力机制远程监督 Transformer

来源：评论

学校读者我要写书评

暂无评论

Woodpecker+:基于数据特征的自定义负载性能评测

引用

华东师范大学学报（自然科学版） 2019年第5期 190-202页

作者：张涛张小磊李宇明张春熙张蓉华东师范大学数据科学与工程学院

数据库的性能评测随着复杂多样的应用出现变得更加重要.在很多情况下,研究、开发人员的性能评估工作受限于负载的缺乏.虽然OLTP-Bench通用数据库性能测试框架在一定程度上提高了性能测试的效率,但由于标准Benchmark负载固定且针对用户... 详细信息

数据库的性能评测随着复杂多样的应用出现变得更加重要.在很多情况下,研究、开发人员的性能评估工作受限于负载的缺乏.虽然OLTP-Bench通用数据库性能测试框架在一定程度上提高了性能测试的效率,但由于标准Benchmark负载固定且针对用户多样的应用场景的代表性差,故无法精准地满足不同应用的系统性能;此外,大部分测试框架使用高级编程语言支持为应用编写测试负载,不仅增加测试负担还会引入大量重复性工作,导致测试效率低下.本文设计并实现了一个用户自定义性能测试负载的工具:Woodpecker+.该工具的主要贡献为:易于使用和可拓展、提供了可高效构造测试案例、做测试安排的测试定义语言(TDL)、可灵活控制事务执行模式及数据访问分布、实现了轻量级的细粒度统计信息收集与分析、支持多种主流数据库系统DBMS及提供数据库访问接口的其他数据库.通过一组详细的运行在主流DBMS上的自定义负载实验来验证Woodpecker+的特性.

关键词：数据库性能测试自定义负载

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：