检索结果-内蒙古大学图书馆

信息安全学报 2021年第5期6卷 110-127页

作者：林子楠刘杜钢潘微科明仲深圳大学大数据系统计算技术国家工程实验室深圳中国518060 人工智能与数字经济广东省实验室(深圳) 深圳中国518060 深圳大学计算机与软件学院深圳中国518060

一元反馈建模在推荐系统中的应用非常广泛,例如点击预测和购买预测等。然而,推荐系统作为一个闭环的反馈系统,在用户与系统的交互过程中可能存在着多种偏置问题,例如位置偏置、流行偏置等,进而导致用户的反馈数据存在有偏性。现有的大... 详细信息

一元反馈建模在推荐系统中的应用非常广泛,例如点击预测和购买预测等。然而,推荐系统作为一个闭环的反馈系统,在用户与系统的交互过程中可能存在着多种偏置问题,例如位置偏置、流行偏置等,进而导致用户的反馈数据存在有偏性。现有的大部分推荐模型都只基于这样的有偏数据进行构建,忽略了偏置的影响,进而导致推荐结果是次优的。目前已有的偏置消除方法大致可以分为基于反事实学习的方法、基于启发式的方法和基于无偏数据增强的方法。其中,基于无偏数据增强的方法通常被认为在稳定性和准确性方面表现较好。本文重点研究了推荐系统中一元反馈的偏置问题,通过引入由一种特定策略收集的无偏数据,结合有偏数据进行联合建模,从而得到更准确和无偏的推荐模型。具体而言,本文从多任务学习的角度对问题进行建模,将有偏数据、无偏数据以及它们的并集当作三种相互关联的信号,并设计了三个不同但相关的学习任务。变分自编码器是目前最先进的一元反馈建模方法之一,有着独特的建模方式,从而使得它在很多问题中取得了优越的推荐效果。本文基于变分自编码器提出了一种新的推荐模型,即三任务变分自编码器(Tri-VAE)。该模型包含三个变分自编码器,分别对三种信号进行重构。三个变分自编码器之间共享同一个编码器和同一个解码器。此外,本文还设计了特征校正模块和标签增强模块以加强任务之间的关联。其中,特征校正模块用来校正用户的潜在特征,得到更无偏的潜在特征,进而从潜在特征的角度缓解偏置的影响。标签增强模块用于生成可靠性较高的伪标签并加以利用,进而更有效地利用无偏数据中的信息。在Yahoo!R3和Coat Shopping两个公开数据集上的实验结果表明,所提出的模型相比于目前最新的基线模型在绝大多数情况下取得了显著的效果提升。为了进一步研究所提出的模型,本文进行了消融实验、超参数敏感性分析和收敛性分析,还对特征校正模块的有效性进行了探讨。

关键词：偏置问题联合建模多任务学习变分自编码器推荐系统

来源：评论

学校读者我要写书评

暂无评论

一种基于最大流的分布式存储系统中查询任务最优分配算法

引用

计算机学报 2019年第8期42卷 1858-1872页

作者：徐毅王建民黄向东董一峰康荣乔嘉林清华大学软件学院北京100084 大数据系统软件国家工程实验室北京100084 工业大数据系统与应用北京市重点实验室北京100084

分布式存储系统多采用数据分区和多副本机制来处理海量数据并提供高可用性.为了提高读写效率,现有系统在将任务分发给不同节点时往往需要考虑数据分区的情况,并使得任务分配能够保证数据本地性.然而,给定一个需要访问多个数据分区的查... 详细信息

分布式存储系统多采用数据分区和多副本机制来处理海量数据并提供高可用性.为了提高读写效率,现有系统在将任务分发给不同节点时往往需要考虑数据分区的情况,并使得任务分配能够保证数据本地性.然而,给定一个需要访问多个数据分区的查询任务,现有系统没有充分考虑节点的实际负载情况,导致虽然任务的分配满足数据本地性,但集群查询响应速度仍受到制约.该文提出一种在分布式存储系统中查询任务的节点分配算法,该算法不仅考虑了数据本地性,还利用了多副本机制确保节点间的负载均衡.算法的基本思想是将任务分配问题转化为最大流问题,并通过二分查找寻求最优分配方案.在实验阶段,该文首先通过模拟实验验证该算法的正确性,之后将该算法集成到Cassandra中作为一种新的负载均衡策略,并与Cassandra原生的两种策略进行性能对比.实验证明,该文提出的算法使得查询性能优于Cassandra原生的策略,平均查询时间缩短为原有策略的50%,某些情况下可以缩短为11%.

关键词：数据分区数据本地性查询优化最大流负载均衡分布式存储系统

来源：评论

学校读者我要写书评

暂无评论

大规模时间序列分析框架的研究与实现

引用

计算机学报 2020年第7期43卷 1279-1292页

作者：滕飞黄齐川李天瑞王晨田春华西南交通大学信息科学与技术学院成都610031 中铁一院轨道交通工程信息化国家重点实验室西安710043 清华大学大数据系统软件国家工程实验室北京100084

工业互联时代,每天数以亿计的传感器源源不断生成时间序列,用以记录工业设备的温度、振动、压力、曲度和张力等参数.如何从这些非结构化的时间序列中挖掘出有价值信息,并运用于状态监测、故障诊断和控制决策,引起了广泛的关注和研究.随... 详细信息

工业互联时代,每天数以亿计的传感器源源不断生成时间序列,用以记录工业设备的温度、振动、压力、曲度和张力等参数.如何从这些非结构化的时间序列中挖掘出有价值信息,并运用于状态监测、故障诊断和控制决策,引起了广泛的关注和研究.随着数据规模日益增长,能够提供较为完备数据分析算法库的主流单机环境如Matlab、R等已无法较好地应对大规模时间序列分析场景下的数据处理需求.而现有的并行分析算法数量有限,常与平台相互绑定,更换平台需对算法进行二次开发,可扩展性较差.本文旨在设计一种通用的近似解分析框架,支持第三方算法快速实现并行化,解决因数据规模过大而导致的算法适用性问题.分析框架主要包含任务划分、治理和合并三个步骤.任务划分通过冗余保留了数据的局部相关性,生成相互独立的子任务,减少分布式节点之间的数据通信和同步开销.对于任务划分问题,本文提出了近似解代价模型,得到了最优的任务划分方案.基于Spark平台设计并实现了原型系统,实验结果表明,该系统在确保分析结果准确性的前提下,其加速能力随着并行程度保持近似线性的增长,解决了单机算法的数据规模受限问题.同时,该系统易于集成与扩展,使数据分析人员免于算法重复开发.

关键词：时间序列算法并行化近似解分治 Spark

来源：评论

学校读者我要写书评

暂无评论

混合属性数据集分布一致性度量的新方法

引用

深圳大学学报（理工版） 2021年第2期38卷 170-179页

作者：何玉林金一戴德鑫黄柏皓黄家杰深圳大学计算机与软件学院广东深圳518060 深圳大学大数据系统计算技术国家工程实验室广东深圳518060 中国刑事警察学院刑事科学技术学院辽宁沈阳110854

数据分布一致性的度量是大数据随机样本划分生成过程中的一个关键问题,如何针对混合属性的数据集进行合理有效的分布一致性度量是目前随机样本划分技术研究的重点.提出一种新的基于深度编码和最大平均差异的混合属性数据集分布一致性度... 详细信息

数据分布一致性的度量是大数据随机样本划分生成过程中的一个关键问题,如何针对混合属性的数据集进行合理有效的分布一致性度量是目前随机样本划分技术研究的重点.提出一种新的基于深度编码和最大平均差异的混合属性数据集分布一致性度量方法,不直接对两个不同的原始数据集进行分布一致性的度量,而是首先对混合属性中的离散属性进行独热编码,得到独热编码数据集;之后对独热编码数据集进行自编码处理,得到深度编码数据集;最后基于最大均值差异指标对两个不同的深度编码数据集进行分布一致性的度量.在Adult、Australian、CRX和German标准混合属性数据集上对所提方法进行性能实验验证,结果表明,与基于离散属性独热编码的最大平均差异方法和基于连续属性二进制化的相似性度量方法相比,新方法能够更加准确地对混合属性数据进行分布一致性的度量.

关键词：人工智能随机样本划分分布一致性最大均值差异混合属性数据独热编码深度编码

来源：评论

学校读者我要写书评

暂无评论

HDFS存储和优化技术研究综述

引用

软件学报 2020年第1期31卷 137-161页

作者：金国栋卞昊穹陈跃国杜小勇数据工程与知识工程教育部重点实验室(中国人民大学) 北京100872 中国人民大学信息学院北京100872 大数据系统软件国家工程实验室(北京理工大学) 北京100081

HDFS(Hadoop distributed file system)作为面向数据追加和读取优化的开源分布式文件系统,具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展,HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台,HDFS存储了海量... 详细信息

HDFS(Hadoop distributed file system)作为面向数据追加和读取优化的开源分布式文件系统,具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展,HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台,HDFS存储了海量的结构化和非结构化数据,支撑着复杂查询分析、交互式分析、详单查询、Key-Value读写和迭代计算等丰富的应用场景.HDFS的性能问题将影响其上所有大数据系统和应用,因此,对HDFS存储性能的优化至关重要.介绍了HDFS的原理和特性,对已有HDFS的存储及优化技术,从文件逻辑结构、硬件设备和应用负载这3个维度进行了归纳和总结.综述了近年来HDFS存储和优化相关研究.未来,随着HDFS上层应用的日益丰富和底层硬件平台的发展,基于异构平台的数据存储、面向应用负载的自适应存储优化以及结合机器学习的存储优化技术将成为未来研究的主要方向.

关键词： HDFS 分布式文件系统存储系统优化数据分析

来源：评论

学校读者我要写书评

暂无评论

基于改进的倾向得分估计的无偏推荐模型

引用

计算机应用 2021年第12期41卷 3508-3514页

作者：骆锦潍刘杜钢潘微科明仲大数据系统计算技术国家工程实验室(深圳大学) 广东深圳518060 人工智能与数字经济广东省实验室(深圳)(深圳大学) 广东深圳518060 深圳大学计算机与软件学院广东深圳518060

现实中推荐系统通常遭受着各种各样的偏置问题,例如曝光偏置、位置偏置和选择偏置。一个忽略偏置问题的推荐模型不能反映推荐系统的真实性能,且对于用户而言可能是不可信任的。先前的工作已经表明基于倾向得分估计的推荐模型能够有效缓... 详细信息

现实中推荐系统通常遭受着各种各样的偏置问题,例如曝光偏置、位置偏置和选择偏置。一个忽略偏置问题的推荐模型不能反映推荐系统的真实性能,且对于用户而言可能是不可信任的。先前的工作已经表明基于倾向得分估计的推荐模型能够有效缓解隐式反馈数据的曝光偏置,但是通常只考虑通过物品信息来估计倾向得分,这可能导致倾向得分估计不准确。为了提高倾向得分估计的准确性,提出配对倾向得分估计(MPE)方法。具体来说,该方法引入了用户流行度偏好的概念,通过计算用户流行度偏好和物品流行度的配对程度来对样本曝光率进行更加精确的建模,最后将提出的估计方法和一个主流的传统推荐模型以及一个无偏推荐模型进行集成并和包括前两者的三个基线模型进行对比。在公开数据集上的实验结果表明,结合MPE方法后的模型分别相比对应的基线模型在召回率、折损累计增益(DCG)和平均准确率(MAP)这三个评估指标上均有显著的提升;此外,通过实验结果还观察到性能的增益有很大一部分来自长尾物品,可见所提方法有助于提升推荐物品的多样性与覆盖率。

关键词：推荐系统隐式反馈曝光偏置倾向得分估计矩阵分解长尾物品用户流行度偏好

来源：评论

学校读者我要写书评

暂无评论

面向异构单类协同过滤的阶段式变分自编码器

引用

计算机应用 2021年第12期41卷 3499-3507页

作者：陈宪聪潘微科明仲大数据系统计算技术国家工程实验室(深圳大学) 广东深圳518060 人工智能与数字经济广东省实验室(深圳)(深圳大学) 广东深圳518060 深圳大学计算机与软件学院广东深圳518060

在推荐系统领域,大部分现有的工作主要关注仅有一种类型的用户反馈(如购买反馈)的单类协同过滤(OCCF)问题。然而,在现实的应用中,用户的反馈往往是异构的,因此如何对用户的异构反馈进行建模从而准确刻画用户的真实偏好成为了一个新的挑... 详细信息

在推荐系统领域,大部分现有的工作主要关注仅有一种类型的用户反馈(如购买反馈)的单类协同过滤(OCCF)问题。然而,在现实的应用中,用户的反馈往往是异构的,因此如何对用户的异构反馈进行建模从而准确刻画用户的真实偏好成为了一个新的挑战。围绕异构单类协同过滤(HOCCF)问题(包含了用户的购买反馈和浏览反馈),提出了一个迁移学习解决方案——阶段式变分自编码器(SVAE)模型。首先,将用户的浏览反馈当作辅助数据,以多项式变分自编码器(Multi-VAE)为基础模型学习并生成隐特征向量;然后迁移该隐特征向量到另一路Multi-VAE,用于帮助该Multi-VAE对用户的目标数据(即购买反馈)进行建模。三个真实数据集上的实验结果显示,在多数情况下,SVAE模型在精确度(Precision@5)、归一化折损累计增益(NDCG@5)等重要指标上的表现显著优于其他流行的推荐算法,验证了所提模型的有效性。

关键词：推荐系统用户反馈异构单类协同过滤迁移学习变分自编码器

来源：评论

学校读者我要写书评

暂无评论

两两比较模型的Why-not问题解释及排序

引用

软件学报 2019年第3期30卷 620-647页

作者：祁丹蕊宋韶旭王建民清华大学软件学院北京100084 大数据系统软件国家工程实验室北京100084 北京信息科学与技术国家研究中心北京100084

由于数据缺失,数据库用户通常无法获得查询结果中的预期答案.它被称为"Why-not问题",即"为什么预期的元组不会出现在结果中".现有的方法通过列举可能的元组值来解释Why-not问题.枚举所给出解释的数量往往太大,无法... 详细信息

由于数据缺失,数据库用户通常无法获得查询结果中的预期答案.它被称为"Why-not问题",即"为什么预期的元组不会出现在结果中".现有的方法通过列举可能的元组值来解释Why-not问题.枚举所给出解释的数量往往太大,无法由用户探索.完整性约束,如函数依赖,被用来排除不合格的解释.然而,许多属性在简化后解释中仅仅表示为变量,用户可能仍然无法理解.由于数据稀疏性,许多不合理的解释也会被推荐给用户.提出通过研究元组间两两比较关系,从而对Why-not问题的解释进行排序的方法.首先,重新定义为什么Why-not问题解释的形式没有变量,以便于用户理解;其次,对元组中的相等/不相等关系进行表示,提出在{0,1}表示的元组对的基础上学习统计模型,从而解决直接在原始数据上学习所带来的稀疏性问题,许多模型可以被用来推断概率,包括统计分布、分类和回归;最后,根据推断的概率对解释进行评价和排序.实验结果证明:利用统计、分类和回归方法计算两两关系概率分布的方法,可以为用户寻找Why-not问题的解释并返回较为高质量的解释.

关键词：数据质量数据清洗条件函数依赖缺失结果解释解释排序

来源：评论

学校读者我要写书评

暂无评论

妊娠期糖尿病患者妊娠中期血清促生长激素释放素、人吻素-1水平与血糖水平的相关性

引用

中国妇产科临床杂志 2023年第3期24卷 234-236页

作者：杨卫华英晓菲梁小菊韦津华范余娟中国科学院大学深圳医院(光明)妇产医学中心深圳518000 山西省妇幼保健院妇产科太原030013 深圳大学大数据系统计算技术国家工程实验室深圳518000

目的研究妊娠期糖尿(GDM)病患者妊娠中期血清促生长激素释放素(Ghrelin)、人吻素-1(Kisspeptin)水平与血糖水平的相关性。方法将中国科学院大学深圳医院(光明)2021年1-12月产科收治的300例GDM患者纳为疾病组,另选取同期200例正常产检孕... 详细信息

目的研究妊娠期糖尿(GDM)病患者妊娠中期血清促生长激素释放素(Ghrelin)、人吻素-1(Kisspeptin)水平与血糖水平的相关性。方法将中国科学院大学深圳医院(光明)2021年1-12月产科收治的300例GDM患者纳为疾病组,另选取同期200例正常产检孕妇纳为正常组,观察两组的血糖水平即糖化血红蛋白(Hb A1c)、空腹血糖(FPG)、空腹胰岛素(FINS)水平以及胰岛素抵抗指数(HOMA-IR)数值情况,观察两组血清Ghrelin、Kisspeptin水平,分析GDM患者Ghrelin、Kisspeptin与血糖的相关性,分析不同血糖控制情况GDM患者间血清Ghrelin、Kisspeptin水平差异。结果疾病组血清FPG、Hb A1c、FINS、Kisspeptin以及HOMA-IR数值均显著高于正常组(P<0.05),血清Ghrelin水平显著低于正常组(P<0.05);GDM患者FPG、Hb A1c、FINS、HOMA-IR数值与Kisspeptin之间呈正相关(P<0.05),与Ghrelin之间呈负相关(P<0.05);与血糖控制良好患者比较,血糖控制不足患者血清Ghrelin水平显著降低、血清Kisspeptin水平显著增高(P<0.05)。结论GDM患者血清Ghrelin、Kisspeptin水平与血糖水平相关。

关键词：妊娠期糖尿病血清促生长激素释放素人吻素-1 血糖相关性

来源：评论

学校读者我要写书评

暂无评论

网络攻击模型研究综述

引用

信息安全研究 2020年第12期6卷 1058-1067页

作者：平国楼叶晓俊清华大学软件学院北京100084 清华大学大数据系统软件国家工程实验室北京100084

随着信息技术的快速发展,网络攻击逐渐呈现多阶段、分布式和智能化的特性,单一的防火墙、入侵检测系统等传统网络防御措施不能很好地保护开放环境下的网络系统安全.网络攻击模型作为一种攻击者视角的攻击场景表示,能够综合描述复杂多变... 详细信息

随着信息技术的快速发展,网络攻击逐渐呈现多阶段、分布式和智能化的特性,单一的防火墙、入侵检测系统等传统网络防御措施不能很好地保护开放环境下的网络系统安全.网络攻击模型作为一种攻击者视角的攻击场景表示,能够综合描述复杂多变环境下的网络攻击行为,是常用的网络攻击分析与应对工具之一.首先介绍主要网络攻击模型,包括传统树、图、网结构模型和现代杀伤链、ATT&CK、钻石模型等;然后再对网络攻击模型的分析与应用进行说明,其中以求解攻击指标为目的的分析过程主要包括概率框架、赋值方法和求解方法,基于生命周期的攻击模型应用则包括了攻击者视角和防守者视角的应用过程;最后总结了网络攻击模型及其分析应用的现有挑战与未来方向.

关键词：网络系统安全攻击行为攻击模型攻击模型分析攻击模型应用

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：