检索结果-内蒙古大学图书馆

计算机集成制造系统 2020年第5期26卷 1326-1335页

作者：岳昆阚伊戎王钰杰钱文华云南大学信息学院云南昆明650500

为了对知识图谱(KG)中实体间的关联关系进行有效建模,以电子商务应用为背景,以贝叶斯网为知识表示和推理框架,提出将知识图谱中描述的领域知识与用户行为记录中蕴含的知识进行有效融合的方法,从而构建描述商品间关联关系及其不确定性的... 详细信息

为了对知识图谱(KG)中实体间的关联关系进行有效建模,以电子商务应用为背景,以贝叶斯网为知识表示和推理框架,提出将知识图谱中描述的领域知识与用户行为记录中蕴含的知识进行有效融合的方法,从而构建描述商品间关联关系及其不确定性的贝叶斯网,并基于贝叶斯网的推理算法计算商品间的间接关联关系。所提方法将为KG的关联查询处理提供支撑技术,为商品分类、用户定向和个性化推荐等典型应用提供解决方案。针对大规模KG和海量的用户行为记录,基于spark给出模型构建和概率推理并行算法。通过真实数据的实验结果表明,所提KG关联查询处理方法能够以接近90%的召回率发现KG中未直接表示的关联关系,而且对包含超过1亿条边的KG也能高效地进行关联查询处理。

关键词：电子商务知识图谱关联查询贝叶斯网 spark计算引擎

来源：评论

学校读者我要写书评

暂无评论

基于高分遥感的农田生态系统信息提取方法研究

基于高分遥感的农田生态系统信息提取方法研究

引用

作者：陈亦晨甘肃农业大学

学位级别：博士

在环境质量与生态系统服务的评价中,农田生态系统的空间分布、类型组成以及覆盖度等均是极为重要的指标,对与农田生态系统相关的信息进行科学地估算、有效地提取是精准农业建设的基础。在时代发展的同时,各项科学技术也有了长足的进步,... 详细信息

在环境质量与生态系统服务的评价中,农田生态系统的空间分布、类型组成以及覆盖度等均是极为重要的指标,对与农田生态系统相关的信息进行科学地估算、有效地提取是精准农业建设的基础。在时代发展的同时,各项科学技术也有了长足的进步,这其中遥感技术的发展为与农田生态系统相关信息的提取创造了良好的条件。但是,由于农田生态系统形体与自然环境相结合,导致其背景复杂、组成方式丰富,过去以中、低分辨率遥感影像为基础的信息提取手段存在着明显的弊端,可能会遇到异物同谱或是同物异谱的问题。高分遥感影像可以提取更为丰富、全面、准确的信息,如上下文、纹理、形状以及光谱信息等,综合运用此类特征信息可以明显提高结果的精度,获得更为可靠、准确的农田生态系统信息。传统的以光谱信息为基础的中、低分影像信息提取技术对高分影像的适用性较差,无法满足实际的使用需求,所以本研究基于遥感的空间与光谱特征,对图谱特征进行深入地挖掘与分析,以期构建一种可以协同利用图谱信息的研究模型,通过有效的分类提高信息提取的精度,从而有效促进精准农业的发展,并为生态环境的监管提供便利。本文研究的主要内容与创新点如下:(1)分别对基于Canny算子的边缘检测方法、基于最大类间差Ostu阈值处理的分割方法与多尺度的高分遥感影像分割方法展开研究,并在多尺度分割算法基础上提出了基于相对熵(KL)发散原理的多尺度分割方法改进方案,采用以相对熵(KL)散度为核心的区域合并标准来解决由于传统的单尺度的分割方法无法满足复杂农田生态系统地物的多尺度分割需求,从而产生的严重“过分割”、“欠分割”的问题,进而提出基于数学形态学的农田生态系统多尺度多层次的遥感影像分割方法。实验结果表明,在不同尺度下,基于相对熵(KL)散度的多尺度分割方法的欠分割率在12.5%至13%之间,证明本文改进的多尺度分割方法可以获得更加均质且完整的地物斑块,有利于不同尺度地物对象的特征提取及后续属性的识别。(2)使用了基于遥感专题指数、颜色相关图、灰度-梯度共生矩阵以及多尺度形状的联合特征提取方法,在此基础上提出一种基于轮廓波(Contourlet)变换和加速稳健特征(SURF)的特征信息提取算法。该方法通过轮廓波转换技术分解准备匹配与参考的两种图像,接下来利用SURF以预匹配的方式处理通过分解获得的低频分量,最后利用RANSAC去除错误匹配点对,从而提取准确特征信息。研究结果表明,Contourlet变换与SURF组合算法的最终匹配点数量变化不大,匹配准确率保持在94%以上,证明基于轮廓波(Contourlet)变换和加速稳健特征(SURF)的遥感图像特征提取组合算法可以实现农田生态系统的高分遥感图谱特征的精确与快速提取。(3)提出了基于序列最小优化(SMO)算法与遥感生态指数(RESI)的支持向量机(SVM)改进算法,用于本文高分农田生态系统信息的分类提取。由于传统的多特征融合技术无法很好地适用于农田地表分类,所以本研究综合运用遥感影像的空间与光谱特征,将加入了遥感生态指数(RESI)的支持向量机(SVM)改进算法引入到农田生态系统的特征信息提取中,在学习样本后,通过SMO算法确定与样本特征空间具有对应关系的函数,对图谱牲组合方式和分类模型进行了深入地挖掘,从而完成高分遥感的农田生态系统分类过程。实验结果表明,基于序列最小优化(SMO)算法与遥感生态指数(RSEI)的支持向量机(SVM)优化算法的分类总体精度为86.07%,Kappa系数0.752,实地验证得到图斑个数提取正确率为95%,地物类型提取正确率为86.13%,提取面积正确率为85.89%,证明本文方法可以提升农田生态系统分类精度,为之后实现对农田生态系统信息的提取、管理和分析的综合研究打下坚实的基础。(4)提出了一套基于spark计算引擎的农田生态系统信息分布式提取的流程。由于在提取农田生态系统信息的过程中,会获得海量的数据,所以会提高计算量与复杂程度,为有效解决这一问题,本研究建立了一种分布式模型。通过该模型可以以分布式的方式提取信息,本研究在信息提取方面应用了spark引擎,以该引擎为基础设计了一种分块、合并与信息提取的分布式提取流程。实验结果表明,分布式处理的总体精度为84.27%,Kappa系数0.7433,说明影像在数据划分过程中通过重叠的数据划分一定程度上解决了对象内像素的计算问题,本文提出的方法能够有效拓展研究对象的时空尺度并大幅提高信息提取的速率,同时并不会降低信息提取的精度。有利于长期研究的生态学定位和网络研究方法的开展。

关键词：高分遥感农田生态系统图像分割支持向量机(SVM) spark计算引擎

来源：评论

学校读者我要写书评

暂无评论

基于spark的指纹定位数据处理方法

引用

计算机工程与应用 2019年第4期55卷 79-83页

作者：陈熙宁马蔚吟李力上海交通大学计算机科学与工程系上海200240 贵州大学贵州省公共大数据重点实验室贵阳550025 南京医科大学基础医学院南京211166 上海交通大学软件学院上海200240

指纹定位技术是一种简单高效的无线定位技术,它不受无线信号多径效应和反射造成的干扰,具有较好的定位精度。然而指纹定位技术需要建立庞大的离线指纹数据库,随着指纹数据库规模的扩大,传统的指纹定位算法已经难以满足大数据应用中实时... 详细信息

指纹定位技术是一种简单高效的无线定位技术,它不受无线信号多径效应和反射造成的干扰,具有较好的定位精度。然而指纹定位技术需要建立庞大的离线指纹数据库,随着指纹数据库规模的扩大,传统的指纹定位算法已经难以满足大数据应用中实时性的需求。结合指纹定位算法的特点和spark计算引擎基于内存计算的优势,设计并实现了基于spark的指纹定位数据处理方法。在Map阶段分别找到查询点在每个分区内的K近邻,在Reduce阶段规约各分区K近邻获得全局K近邻,最后通过加权求值获得最终的定位坐标。集群实验表明,基于spark的指纹定位数据处理方法在一定并行度下有较好的加速比,在大规模指纹数据库下有实时定位处理的能力。

关键词：无线定位技术指纹定位 spark计算引擎加权K NN 分布式计算

来源：评论

学校读者我要写书评

暂无评论

基于spark平台的电信运行商收入分摊系统的设计与实现

基于Spark平台的电信运行商收入分摊系统的设计与实现

引用

作者：张策北京交通大学

学位级别：硕士

随着移动互联网的兴起,移动用户数目激增。电信运行商们所拥有的用户数均达到了亿级。作为电信运行商核心业务的计费与结算所涉及的总数据量上升到了 PB级别。收入分摊是这一核心业务的重要环节之一,它将计费收入按照规则分摊给各个部门... 详细信息

随着移动互联网的兴起,移动用户数目激增。电信运行商们所拥有的用户数均达到了亿级。作为电信运行商核心业务的计费与结算所涉及的总数据量上升到了 PB级别。收入分摊是这一核心业务的重要环节之一,它将计费收入按照规则分摊给各个部门,是一组数据量大,容错率低,需要在短时间内计算出结果的批处理任务。运营商们分别基于商业数据库Hana,mpp数据库Greenplum来构建收入分摊系统。但是Hana的花费十分昂贵,Greenplum存在可扩展性差、稳定性低的问题。如何构建一个保证快速计算的同时还兼备廉价、可扩展性强、稳定性高的收入分摊系统成为电信运行商亟需解决的问题。本文的实际应用场景为联通软件研究院的收入分摊业务,以联通的用户计费数据为数据基础。业务内容是将当月收入按照给定的分摊规则进行关系运算,计算出各个部门分得的收入。业务过程可以粗粒度的划分为如下步骤:首先,数据从计费系统通过数据抽取工具抽取至收入分摊计算集群,储存至数据仓库中。待数据全部到位后,按照制定的顺序依次执行存储过程SQL,在存储过程SQL执行完毕后将执行结果写回数据仓库中。所有省份的存储过程均执行完毕后,分摊工作结束。本文使用分布式存储与计算技术,借助spark计算引擎,Alluxio内存分布式文件系统,Hive数据仓库,HDFS分布式文件系统,MySQL数据库,Python语言与Scala语言实现了收入分摊系统的数据预处理层、计算层以及监控层的实现。本文介绍了本系统开发的实际应用背景,并简要的分析了 spark计算引擎技术与Alluxio内存分布式文件系统技术,简要介绍了本系统的系统架构,详细阐述了本电信运行商收入分摊系统的设计与实现过程,该部分是本文的重点。基于spark平台的新系统的实现极大地为运营人员的分摊工作提供了便利,系统能够稳定地运行不会出现旧系统易发的崩溃情况。数据量大的存储过程类别的执行时间较旧系统来说有所提升,将河南、山东的实收过程的执行时间从1小时以上缩短至40分钟以内,提高了存储过程的执行效率。新系统已通过功能性和非功能性测试,等待部署上线。

关键词：收入分摊 spark spark计算引擎 Alluxio Alluxio内存分布式文件系统

来源：评论

学校读者我要写书评

暂无评论

融合多种算法的图书推荐系统研究

融合多种算法的图书推荐系统研究

引用

作者：孙振坤华东师范大学

学位级别：硕士

近年来,随着移动互联网的发展,出现了越来越多的线上图书平台,这些平台主要有高校在线图书馆、网上书店、图书评分网站、电子期刊数据库、教育出版社平台和在线阅读网站等。这些平台让人们更容易地去获取知识提升自己的能力。然而,随着... 详细信息

近年来,随着移动互联网的发展,出现了越来越多的线上图书平台,这些平台主要有高校在线图书馆、网上书店、图书评分网站、电子期刊数据库、教育出版社平台和在线阅读网站等。这些平台让人们更容易地去获取知识提升自己的能力。然而,随着线上阅读购书的人群数量呈现指数级的增长,可供选择的书籍资料不断丰富。不同类型的读者在面对大量书籍时,往往难以做出选择,甚至会花费大量时间仍无法找到自己满意的图书。同时,用户在图书平台产生的海量的数据也给在线平台的系统运行也带来了挑战。尽管使用传统的搜索或热门推荐可以为读者减少查找图书的时间成本,然而,这种方式忽视了读者在线上消费互动过程中产生的大量显式或隐式行为数据,不能更精准地发现读者个人的兴趣,提高读者的能力及对平台的满意度。因此本文的主要工作内容是通过研究学习推荐算法和大数据技术,设计和实现融合了多种推荐算法的图书推荐系统,并探讨它们的有效性和优缺点。为了让系统可以适应图书平台实际应用的多种场景,推荐系统综合历史和实时两个时间维度挖掘读者和图书的数据。研究主要内容如下: (1)研究对比现有推荐算法,除了传统的协同过滤推荐算法以外,引入隐语义模型,解决大数据量下的数据稀疏和冷启动问题,采用多种推荐算法实现混合推荐,为不同的应用场景提供相应的推荐方案,并将推荐结果反映在前端页面上。同时,在观察各种推荐算法的实际推荐效果后,可以对算法的优先级进行调整。 (2)在对推荐算法比较的基础上,本文对传统隐语义模型做了一定的改进,由于用户的兴趣总是会动态变化的,研究结合用户近期行为即用户评分数据,预测用户兴趣,从而得到更好的推荐结果。 (3)为了应对处理图书推荐系统的大量数据,选择合适的大数据技术,研究使用spark计算引擎处理数据,并基于适合spark的Scala语言编写系统程序,使得推荐系统在处理大规模数据时更加高效,用户在使用本推荐系统的图书平台时获得准实时反馈推荐。 (4)设计实验,基于评测指标和多种实验数据验证比较推荐算法,并根据实验结果进一步优化算法,探讨推荐算法适合的场景。同时,测试推荐系统在处理计算大量数据的性能表现。

关键词：图书推荐推荐算法准实时 spark计算引擎

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：