检索结果-内蒙古大学图书馆

计算机工程 2018年第11期44卷 1-6页

作者：汪丽丽邓丽余玥费敏锐上海大学机电工程与自动化学院上海200072 上海市电站自动化技术重点实验室上海200072

为处理随微阵列技术发展而急剧增长的肿瘤基因数据,实现对肿瘤基因数据的特征选择,结合集成特征选择和混合特征选择,提出一种spark分布式计算框架的混合特征选择方法。利用F-score特征选择方法去除无关特征,进行初步特征选择,结合F-scor... 详细信息

为处理随微阵列技术发展而急剧增长的肿瘤基因数据,实现对肿瘤基因数据的特征选择,结合集成特征选择和混合特征选择,提出一种spark分布式计算框架的混合特征选择方法。利用F-score特征选择方法去除无关特征,进行初步特征选择,结合F-score、多分类支持向量机递归消除法、基于随机森林的特征选择3种方法得到最优的特征子集,并采用支持向量机对特征子集进行分类预测。实验结果表明,该方法能通过选择较少的基因达到较高的分类准确率。

关键词：肿瘤基因数据 spark分布式计算框架混合特征选择集成特征选择分类

来源：评论

学校读者我要写书评

暂无评论

基于北京市养老大数据的挖掘和评价系统

基于北京市养老大数据的挖掘和评价系统

引用

作者：许磊北京林业大学

学位级别：硕士

近年来，我国人口老龄化趋势发展很快，而北京市面临的人口老龄化形势更加严峻，因此进一步提升养老事业决策的科学化变得十分必要。基于规模庞大的北京市养老大数据，可以借助大数据技术、相关的数据挖掘算法挖掘与分析数据中的规律，... 详细信息

近年来，我国人口老龄化趋势发展很快，而北京市面临的人口老龄化形势更加严峻，因此进一步提升养老事业决策的科学化变得十分必要。基于规模庞大的北京市养老大数据，可以借助大数据技术、相关的数据挖掘算法挖掘与分析数据中的规律，并构建养老机构评价模型，进而实现北京市养老机构评价系统，以达到提升北京市养老事业服务和决策水平的目的。\n 本文在结合北京市养老大数据特点的同时，对传统的基于划分的聚类算法K-Medoids算法加以改进，提出了基于随机竞争的K-Medoids算法。同时针对相关聚类算法尚无基于spark分布式计算框架并行化实现的不足，提出了基于随机竞争的K-Medoids聚类算法、基于搜索树的层次聚类算法和K1K(K-Means-Like K-Medoids)聚类算法的分布式计算框架，并进行了相关实验验证。其次，本文将这些并行化实现的算法用于北京市养老大数据的规律提取和实验结果分析。最后，构建起北京市养老机构的评价模型并借助该模型完成对北京市养老机构评价系统的完整实现，为提升北京市养老机构的养老服务水平和决策水平提供了科学依据和帮助。

关键词：养老机构评价系统数据挖掘聚类算法 spark分布式计算框架并行计算

来源：评论

学校读者我要写书评

暂无评论

基于spark的眼科疾病共生和轨迹网络分析研究

基于Spark的眼科疾病共生和轨迹网络分析研究

引用

作者：付雨丽西安电子科技大学

学位级别：硕士

随着互联网的发展,医疗机构的数据信息化建设也在逐步完善,这些丰富的数据资源蕴藏着许多有价值的信息,帮助研究学者对疾病获得更深层次的了解。作为系统生物医学中的常规工具,复杂网络可以获得疾病之间的全局和局部关系的全景图,从而... 详细信息

随着互联网的发展,医疗机构的数据信息化建设也在逐步完善,这些丰富的数据资源蕴藏着许多有价值的信息,帮助研究学者对疾病获得更深层次的了解。作为系统生物医学中的常规工具,复杂网络可以获得疾病之间的全局和局部关系的全景图,从而更好地指导医生进行临床实践。现在有许多研究集中在常见的系统性疾病,而很少有研究集中在眼科疾病并发现眼科疾病与其它疾病之间的关系。对于眼科疾病,由于眼睛与其它器官关系密切,诊断过程较为复杂。现有的疾病网络构建算法没有引入并行化的执行策略,处理大量数据时消耗的时间成本较高,因此如何高效的对大规模眼科疾病数据进行信息挖掘与分析是一个亟待解决的问题。针对上述提出的问题,本文提出了一个眼科疾病关系分析框架,用来探究疾病之间的关系。该框架首先进行数据预处理,然后采用spark分布式计算框架对疾病数据集进行相关系数矩阵的计算,构建疾病共生网络,得到疾病之间的共生关系。其次对共生网络进行社团发现,得到具有共生性的疾病簇。最后使用spark并行化计算疾病对的RR(Risk Ratio)值,构建疾病轨迹网络,得到疾病之间的发展轨迹。本文的研究内容分为以下三个方面:(1)构建眼科疾病关系分析框架中的共生网络并进行社团检验,探究疾病之间的共生关系。通过对眼科中心的49万行住院病案首页数据进行统计和计算操作得到疾病的相关系数矩阵,根据矩阵的值进行阈值筛选操作构建共生网络(82个节点,122条边),网络中的每个节点代表一种疾病,连边表示一对共生疾病,连边的权重代表共生程度。通过共生网络,可以得到共生性较高的疾病对,比如老年白内障与急性青光眼、外伤性白内障与眼球穿透伤等疾病对。从三种不同的角度采用BGLL算法、加权的GN算法和谱聚类算法对共生网络进行社团检验,得到结构清晰的社团发现结果,获得眼科疾病中具有共生性的疾病簇。(2)构建眼科疾病关系分析框架中的轨迹网络,探究疾病之间的发展轨迹。通过对住院病案首页数据进行统计、采样和计算操作得到疾病对的RR值,根据RR值进行阈值筛选操作构建轨迹网络(105个节点,478条边),网络中的节点表示的是疾病,节点之间的有向边表示的是疾病可能是由另一种疾病引起。通过轨迹网络,获得具体疾病的简单发展路径,比如屈光参差会导致交替性内斜视,老年性白内障会导致黄斑水肿等。(3)采用spark分布式计算框架并行化构建网络。在眼科疾病共生网络和轨迹网络构建的过程中,由于数据量较大,导致计算过程较为耗时。利用spark分布式计算框架内存计算和高效处理批量数据的优势,对构建共生网络和轨迹网络的算法并行化设计并部署运行在spark集群中,加快网络的构建过程,提高算法的效率。对结果进行分析表明本文提出的眼科疾病关系分析框架能够得到较为准确和量化的眼科疾病之间的共生关系和发展轨迹。同时采用spark分布式计算框架提高了构建网络算法的效率。通过上述框架,能够帮助医生及早的采取有效治疗策略防止相关疾病发生。

关键词：眼科疾病共生网络轨迹网络社团发现 spark分布式计算框架

来源：评论

学校读者我要写书评

暂无评论

基于spark的层叠支持向量机研究

基于Spark的层叠支持向量机研究

引用

作者：赵茹北方民族大学

学位级别：硕士

随着大数据时代的到来,如何处理大数据成为了人们关注的焦点。支持向量机可以很好的处理数据分类和回归问题,但是此算法的空间复杂度和时间复杂度都很高,所以当数据集的规模很大时,会导致数据的存储空间和训练时间成倍增长。为了解决这... 详细信息

随着大数据时代的到来,如何处理大数据成为了人们关注的焦点。支持向量机可以很好的处理数据分类和回归问题,但是此算法的空间复杂度和时间复杂度都很高,所以当数据集的规模很大时,会导致数据的存储空间和训练时间成倍增长。为了解决这些问题,基于spark分布式计算框架将支持向量机模型并行化。主要包含以下工作:首先,层叠支持向量机模型(Cascade SVM)作为一种分布式模型,能够有效减少运行时间,但是Cascade SVM的准确率比单机SVM的低,所以我们将Cascade SVM第二层子模型两两合并的结构改为混合合并,并且基于spark实现改进的Cascade SVM,从而在一定程度上提高模型的准确率。其次,为了进一步提高Cascade SVM的准确率,我们使用鲸鱼优化算法(WOA)对SVM的惩罚参数C和核函数参数g进行寻优。由于WOA容易陷入局部最优解无法达到全局最优解,所以将WOA的线性收敛因子修改为非线性收敛因子,并引入柯西变异因子增加搜寻全局最优解的可能性,将改进后WOA对参数C和g寻优。经过8个基准测试函数的验证,改进WOA优于基础WOA和粒子群算法。最终,通过LibSVM网站中的数据作为实验数据集,从训练时间、准确率和支持向量个数上比较单机SVM、Cascade SVM和改进的Cascade SVM的性能。实验结果表明,在数据规模较大时,改进Cascade SVM相比于单机SVM的运行时间大幅降低,虽然相比基础的Cascade svm运行时间稍长,但是改进模型的准确率要优于其他两种模型,全局支持向量的个数也多于其他两种模型。

关键词：支持向量机层叠支持向量机 spark分布式计算框架鲸鱼优化算法

来源：评论

学校读者我要写书评

暂无评论

基于spark的网络流量分类方法研究

基于Spark的网络流量分类方法研究

引用

中国教育和科研计算机网CERNET第二十五届学术年会

作者： LIU Zhaolu 刘兆禄 ZHAO Ying

网络流量分类是网络监控、服务质量和网络安全的前提和基础.为了对海量网络流量进行迅速、准确地分类,利用相似性和权重对随机森林算法进行改进,通过计算决策树相似度,消除决策冗余以加强分类性能;再用分类性能为指标设定权重构建随机森... 详细信息

网络流量分类是网络监控、服务质量和网络安全的前提和基础.为了对海量网络流量进行迅速、准确地分类,利用相似性和权重对随机森林算法进行改进,通过计算决策树相似度,消除决策冗余以加强分类性能;再用分类性能为指标设定权重构建随机森林,并结合spark平台设计实现并行算法提高分类效率.实验结果表明,该方法提高了网络流量分类性能,同时具有可扩展性和顽健性,能够响应海量流量分类任务.

关键词：网络流量分类方法随机森林 spark分布式计算框架

来源：评论

学校读者我要写书评

暂无评论

基于spark的网络流量分类方法研究

基于Spark的网络流量分类方法研究

引用

中国教育和科研计算机网CERNET第二十五届学术年会

作者：刘兆禄赵英刘淑梅北京化工大学信息科学与技术学院北京 100029

关键词：网络流量分类方法随机森林 spark分布式计算框架

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：