检索结果-内蒙古大学图书馆

2017中国大数据技术大会

作者：罗李基础平台部-大数据架构部

大数据架构部负责滴滴大数据实时和离线计算平台基础设施，存储和计算引擎的版本开发,升级和维护(hadoop/hive/spark/flink/druid/hbase/phoenix/Alluxio），离线&实时平台集群的开发,管理,维护,调优,升级，提供离线&实时开发平... 详细信息

大数据架构部负责滴滴大数据实时和离线计算平台基础设施，存储和计算引擎的版本开发,升级和维护(hadoop/hive/spark/flink/druid/hbase/phoenix/Alluxio），离线&实时平台集群的开发,管理,维护,调优,升级，提供离线&实时开发平台,调度系统,管理平台和数据分析平台，服务所有滴滴对内数据业务，两位开源社区PMC,Committer和若干Contributor,分别参与Yarn,HDFS,Druid,Spark,Alluxio的社区贡献.

关键词：大数据系统架构实时计算运营监控

来源：评论

学校读者我要写书评

暂无评论

一种基于动态拓扑的流计算性能优化方法及其在Storm中的实现

引用

电子学报 2020年第5期48卷 878-890页

作者：陆佳炜吴涵陈烘张元鸣梁倩卉肖刚浙江工业大学计算机科学与技术学院浙江杭州310023 阿里巴巴基础架构事业部大数据计算与服务团队浙江杭州310011 南洋理工大学计算机科学与工程学院新加坡637457

响应性和稳定性一直是流式计算中两个至关重要的问题,而流计算系统在过载时常常表现出数据计算延迟增加和拓扑不稳定的现象,无法适应数据负载的动态变化.针对这一问题本文研究提出了一种基于动态拓扑的流计算性能优化方法,主要包括:(1)... 详细信息

响应性和稳定性一直是流式计算中两个至关重要的问题,而流计算系统在过载时常常表现出数据计算延迟增加和拓扑不稳定的现象,无法适应数据负载的动态变化.针对这一问题本文研究提出了一种基于动态拓扑的流计算性能优化方法,主要包括:(1)动态逐级反压:拓扑中的任务可以根据当前自身负载情况,动态调整上游向其发送数据的速率.(2)无状态拓扑数据重放:拓扑不维持数据的计算状态,尽可能地实现数据容错.(3)自适应拓扑替换:在拓扑不暂停的情况下对任务并发度进行自发调整.(4)延迟持久化队列:拓扑中对磁盘的IO读写被延迟到数据处理之外,减缓IO高频阻塞对流计算系统的影响.本文在Apache Storm中实现了以上四种方案,性能测试结果表明优化后的流计算系统与Storm默认实现相比,不仅增强了大数据动态匹配能力,而且在最优情况下改善了17%的吞吐量,并提升了约20%的数据处理速度.

关键词：数据流拓扑流计算大数据流计算系统性能优化

来源：评论

学校读者我要写书评

暂无评论

国家科技资源共享服务平台对科技创新支撑作用的研究

引用

中国科技资源导刊 2017年第6期49卷 88-93页

作者：石蕾刘娟王健国家科技基础条件平台中心北京100862 中国农业科学院农业信息研究所北京100081 农业部农业大数据重点实验室北京100081

在明确科技资源共享服务平台与科技创新关系的基础上,探讨科技资源共享服务平台对提升国家科技创新能力支撑作用的评价模型,并建立分层的多指标评价方法。以国家大型科学仪器中心为例进行实证研究,结论如下:"十二五"期间国家... 详细信息

在明确科技资源共享服务平台与科技创新关系的基础上,探讨科技资源共享服务平台对提升国家科技创新能力支撑作用的评价模型,并建立分层的多指标评价方法。以国家大型科学仪器中心为例进行实证研究,结论如下:"十二五"期间国家大型科学仪器中心平台对科技创新的支撑作用稳步提升,且创新产出数量贡献指数与创新活动效率贡献指数增长显著,创新产出质量贡献指数与长期创新潜力贡献指数增长相对平缓。为提升国家科技资源共享服务平台管理效率提供一定的参考和借鉴。

关键词：国家科技资源共享服务平台科技创新绩效评价指标体系科技资源共享共享服务

来源：评论

学校读者我要写书评

暂无评论

学校读者我要写书评

暂无评论

科学数据安全管理指南

科学数据安全管理指南