检索结果-内蒙古大学图书馆

信息网络安全 2017年第1期 29-37页

作者：王伟廖正宇张辉郭栋同济大学计算机科学与技术系上海200092 国家高性能计算机工程技术中心同济分中心上海200092 同济大学嵌入式系统与服务计算教育部重点实验室上海200092

文章基于Hadoop技术,设计并实现了一个铁路信号数据存储与分析系统。首先,文章研究了Hadoop平台下分布式系统工作原理、HDFS分布式文件管理作用机制、MapReduce模型。然后,针对信号检测大数据设计相关文件解析接口,处理包括txt和CSV格... 详细信息

文章基于Hadoop技术,设计并实现了一个铁路信号数据存储与分析系统。首先,文章研究了Hadoop平台下分布式系统工作原理、HDFS分布式文件管理作用机制、MapReduce模型。然后,针对信号检测大数据设计相关文件解析接口,处理包括txt和CSV格式的数据包;利用HDFS分布式文件管理系统完成对数据的存储和管理;根据数据存储结构设计HBase表,建立快速存取查询索引,并编写HBase操作的各式API。最后,利用Ext JS搭建前端展示页面,通过服务器与Hadoop平台通信完成电气特性分析和日志分析,并将数据处理结果以列表、曲线图和散点图的可视化方式展示在前端;同时完成了对海量数据的挖掘和可视化展现工作。

关键词：大数据 Hadoop MapReduce 数据存储与分析铁路信号系统

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop的互联网视频数据存储与分析平台研究与开发

基于Hadoop的互联网视频数据存储与分析平台研究与开发

引用

作者：汪伟北京邮电大学

学位级别：硕士

随着数字媒体技术的不断进步,互联网视频数量呈爆炸式增长。为了发掘互联网视频背后的价值与规律,视频的用户行为数据信息被大量存储与分析。随着这些数据的快速累积,服务器的存储能力与计算能力正在面临极大的挑战。而且互联网视频数... 详细信息

随着数字媒体技术的不断进步,互联网视频数量呈爆炸式增长。为了发掘互联网视频背后的价值与规律,视频的用户行为数据信息被大量存储与分析。随着这些数据的快速累积,服务器的存储能力与计算能力正在面临极大的挑战。而且互联网视频数据源复杂多样,又对存储与计算能力提出了更高的要求。面对上述问题,传统解决方案是单纯的增加硬件提升服务器存储与计算能力,但是性能提升有限而且价格昂贵,已经不是一个可行的解决办法。本文提出一种基于分布式存储与计算技术的解决方案,以Hadoop为基础,利用廉价计算机集群构建低成本、高效率的存储与计算平台。针对互联网视频用户行为数据细粒度的特点,本平台在Hadoop的基础上设计HBase非结构化数据库,存储细粒度数据并降低数据存取时延。针对数据源多样性特点,本平台创新性的改进MapReduce对多数据源的数据提取方式,封装函数与接口,方便用户使用与二次开发。为了更好的服务系统上层应用,本平台还设计了任务分发模块,来监控上层应用集群状态,根据实时状态灵活分配任务,提高平台性能。本文已经完成了底层存储与计算平台和任务分发系统的设计与开发。此外,通过使用真实数据进行存储测试,验证了底层存储系统的可行性,通过运行MapReduce实例验证了计算平台的有效性,最后通过在实验室的测试平台上模拟运行任务分发系统,做了全面的测试,验证了任务分发系统的可靠性。

关键词：互联网视频 hadoop mapreduce 数据存储与分析

来源：评论

学校读者我要写书评

暂无评论

桥梁群结构监测数据存储与分析策略

引用

中国信息界 2024年第8期 82-84页

作者：孙玉席恩伟云南省交通投资建设集团有限公司云南省数字交通重点实验室云南云岭高速公路工程咨询有限公司云南省数字交通重点实验室

引言在结构健康监测及其感知数据分析关键技术研究方面,由于结构健康监测系统规模和稳定性不足导致的数据不完整和不连续,为具有显著多变量时间序列属性的监测感知数据分析带来重大挑战,加之结构健康状况评估方法理论体系尚不完善,难以... 详细信息

引言在结构健康监测及其感知数据分析关键技术研究方面,由于结构健康监测系统规模和稳定性不足导致的数据不完整和不连续,为具有显著多变量时间序列属性的监测感知数据分析带来重大挑战,加之结构健康状况评估方法理论体系尚不完善,难以给出合理的结论和解释。

关键词：多变量时间序列结构健康监测系统结构监测健康状况评估数据分析数据存储与分析重大挑战理论体系

来源：评论

学校读者我要写书评

暂无评论

计算机云计算的数据存储与分析

引用

中文科技期刊数据库（全文版）工程技术 2020年第10期 168-168,170页

作者：郑维强辽宁省电信分公司辽宁沈阳110168

目前,科技力量发展迅速,云计算是计算机领域发展的一个重大突破,能够为计算机用户带来诸多便利。在云计算应用下,计算机用户可通过网络层实现数据的存储和运算,更有效的满足用户对计算机数据存储提出的需求,并且使数据存储具有更高安全... 详细信息

目前,科技力量发展迅速,云计算是计算机领域发展的一个重大突破,能够为计算机用户带来诸多便利。在云计算应用下,计算机用户可通过网络层实现数据的存储和运算,更有效的满足用户对计算机数据存储提出的需求,并且使数据存储具有更高安全性。为了更大程度的发挥计算机云计算数据存储功能与作用,本文结合计算机云计算相关概述及云计算数据存储结构模型,探究计算机云计算的数据存储应用要点,为相关应用领域提供一定参考。

关键词：计算机云计算数据存储与分析

来源：评论

学校读者我要写书评

暂无评论

大数据分析在电气工程施工质量管理中的应用

引用

中文科技期刊数据库(文摘版)工程技术 2025年第2期 174-176页

作者：刘佳媚广西勤丰裕工程有限公司广西柳州 545000

大数据分析技术在电气工程施工质量管理中的应用,显著提升了施工质量管理的科学性和效率。本文聚焦于施工前、施工中及施工后质量管理中大数据的具体应用,包括施工方案优化、环境数据评估、风险预测、实时监控、设备数据整合、动态分析... 详细信息

大数据分析技术在电气工程施工质量管理中的应用,显著提升了施工质量管理的科学性和效率。本文聚焦于施工前、施工中及施工后质量管理中大数据的具体应用,包括施工方案优化、环境数据评估、风险预测、实时监控、设备数据整合、动态分析以及质量改进策略等方面。通过对施工全生命周期数据的系统化存储和多维度分析,建立了动态反馈与优化机制,实现了施工质量管理的精细化和智能化。

关键词：大数据分析电气工程施工质量管理数据存储与分析

来源：评论

学校读者我要写书评

暂无评论

轨道车辆裙底板装配在线检测系统的研究

引用

机械设计与制造 2015年第4期 174-177页

作者：刘志伟魏京利李丰赵成刚南车青岛四方机车车辆股份有限公司山东青岛266111

针对轨道车辆裙板底板装配过程中采用拧紧机进行拧紧操作存在的缺陷,设计了一种轨道车辆裙板底板装配在线检测系统,系统包含裙板底板位置信息识别模块、装配作业在线检测模块及数据存储和分析模块,采用该检测系统可有效解决拧紧遗漏、... 详细信息

针对轨道车辆裙板底板装配过程中采用拧紧机进行拧紧操作存在的缺陷,设计了一种轨道车辆裙板底板装配在线检测系统,系统包含裙板底板位置信息识别模块、装配作业在线检测模块及数据存储和分析模块,采用该检测系统可有效解决拧紧遗漏、扭矩错误、重复拧紧、拧紧过程不连续等问题,并可对装配数据进行存储与分析,保证出厂车辆的装配质量。实验表明,系统能够监控裙板底板装配过程,对出现的问题进行准确实时地报警,并查询和分析历史装配记录,符合工况要求。

关键词：裙底板装配以太网通信在线检测数据存储与分析数据库开发

来源：评论

学校读者我要写书评

暂无评论

基于云平台的视频网站数据分析技术研究与实现

基于云平台的视频网站数据分析技术研究与实现

引用

作者：徐萌北京邮电大学

学位级别：硕士

随着网络媒体技术的不断发展,视频网站数据量呈爆炸式增长。为了发掘视频网站的数据价值与规律,视频的用户行为数据被大量分析。随着数据量的快速增长,数据分析的计算能力正在面临极大的挑战,而且视频网站数据来源多变且结构复杂,这就... 详细信息

随着网络媒体技术的不断发展,视频网站数据量呈爆炸式增长。为了发掘视频网站的数据价值与规律,视频的用户行为数据被大量分析。随着数据量的快速增长,数据分析的计算能力正在面临极大的挑战,而且视频网站数据来源多变且结构复杂,这就对数据分析技术提出了更高的要求。面对上述问题,传统解决方案是随着数据量增大不断增加硬件资源提升计算能力,但是性能提升在不远的将来一定会到达瓶颈而且价格昂贵,这已经不是一个可行的解决办法。本文提出一种基于云平台分析技术的解决方案,首先利用Ambari快速构建Hadoop云平台,并进行便捷的维护,利用廉价机器构建低成本、高效率的计算平台。然后,针对视频网站数据的特点,去设计实现一套视频网站数据采集程序及数据库的表结构,根据数据的多样性设计不同的分析策略,提出一种保证数据质量提高数据可用性的数据清洗逻辑。本平台利用MapReduce对视频网站数据进行多维度的分析处理,并将分析结果以图表的方式展示在前端网页上。本文已经完成了云平台的搭建,以及视频网站数据分析程序以及前端图表显示的设计与开发。此外,根据数据采集系统的长时间运行参数验证采集系统的健壮性,通过使用真实数据对MapReduce分析程序进行计算测试,验证了分析程序的可行性,通过前端网页图表截图验证前端图表的运行状况。

关键词：视频网站 Hadoop 数据存储与分析 MapReduce

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop平台的Hbase数据存储在快递行业的适用性研究

基于Hadoop平台的Hbase数据存储在快递行业的适用性研究

引用

作者：闻良长安大学

学位级别：硕士

大数据环境下,快递行业的信息量骤增且呈现时间集中特点。传统数据库无法满足当前快递行业信息存储要求。新型大数据处理工具Hadoop平台,能很好的适应社会发展发展需求,对各类数据均能大规模存储,满足企业对数据的掌控能力。通过挖掘大... 详细信息

大数据环境下,快递行业的信息量骤增且呈现时间集中特点。传统数据库无法满足当前快递行业信息存储要求。新型大数据处理工具Hadoop平台,能很好的适应社会发展发展需求,对各类数据均能大规模存储,满足企业对数据的掌控能力。通过挖掘大规模数据规律,发现其中潜在价值。而搭建在Hadoop平台的Hbase数据库能够大批量存储小规模各类数据,满足企业尤其是中小企业对数据挖掘的需求。对Hbase数据库理论研究,将其应用在快递行业,对快递行业产生信息进行存储、分析,便能让企业头疼的快递数据信息变废为宝。为了解决快递行业数据信息存储面临的“数据浪费”问题。本文研究了Hadoop分布式存储与计算平台的搭建,并将Hadoop的分布式计算系统MapReduce的数据处理模型、任务调度功能在快递行业的适用性进行了理论研究。在此基础上,对HDFS(Hadoop Distributed File System)分布式存储系统以及搭建在此系统之上的Hbase数据库工作原理进行了研究。根据Hbase数据模型的特点,阐明了HDFS的数据存放、数据读写机理,建立了Hbase数据存储模型,解决了Hbase数据库物理视图与逻辑视图之间的转换关系问题,探讨了Hbase数据库数据索引机制,研究了Hbase数据库的数据模型、分布性质在快递行业的适用性。同时,以S快递河南信阳公司提供的快递面单数据为实验数据,使用搭建在Hadoop平台的Hbase数据库为实验工具,借助Hbase数据库实验数据进行存储、查询实验,借助MapReduce组件对存储的实验数据进行分析处理,对搭建在Hadoop平台的Hbase数据库在快递行业的适用性进行研究。

关键词： Hadoop平台 Habse数据库快递数据数据存储与分析

来源：评论

学校读者我要写书评

暂无评论

感应式无线充电自动化测试效率系统研究与实现

引用

电子测试 2021年第16期32卷 40-42页

作者：蒲小英四川省电子产品监督检验所四川成都610100 四川省软件和信息系统工程测评中心四川成都610100 成都蜀都电子信息产品检测技术有限公司四川成都610100

目前感应式无线充电系统中效率测试过程存在自动化程度差,效率低,数据采集点有限等诸多问题,亟待解决。本文基于现有感应式充电系统的平台,扩展调幅(ASK)和调频(FSK)通信的私有协议,定制智能化的终端软件,实现高效的自动化测试,数据采集... 详细信息

目前感应式无线充电系统中效率测试过程存在自动化程度差,效率低,数据采集点有限等诸多问题,亟待解决。本文基于现有感应式充电系统的平台,扩展调幅(ASK)和调频(FSK)通信的私有协议,定制智能化的终端软件,实现高效的自动化测试,数据采集,数据分析和图形化显示过程。终端软件通过自制USB转I2C接口配置无线充电接收端的工作电流和工作电压,采集无线充电发送端的输入电流和输入电压。能量效率值所需的关键信息自动存入终端的EXCEL表格中。快速获得不同负载段和目标电压下的效率曲线和趋势图。

关键词：感应式充电自动化测试私有协议充电效率数据存储与分析

来源：评论

学校读者我要写书评

暂无评论

基于STM32和FPGA的小信号远程幅频特性测试仪的设计

引用

信息记录材料 2024年第11期25卷 136-138,141页

作者：陈晓东漳州职业技术学院电子信息学院福建漳州363000

针对在危险或偏远环境下进行信号采集分析困难的情况,提出一款基于STM32与现场可编程门阵列(field-programmable gate array,FPGA)双控制核心的简易的远程监测的幅频特性测试装置的设计。该设计由信号源、放大器、幅频特性测试装置、服... 详细信息

针对在危险或偏远环境下进行信号采集分析困难的情况,提出一款基于STM32与现场可编程门阵列(field-programmable gate array,FPGA)双控制核心的简易的远程监测的幅频特性测试装置的设计。该设计由信号源、放大器、幅频特性测试装置、服务器4个部分组成;通过有线和无线传输方式将幅频数据传输服务器,实现远程监测及数据存储和分析。此设计对于偏远或危险环境中的小信号幅频特性分析具有一定的应用和研究价值。

关键词：幅频特性远程监测小信号放大 STM32 现场可编程门阵列数据存储与分析

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：