检索结果-内蒙古大学图书馆

作者：陈波贵州大学

学位级别：硕士

中药在中国的医药体系中占有重要地位,是一种特殊的产品,在生产过程中多个关键工艺采用连续型的生产方式,且工艺流程复杂。在高标准的质量要求下,生产过程中需要监控大量的关键运行参数。由于生产车间规模大和使用大量异构的生产控制设... 详细信息

中药在中国的医药体系中占有重要地位,是一种特殊的产品,在生产过程中多个关键工艺采用连续型的生产方式,且工艺流程复杂。在高标准的质量要求下,生产过程中需要监控大量的关键运行参数。由于生产车间规模大和使用大量异构的生产控制设备,需要投入大量的人力物力解决生产控制问题。在信息化系统方面,由于传统信息化系统的架构模式,使得系统之间相互独立,带来管理和使用上的困难,很难及时响应企业发展过程中的需求。本文首先对微服务架构进行了研究并将其核心思想与中药生产车间需求进行综合分析,将微服务的组件、去中心化、产品化等理念应用到中药生产车间的信息化系统架构设计中。其次通过对车间数据源的多源异构性进行分析,研究利用Java反射和多线程技术结合Modbus、OPC技术解决异构设备的实时数据感知的技术,解决了中药生产企业存在的未能有效集中实时监控生产过程、未能采集生产过程中大量的过程数据的问题。然后通过对设备运行历史数据的综合计算分析,实现关键监控指标以及关联数据自动统计报表功能。利用设备故障历史数据分析设备故障原因、高频故障以及设备运行的关键监控指标等问题。通过Echarts及Unity 3D等技术手段实现车间过程数据可视化。实现了中药生产车间生产过程多维度的监控需求。最后,基于微服务架构设计和开发了中药生产车间数据感知及可视化系统,将数据感知、可视化等研究成果进行实现,并成功在某企业生产车间应用。为生产过程管理决策提供可靠及时的数据支持。

关键词：中药生产多源异构数据微服务架构数据感知数据可视化实时监控

来源：评论

学校读者我要写书评

暂无评论

作业管理系统中基于数据感知的调度子系统的设计与实现

作业管理系统中基于数据感知的调度子系统的设计与实现

引用

作者：李晓婕哈尔滨工业大学

学位级别：硕士

由于位于多个物理位置上的多集群环境的出现，和在这种环境下对数据访问的限制和对数据管理的缺乏，导致了这种环境下缺乏对数据敏感型作业的有效管理。本文所研究的内容是开发能够与LSF作业管理系统协作的调度子系统，管理多集群中的... 详细信息

由于位于多个物理位置上的多集群环境的出现，和在这种环境下对数据访问的限制和对数据管理的缺乏，导致了这种环境下缺乏对数据敏感型作业的有效管理。本文所研究的内容是开发能够与LSF作业管理系统协作的调度子系统，管理多集群中的数据资源并能够根据集群中的数据资源高效和准确进行作业调度。本论文主要是实现基于数据感知的调度，使作业在提交到系统后，系统能够根据作业需要的数据和系统所掌握的集群中的数据信息来将作业派遣到集群中合适的计算结点上执行。为实现基于数据感知调度，本论文还完成了对集群中数据资源的管理。本论文设计和实现了数据集管理模块、storage管理模块、缓存管理模块、配置管理模块、数据传输模块、远端数据管理模块和调度模块。在数据集管理模块和storage管理模块中，分别实现了对集群中数据集和storage的管理功能；在缓存管理模块中，实现了对集群间传输的数据的缓存功能，并维护缓存数据的生命周期；在配置管理模块中，实现了根据用户配置的信息来进行系统信息初始化功能；在数据传输模块中，实现了在集群间传输数据的功能；在远端数据管理模块中，实现了集群与其他集群间共享数据信息的功能；在调度模块中，实现了根据数据信息来制定调度决策的功能。通过以上模块之间的交互，以及系统与作业管理系统的协作，实现了基于数据感知的调度，使数据敏感型作业能够完全靠系统内部的管理和协调而成功运行在计算结点上。通过本系统与LSF作业管理系统的协作，用户能够更专注于作业的逻辑而不需关心数据的分布，使得数据敏感型作业的整个周期都能够通过系统内部的协调和计算顺利的执行，而不再需要人工干预的过程，同时还能够为用户提供集群中的数据信息和存储信息。总体来说，实现了针对数据敏感型作业的调度，透明化了用户对数据的操作，提高了作业执行效率，提供了更完善的数据管理功能。

关键词：多集群环境数据感知作业调度缓存管理数据敏感型作业

来源：评论

学校读者我要写书评

暂无评论

面向数据感知的二维标量场颜色表优化方法

面向数据感知的二维标量场颜色表优化方法

引用

作者：张文婷山东大学

学位级别：硕士

在科学计算模拟及相关应用的研发过程中,通常会涉及对二维标量场数据的研究,包括气象学的PM2.5浓度值、物理学的密度值、空气动力学的扩散值等。二维标量场数据的可视化对领域科学家在读取数值、理解数据特征和分析数据隐藏规律方面起... 详细信息

在科学计算模拟及相关应用的研发过程中,通常会涉及对二维标量场数据的研究,包括气象学的PM2.5浓度值、物理学的密度值、空气动力学的扩散值等。二维标量场数据的可视化对领域科学家在读取数值、理解数据特征和分析数据隐藏规律方面起到了至关重要的作用。例如,气象学家在分析雾霾时,温度、相对湿度等标量场的可视化对探索雾霾的成因和发展很有帮助。色彩映射是可视化二维标量场数据最有效的形式,被使用的范围也最广泛。色彩映射的载体是颜色表。在用户的理解过程中,颜色表很大程度影响了用户对数据的感知。优秀的颜色表使数据特征一目了然,而质量差的颜色表会模糊数据特征,甚至丢失数据信息。因此,在当前很多颜色表优化算法已经被提出。优化颜色表时需要考虑的因素很多,但现有工作只单方面考虑数据的统计值或颜色表中的色彩分布,缺乏了对连续数据特征与颜色的联合考虑。此外,现有工作大多只设计算法,没有为用户提供可交互工具,忽略了交互行为对颜色表优化的影响。针对现存方法优化颜色表的片面性与单一性,本文提出了面向数据感知的二维标量场颜色表优化算法。本文的主要贡献有以下几点:●调研并整理了科学家对颜色表的需求,根据用户需求全面地定义了优化算法需要考虑的因素。●实现了考虑数据边界、颜色表保真、前后景对比度的自动优化算法。●通过对算法的参数分析、性能分析、相关对比实验,证明了算法的有效性。●将优化算法生成的颜色表应用在对雾霾的分析中,提高了气象学家分析雾霾的效率。我们不仅实现了优化颜色表的算法,还为用户提供可交互工具,工具为用户提供“拉锁”、“背景遮罩”等功能,支持用户选择或屏蔽数据的特定区域,帮助用户得到符合自身需要的颜色表。最后,我们通过案例分析、对比实验等手段验证了优化算法的有效性。

关键词：颜色表数据感知交互工具雾霾分析

来源：评论

学校读者我要写书评

暂无评论

MapReduce工作流作业数据感知调度算法研究

MapReduce工作流作业数据感知调度算法研究

引用

作者：李航吉林大学

学位级别：硕士

“大数据(Big Data)”是目前科学研究者们研究的焦点,也会是未来时代每个领域发展的必然趋势。大数据处理平台的出现非常能迎合人们处理密集型大数据的需求,平台也从技术化走向市场化。国外的大型互联网公司都已有成型商业化模式;国内... 详细信息

“大数据(Big Data)”是目前科学研究者们研究的焦点,也会是未来时代每个领域发展的必然趋势。大数据处理平台的出现非常能迎合人们处理密集型大数据的需求,平台也从技术化走向市场化。国外的大型互联网公司都已有成型商业化模式;国内的密集型大数据技术也实现了从互联网向银行、生物制药等众多领域发展。它的高性能可以提供高效的运算,为用户提供更优质快捷的服务,为企业谋取更巨大的效益。Hadoop作为处理大数据领域里重要平台之一,从技术架构和业务应用两个方面都有完美的融合。开源的Hadoop具有良好的稳定性、容错性和高效性,处理的数据量通常都在T级以上。Hadoop框架下有两大系统:融合了谷歌“三大核心技术”之一Map Reduce,为其提供分布式并行计算,优越之处在于让不熟悉并行编程的人员也可以充分发挥分布式系统的功效;还能够为上层提供高并发的非结构化的HDFS存储的服务,擅长存储“超大文件”,不支持小文件的处理。Map Reduce能够非常灵活的计算大规模密集型的数据,同时,可以解决分配和管理大规模数据并获取最优解的问题,目前在大数据领域中也是研究的热点。Map Reduce本身的基本调度算法有FIFO调度、Capacity调度和Fair调度,这些基本算法只能维持平台的正常运算,不能够满足众多用户需求,在复杂依赖关系的大数据环境下,工作流任务调度是一种合理有效的策略,是实现任务分配时间短和系统性能高的方案,本文正是对这一复杂作业调度问题,进行详细了研究,满足了时代的需求。本文的前提是Map Reduce计算模型与工作流的调度策略在分布式环境下执行,将工作流概念引入到模型中,帮助我们建立一种特定的计算服务来实现大数据复杂依赖关系的作业运算。本文工作首先对国内外商用Hadoop平台现状做了大致了解,调研了大量有关工作流及相关调度算法;其次本文MRHD(Map Reduce Hadoop Data-aware)算法大致研究Map Reduce计算框架下的两个阶段:Workflow level和Map Reduce level。Workflow level阶段主要负责初始化Map Reduce工作流的DAG图,并实时动态的执行工作流队列,Map Reduce level负责提高底运算调度机制map任务一个高的data locality百分比,减少数据在处理器之间的交互操作,减少成本开销;最后通过大量实验实现本文的MRHD工作流调度算法,解决了工作流底层作业的数据本地化问题又大大缩短作业运行时间。本文研究的重点在于如何面对大规模数据量富有依赖关系的作业下建立一种分布式作业调度策略,如何有效管理Map Reduce环境下的计算资源和工作流执行时间。本文的创新点(1)初始化Map Reduce工作流的DAG图,通过本文的设定时间变化规则和作业要调整的计算能力?Pj,确定工作流中作业的紧急程度,也就是作业的优先级,从而按优先级降序方式实时的动态的获取工作流作业队列,这样比静态预先获取关键路径方案更优。(2)文中工作流分为关键路径和非关键路径作业队列。因为每个作业的实际运行时间和集群计算资源实时动态性,所以动态确定工作流的关键路径,对于关键节点本文采取本地化和非本地化2种方式,通过判断作业等待时间和数据传输时间耗时长短,从而选取耗时最短的方式执行,目标是缩短工作流makespan。对于非关键路径作业通过RFD算法中时间等待T(waiting)方式提升map task本地化比例,可以保证Map Reduce工作流整体工作效率。

关键词： MapReduce 工作流 MRHD算法数据感知调度

来源：评论

学校读者我要写书评

暂无评论

基于数据感知的数字孪生矿山建设研究

引用

有色设备 2021年第2期35卷 13-18页

作者：张维国葛启发赵奕温瑞恒中国恩菲工程技术有限公司矿山事业部信息化智能化工程中心北京100038 北京科技大学土木与环境学院北京100083 中国恩菲工程技术有限公司北京100038

数字孪生技术打通了物理世界和数字世界数据的连接,通过虚实交互反馈、数据融合分析、决策迭代优化等手段,为物理实体增加或扩展新的能力。数字孪生矿山基于工业互联网、融合通信和大数据人工智能技术,结合矿山企业组织架构,实现矿山生... 详细信息

数字孪生技术打通了物理世界和数字世界数据的连接,通过虚实交互反馈、数据融合分析、决策迭代优化等手段,为物理实体增加或扩展新的能力。数字孪生矿山基于工业互联网、融合通信和大数据人工智能技术,结合矿山企业组织架构,实现矿山生产运营管理的全流程管控。本文针对数字孪生矿山的数据感知核心基础,提出了矿山行业组织业务数字化和矿山全量数据感知能力框架,通过某铜矿数据感知和三维管控平台开发,证实了矿山数据感知和业务组织的重要性。

关键词：数字孪生数据采集数据感知矿山生产管控系统

来源：评论

学校读者我要写书评

暂无评论

工业制造车间离散计量设备的数据感知与可视化系统

引用

计测技术 2024年第2期44卷 99-106页

作者：杨鹏陈欢楼伟民浙江省计量科学研究院浙江杭州310018

为解决工业制造车间存在的计量设备分布离散、计量数据难以统一采集且利用率低、设备后期维护成本高等问题,建立工业制造车间离散计量设备的数据感知与可视化系统。通过搭建数据转换协议仓,实现多种类型、多种品牌计量设备的多协议通讯... 详细信息

为解决工业制造车间存在的计量设备分布离散、计量数据难以统一采集且利用率低、设备后期维护成本高等问题,建立工业制造车间离散计量设备的数据感知与可视化系统。通过搭建数据转换协议仓,实现多种类型、多种品牌计量设备的多协议通讯兼容,解决设备离散分布时,数据的统一采集和集中管理难题。数据转换协议仓集成在客户端软件中,具有成本低、易部署、协议拓展方便等优点。此系统结合数据分析和可视化技术,实时感知车间计量设备数据变化,为管理者直观、清晰地展示数据及分析结果,帮助管理者快速了解车间计量设备工作状况,提升了车间计量设备的整体运行效率。该系统实现了计量数据的实时采集和分析处理,提高了数据利用效率,为生产决策提供了重要保障。

关键词：数据感知可视化多协议计量数据

来源：评论

学校读者我要写书评

暂无评论

云计算和大数据环境下工作流数据感知调度

引用

海南大学学报（自然科学版） 2019年第2期37卷 127-133页

作者：李亚歌叶春杨周辉海南大学信息科学技术学院海南海口570228 海南大学南海海洋资源利用国家重点实验室海南海口570228

为了解决具有数据约束的工作流多标优化调度问题,提出了一种在保证业务逻辑前提下并考虑数据约束的数据感知调度算法.首先通过将工作流调度建模为一个多目标优化问题,开发了一种数据感知蚁群算法(DACO)来搜索最优调度方式,其次在该算法... 详细信息

为了解决具有数据约束的工作流多标优化调度问题,提出了一种在保证业务逻辑前提下并考虑数据约束的数据感知调度算法.首先通过将工作流调度建模为一个多目标优化问题,开发了一种数据感知蚁群算法(DACO)来搜索最优调度方式,其次在该算法中将判断每个任务所需的数据量和任务之间的数据约束,感知每个业务之间的数据流,最后分治策略来搜索最优调度.实验结果表明,该算法在效率和成本效益方面优于现有的求解方法.

关键词：工作流数据约束数据感知

来源：评论

学校读者我要写书评

暂无评论

基于数据感知的作业处理系统设计

引用

高性能计算技术 2012年第6期 12-18页

作者：徐永士梁栋孙功星中国科学院高能物理研究所计算中心北京 100049 中国科学院研究生院北京 100049 中国科学院高能物理研究所计算中心北京 100049

本文针对高能物理(HEP)数据分析,简述描述了适合HEP数据分析的易并行计算模型,及MapReduce并行编程模型.说明了当前大型数据中心普遍采用的计算节点集群与存储系统模块化设计的系统结构,讨论了不足之处,提出了大型数据分析中心应具备的... 详细信息

本文针对高能物理(HEP)数据分析,简述描述了适合HEP数据分析的易并行计算模型,及MapReduce并行编程模型.说明了当前大型数据中心普遍采用的计算节点集群与存储系统模块化设计的系统结构,讨论了不足之处,提出了大型数据分析中心应具备的特性.在综合分析了数据感知要素和作业流程的基础上,提出一种新型的数据感知的作业处理系统框架.框架中的作业处理子系统通过分布式文件元数据管理器感知被处理文件的位置属性,将作业调度到数据所在的节点上,实现数据的本地化处理.文章给出了各模块的功能描述.文章最后初步部署了测试环境下,并简要给出了测试结果.

关键词： PBS(作业批处理系统) 高能物理数据分析文件元数据管理数据感知

来源：评论

学校读者我要写书评

暂无评论

浅谈大数据物联网信息交互与数据感知

引用

信息记录材料 2022年第10期23卷 236-238页

作者：张磊甘肃省金昌市公安局金川分局指挥中心甘肃金昌737100

信息交互是物联网技术和发展的基石,同时也是物联网“物互联”的终极目的。随着我国信息科技发展的日益提升,物联网的有关研究也将日益引起社会各界的重视,以传统的无线传感器网络为核心的数据感知网是最关键的研究之一,同时在数据感知... 详细信息

信息交互是物联网技术和发展的基石,同时也是物联网“物互联”的终极目的。随着我国信息科技发展的日益提升,物联网的有关研究也将日益引起社会各界的重视,以传统的无线传感器网络为核心的数据感知网是最关键的研究之一,同时在数据感知与交换等方面的研究也取得了一定的进展。针对物联网信息交互和数据感知领域的最新研究进展进行探讨。研究表明:信息交互方面主要提出了物联网信息交互的基本模式,并归纳出信息交互涉及的主要技术手段。数据感知重点对信息获取和处理这2个领域进行综合研究,梳理归纳了信息获取与管理中的主要方式。因此,唯有掌握了信息交互与数据感知方面的新技术,才能有效破解当前物联网所面临的难题。

关键词：大数据物联网信息交互数据感知

来源：评论

学校读者我要写书评

暂无评论

基于主动识别的多渠道风险数据感知方法

引用

电子设计工程 2022年第22期30卷 127-130,135页

作者：曹世龙蔡颖凯王一哲付瀚臣刘鑫国网辽宁省电力有限公司营销服务中心辽宁沈阳110000

现有配电网风险数据感知方法中存在多渠道风险数据感知能力低、风险趋势分析能力差、多渠道风险数据识别范围大等问题,提出基于主动识别的多渠道风险数据感知方法。提取多渠道风险数据,挖掘多渠道风险数据关键要素,并判断多渠道数据风... 详细信息

现有配电网风险数据感知方法中存在多渠道风险数据感知能力低、风险趋势分析能力差、多渠道风险数据识别范围大等问题,提出基于主动识别的多渠道风险数据感知方法。提取多渠道风险数据,挖掘多渠道风险数据关键要素,并判断多渠道数据风险。实验结果表明,提出的基于主动识别的多渠道风险数据感知方法优于基于大数据分析的风险数据感知方法,多渠道风险数据感知能力和风险趋势分析能力均高于基于大数据分析的风险数据感知方法,同时,多渠道风险数据识别范围更小,稳定性更好。

关键词：主动识别多渠道风险数据数据感知风险感知感知方法

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：