检索结果-内蒙古大学图书馆

作者：符飞虎吴嘉铭黄文锋 518101 广东省深圳市宝安区西乡街道臣田社区宝田工业区40栋3层

本申请涉及一种数据实时处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取来自不同数据源的业务数据，得到多源业务数据集；通过预设的流处理平台，对所述多源业务数据集进行流式处理，得到业务数据流。对所... 详细信息

标准号: CN117891809A

本申请涉及一种数据实时处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取来自不同数据源的业务数据，得到多源业务数据集；通过预设的流处理平台，对所述多源业务数据集进行流式处理，得到业务数据流。对所述业务数据流进行数据预处理，得到目标业务数据流，以所述目标业务数据流为输入，调用已训练的业务数据处理模型对所述目标业务数据流进行实时处理，得到业务数据处理结果。其中，所述已训练的业务数据处理模型基于历史多源业务数据集训练得到。采用上述方法能够提高数据处理效率。

关键词：业务数据业务数据处理数据流目标业务多源业务数据流计算机程序产品数据处理效率数据实时处理计算机设备数据预处理存储介质流式处理实时处理流处理数据源预设调用申请

来源：评论

学校读者我要写书评

暂无评论

数据实时处理方法、设备、系统以及存储介质

数据实时处理方法、设备、系统以及存储介质

引用

作者：吕玉振 100176 北京市大兴区北京经济技术开发区科创十一街18号C座2层221室

本申请提供一种数据实时处理方法、设备、系统以及存储介质，该方法包括：接收管理服务器发送的分析任务，其中，分析任务是管理服务器根据多个业务场景的用户数据和需求信息获得的多个分析任务中的一个；接收至少一个其他任务服务器发... 详细信息

标准号: CN113032383B

本申请提供一种数据实时处理方法、设备、系统以及存储介质，该方法包括：接收管理服务器发送的分析任务，其中，分析任务是管理服务器根据多个业务场景的用户数据和需求信息获得的多个分析任务中的一个；接收至少一个其他任务服务器发送的第一分析结果，其中，第一分析结果是其他任务服务器对多个分析任务中的另一个分析任务进行处理获得；根据第一分析结果执行分析任务获得第二分析结果；向管理服务器发送第二分析结果。本方案可针对有庞大数据量的用户数据进行实时分析，为制定策略提供实时有效的数据基础。

关键词：分析管理服务器任务服务器用户数据发送数据实时处理服务器发送策略提供存储介质接收管理实时分析数据基础需求信息业务场景数据量申请制定

来源：评论

学校读者我要写书评

暂无评论

流式计算技术在山东省非考核地面气象自动站数据实时处理中的应用

引用

数字技术与应用 2022年第9期40卷 149-153页

作者：冯勇李微袁雅涵山东省气象局气象防灾减灾重点实验室山东省气象信息中心济南高新技术产业开发区气象局

本文基于山东省气象大数据云平台“天擎”,采用Storm流式处理技术,从数据收集、数据解码、数据入库、数据监控等方面设计数据处理原型,解决2021年4月标准格式切换后非考核地面气象自动站数据无法提供数据服务的难题,并与多线程处理程序... 详细信息

本文基于山东省气象大数据云平台“天擎”,采用Storm流式处理技术,从数据收集、数据解码、数据入库、数据监控等方面设计数据处理原型,解决2021年4月标准格式切换后非考核地面气象自动站数据无法提供数据服务的难题,并与多线程处理程序进行时效对比,实践表明,基于Storm的数据处理程序更能满足现有业务系统对数据时效的要求。

关键词：数据监控多线程处理数据收集流式计算数据处理程序数据实时处理数据解码数据入库

来源：评论

学校读者我要写书评

暂无评论

数据实时处理方法、装置、计算机设备及存储介质

数据实时处理方法、装置、计算机设备及存储介质

引用

作者：王跃东李帅任青亭孙楠楠李俊强董文旭赵欣媛韩金璐 300450 天津市滨海新区中新天津生态城中天大道1620号中新天津生态城科技园16号楼

本发明涉及数据传输领域，公开了一种数据实时处理方法、装置、计算机设备及存储介质，该方法包括：当消息队列持续收到来自设备的心跳信息预设时间后，确定所述设备上线，建立所述设备和云平台的连接；所述云平台和所述设备连接后，通... 详细信息

标准号: CN115794802A

本发明涉及数据传输领域，公开了一种数据实时处理方法、装置、计算机设备及存储介质，该方法包括：当消息队列持续收到来自设备的心跳信息预设时间后，确定所述设备上线，建立所述设备和云平台的连接；所述云平台和所述设备连接后，通过所述消息队列接收来自所述设备的传输数据，将所述传输数据与数据库关联，形成关联数据；对所述关联数据进行实时分类和清洗，并根据所述关联数据的类别，分别传输至对应的数据库中。使得数据在存入数据库前，就完成了清洗和分类，将数据以干净可靠的姿态存入对应的数据库中，提高了后续数据处理以及数据反馈的准确率和速度。

关键词：关联数据数据库传输数据消息队列云平台清洗后续数据处理数据传输领域数据实时处理计算机设备存储介质设备连接设备上线实时分类数据反馈心跳信息准确率预设关联传输分类

来源：评论

学校读者我要写书评

暂无评论

基于Flink的SQL数据实时处理方法、装置、计算机设备和介质

基于Flink的SQL数据实时处理方法、装置、计算机设备和介质

引用

作者：邓煜 518000 广东省深圳市福田区益田路5033号平安金融中心12、13、38、39、40层

本申请属于数据处理领域，公开了一种基于Flink的SQL数据实时处理方法、装置、计算机设备及可读存储介质。所述方法包括通过客户端将用户输入的数据存在tidb中，然后在flink集群对sql数据表中的SQL语句进行分类得到分类后的SQL语句，并... 详细信息

标准号: CN111666296B

本申请属于数据处理领域，公开了一种基于Flink的SQL数据实时处理方法、装置、计算机设备及可读存储介质。所述方法包括通过客户端将用户输入的数据存在tidb中，然后在flink集群对sql数据表中的SQL语句进行分类得到分类后的SQL语句，并对分类后的SQL语句进行对应的封装生成作业算子；再按照SQL语句本有的逻辑将作业算子进行串接后生成算子流提交到taskmanager进行执行，实现对SQL数据的实时处理。采用本方法对SQL语句进行封装使得用户可以以较少的SQL代码代替大量的Java代码的编写，解决了现有技术中通过flink对SQL数据实施处理的实现复杂的技术问题。本申请还涉及区块链技术，所述用户输入的数据可存储于区块链节点中。

关键词：算子区块封装分类可读存储介质数据处理领域数据实时处理计算机设备代码代替实时处理可存储客户端链节点串接集群申请

来源：评论

学校读者我要写书评

暂无评论

推广数据实时处理方法、装置、服务器及存储介质

推广数据实时处理方法、装置、服务器及存储介质

引用

作者：张恒 510000 广东省深圳市南山区沙河街道高发社区侨香路4060号香年广场A栋302

本申请涉及数据处理技术领域，提供了一种推广数据实时处理方法、装置、服务器及存储介质。本申请基于推广平台中的推广数据生成事件系序列库，在确定需要监测的目标事件流之后，通过对目标事件流与事件系序列库中的事件流进行模式匹配... 详细信息

标准号: CN117522473A

本申请涉及数据处理技术领域，提供了一种推广数据实时处理方法、装置、服务器及存储介质。本申请基于推广平台中的推广数据生成事件系序列库，在确定需要监测的目标事件流之后，通过对目标事件流与事件系序列库中的事件流进行模式匹配，得到匹配结果，从而基于匹配结果进行推广奖励计算。本申请通过生成事件系序列库及模式匹配的方式，可以关联来自不同来源的多个事件，并识别多个事件之间的模式，从而能够实时处理数据流中的复杂模式和关系，提高了对大规模数据集、流式数据实时处理的能力，解决了传统的推广奖励系统延迟较高、无法进行实时响应、不适合处理流式数据与大规模数据集的问题。

关键词：序列库大规模数据集流式数据模式匹配目标事件匹配结果实时处理申请数据处理技术数据实时处理数据流存储介质复杂模式奖励系统实时响应数据生成传统的事件流延迟服务器关联监测奖励

来源：评论

学校读者我要写书评

暂无评论

基于机载高速总线的数据实时处理与存储系统

基于机载高速总线的数据实时处理与存储系统

引用

作者：周训强侯阳刘凯王贞师文江潘锋胡智琦 710075 陕西省西安市高新区科技二路68号西安软件园汉韵阁B405号

本发明涉及高带宽数据实时处理与存储技术领域，具体涉及一种基于机载高速总线的数据实时处理与存储系统。其基于多功能模块的多核并行处理机制，实现了系统功能的模块化设计，具有数据传输流量大、数据处理参数多、存储容量大、系统实... 详细信息

标准号: CN110362279B

本发明涉及高带宽数据实时处理与存储技术领域，具体涉及一种基于机载高速总线的数据实时处理与存储系统。其基于多功能模块的多核并行处理机制，实现了系统功能的模块化设计，具有数据传输流量大、数据处理参数多、存储容量大、系统实时性高等特点，并能够对系统进行远程维护及状态监控。本发明任务解析与评估模块分别与数据管理模块、数据缓存模块、CPU和数据转换模块连接；数据转换模块包括数据接收模块、数据处理模块、数据存储模块、数据转发模块；数据缓存模块包括接收数据环形缓存模块、待处理数据环形缓存模块、待转发结果数组缓存模块和待存储结果数据环形缓存模块，所述的接收数据环形缓存模块与待处理数据环形缓存模块连接。

关键词：环形缓存数据缓存模块数据实时处理数据转换模块待处理数据接收数据存储技术领域存储结果数据数据处理模块数据传输流量数据存储模块数据管理模块数据接收模块数据转发模块多功能模块模块化设计系统实时性处理机制存储容量存储系统多核并行高速总线缓存模块结果数组模块连接评估模块任务解析数据处理系统功能远程维护状态监控高带宽转发

来源：评论

学校读者我要写书评

暂无评论

高速扫描式数码印花机数据实时处理系统硬件设计

高速扫描式数码印花机数据实时处理系统硬件设计

引用

作者：石路凡浙江大学

学位级别：硕士

近年来,随着计算机技术发展,数码印花技术劳动力投入小、灵活性高、污染小等优势逐渐凸显。但目前主流的扫描式数码印花机生产效率较传统的丝网印刷机存在一定差距,导致其在实际生产应用中普及率较低。扫描式数码印花机数据处理系统性... 详细信息

近年来,随着计算机技术发展,数码印花技术劳动力投入小、灵活性高、污染小等优势逐渐凸显。但目前主流的扫描式数码印花机生产效率较传统的丝网印刷机存在一定差距,导致其在实际生产应用中普及率较低。扫描式数码印花机数据处理系统性能主要取决于系统图像转置处理效率,提高图像转置效率将有效提高系统性能。为此,本文围绕扫描式印花机图像数据处理技术,研究开发了高速扫描式数码印花机数据实时处理系统,具有较高的工程应用价值。系统以海思Hi3536处理器和Xilinx Artix-7 FPGA为核心设计,处理器通过两路千兆光接口接收上位机点阵图像数据并完成解压缩,通过PCIe总线向FPGA转发图像数据;FPGA实现了图像数据转置与喷头同步喷印控制;结合行进列出转置法、非原地转置策略和分块转置策略,提高了图像转置运算效率,最终实现高速数码喷印。此外,系统还拓展了RS-232、RS-485和I2C接口用于与外围设备交互。测试结果表明,本文研究开发的数据处理系统工作稳定,数据处理带宽可达1775Mb/s,实现了600dpi分辨率、4色打印模式下平均710m2/h的喷印速度。

关键词：数码印花数据实时处理图像转置硬件设计 FPGA设计

来源：评论

学校读者我要写书评

暂无评论

一种对广告效果数据实时处理的计算系统

一种对广告效果数据实时处理的计算系统

引用

作者：丁善富林剑炜魏新杰 310013 浙江省杭州市西湖区文一西路75号3号楼

本发明公开了一种对广告效果数据实时处理的计算系统，包括数据收集服务器集群、数据传输服务器、数据实时处理服务器集群、数据存储服务器集群；本发明系统基于Kafka‑Stream模块开发了实时计算框架SW‑Kafka‑Stream，完全原生兼容Kafka... 详细信息

标准号: CN111221831B

本发明公开了一种对广告效果数据实时处理的计算系统，包括数据收集服务器集群、数据传输服务器、数据实时处理服务器集群、数据存储服务器集群；本发明系统基于Kafka‑Stream模块开发了实时计算框架SW‑Kafka‑Stream，完全原生兼容Kafka的设计模式，提供简单高效的流式计算功能，同时采用Pikamgr为数据存储服务提供平台化的运维管理、性能监视、配置自动更新等功能；因此，本发明系统可以快速对大流量场景下的业务需求提供数据支持，且一条采集数据从接收落地到实时计算完成的全流程时延在亚秒级以内，同时提供低成本但可靠高效的存储集群和便捷的集群管理平台。

关键词：数据实时处理实时计算集群数据存储服务器集群数据传输服务器数据收集服务器数据存储服务服务器集群采集数据广告效果集群管理计算功能计算系统模块开发设计模式数据支持性能监视业务需求运维管理自动更新大流量低成本平台化全流程流式时延兼容存储落地场景配置

来源：评论

学校读者我要写书评

暂无评论

一种超并发数据实时处理方法

一种超并发数据实时处理方法

引用

作者：王跃超江晓 264000 山东省烟台市中国(山东)自由贸易试验区烟台片区长江路160号星颐广场9号508号

本发明提供了一种超并发数据实时处理方法，设立边缘网关服务器和主服务器，对服务器的缓存区进行划分，实时调整各缓存分区的状态，建立数据清理线程进行数据清理，创建数据处理任务并分配任务管理进程，实时调整任务优先级；在线程执... 详细信息

标准号: CN118093137A

本发明提供了一种超并发数据实时处理方法，设立边缘网关服务器和主服务器，对服务器的缓存区进行划分，实时调整各缓存分区的状态，建立数据清理线程进行数据清理，创建数据处理任务并分配任务管理进程，实时调整任务优先级；在线程执行任务时设立分布式锁降低不同线程对同一任务的冲突，计算各服务器的负载信息并进行均衡分配，提高超并发数据的处理效率。本发明解决了现有技术中超并发数据在处理过程中的数据丢失、任务处理实时性差、系统运行不平稳、数据传输效率和资源利用率低的问题。

关键词：服务器并发实时调整数据清理线程数据传输效率数据实时处理资源利用率边缘网关处理效率分布式锁负载信息缓存分区均衡分配任务处理任务管理实时性差数据丢失系统运行主服务器数据处理缓存区分配冲突创建进程

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：