检索结果-内蒙古大学图书馆

作者：田野广东工业大学

学位级别：硕士

物联网技术的发展,为人们的生活带来了极大的便利。其中,高铁、普通列车的购票方式也主要从线下改成线上。但购票方式网络化也带来黄牛等违法倒卖车票的行为大量出现,黄牛凭借优于普通用户的购票技术条件,大量抢票囤票,影响了广大普通... 详细信息

物联网技术的发展,为人们的生活带来了极大的便利。其中,高铁、普通列车的购票方式也主要从线下改成线上。但购票方式网络化也带来黄牛等违法倒卖车票的行为大量出现,黄牛凭借优于普通用户的购票技术条件,大量抢票囤票,影响了广大普通用户的出行,票务系统中迫切需要对刷票行为进行反制。此外,目前的计算分析系统往往功能较为单一,票务系统中需要计算的业务却越来越多,新算法出现后需要现有系统能够快速对接使用,旧算法也需要不断升级替换,因此在实现反刷票目标的前提下,需要计算分析系统有高度扩展能力以应对更多挑战。为反制黄牛刷票行为与解决现有计算系统面临的业务多样性挑战,本课题立足于反黄牛这一具体业务需求,以提高系统扩展性为技术指标,提供一种智能车站票务系统的计算分析系统设计并进行实现。本计算系统主要完成工作如下:1.分析黄牛刷票方法,设计了一套结合用户历史行为分析、实时在线分析于一体的反刷票机制,并通过使用K均值聚类和决策树模型,结合大数据实时计算技术和后端技术完成了工程实现,实现了对票务系统中黄牛刷票行为的实时辨识与反制。2.设计开发票务系统的AI算法服务模块。使用Django+Sk Learn开发实现AI算法库以及远程RPC调用服务,实现了常用算法、自定义算法(.py格式)的存储以及通过网络请求提供计算服务的功能,使得本系统具有AI算法计算上的高度扩展能力。3.设计开发票务系统分布式实时计算服务模块。为了满足系统高实时性需求,使用了Flink计算引擎+Yarn+Scala作为基础技术。在购票窗口期间,通过此计算模块拉取数据实现行为分析等各种业务计算功能,是实时计算分析系统实现大流量、高并发下可靠低延时计算的关键功能模块。4.设计开发购票请求排队分发模块,配合实时计算模块,实现不同优先级用户的区别处理方法,从而使得刷票用户的购票请求被延后处理,实现对刷票用户的惩罚。本设计开发完成后,经过各项单元测试、集成测试,验证了各个模块的软件可靠性、稳定性,系统功能整体达到预期效果。本系统可很好地解决第一批次放票以及黄牛自身也利用大量用户账号也进行候补购票的问题,配合已有的候补购票系统,可以强有力地应对票务系统中存在的刷票行为。

关键词：反刷票 Scikit-learn 实时计算 K均值算法决策树

来源：评论

学校读者我要写书评

暂无评论

基于spark streaming的云南公路联网实时计算系统设计与实现

基于spark streaming的云南公路联网实时计算系统设计与实现

引用

作者：王璐中南财经政法大学

学位级别：硕士

传统行业向数字化转型是近年来企业发展的趋势,企业数据资源随着企业生产活动中各个信息系统的应用迅速增长,ERP、CRM、HR、OA等办公系统逐渐成为企业信息化建设的标准配置,随之产生的海量数据仅作为商业机密存储在数据库中,没有发挥数... 详细信息

传统行业向数字化转型是近年来企业发展的趋势,企业数据资源随着企业生产活动中各个信息系统的应用迅速增长,ERP、CRM、HR、OA等办公系统逐渐成为企业信息化建设的标准配置,随之产生的海量数据仅作为商业机密存储在数据库中,没有发挥数据资源应有的作用。近几年不断涌现的中间件技术发展迅速,逐渐形成了一条数据自动采集和处理的流程,并通过数据仓库的形式对数据资源进行管理,从而为运营决策形成有参考价值的数据资产,突显出了数据资源的可创造性商业价值。在2019年,这一体系化的企业数字化转型工程被称之为“数据中台”,本文所述的“大数据计算平台”则是“数据中台”中的重要组成部分。云南省公路的多个信息系统产生的数据量大且种类多,迫切需求一个大数据实时计算平台,采集生产系统数据,并提供全流程的数据计算服务,以满足通行数据分析,收入运营分析,通行记录费用稽核的各种需求。云南省公路联网系统目前采用hive离线计算方式进行数据分析与通行记录外部稽核计算,此种方式需要等待数据到达后定时采集入库,再利用hive离线计算进行批数据处理,任务排队等待,最后计算结果数据输出。这种离线计算方式的缺点是数据流转周期过长,无法支撑大数据实时计算的应用场景。在现实场景中,以云南省公路联网系统hive离线计算平台为例,针对PB级数据关联运算,至少需要12小时的流转周期才能完成一个批次任务结果数据的计算。为解决云南公路联网项目现有的hive离线计算平台数据采集处理流转周期长、延时高的问题,本文对大数据计算平台及其内部计算技术进行深入研究,主要研究内容如下:1.研究云南省公路联网各数据生产子系统的数据特征,探究流计算引擎spark streaming在云南省公路联网系统中进行通行数据分析,收入运营分析,稽核数据等实时计算场景中的可用性和可操作性。2.通过研究各行业领域流数据处理计算系统,为云南省公路联网系统设计和实现基于交通领域场景的实时计算系统。3.依据前两项研究的成果,本文在spark环境下,针对云南省公路联网收费的实时计算应用场景进行从功能到技术的需求分析,系统研究设计并最终实现了实时计算平台,该平台主要包括流数据管理、流数据处理计算、数据查询和数据工厂四大模块。该平台模块化公路联网收费领域常用的具体数据处理操作,并固化流数据处理流程,将其抽象成流作业进行系统化运行。该平台前端页面设计拖拽式组件以方便业务运营人员的使用。本文研究并实现的基于spark streaming的实时计算平台已在云南公路联网项目中完成生产开发,在2020年1月1日全国取消省界收费站切换后正式上线支撑日常业务分析及道路运营监测,对高速交通偷、逃费行为进行稽核整治。

关键词：实时计算流处理公路联网

来源：评论

学校读者我要写书评

暂无评论

基于GPU的物体可见外壳实时计算方法研究

基于GPU的物体可见外壳实时计算方法研究

引用

作者：宫达峰哈尔滨工业大学

学位级别：硕士

随着运动跟踪、虚拟现实等研究领域的快速兴起,传统的物体可见外壳计算过程由于其较慢的计算速度已不能达到某些领域的要求,实时计算可见外壳已成为计算机视觉等领域的基础应用之一,并将在未来的诸多研究应用领域扮演起重要的角色。本... 详细信息

随着运动跟踪、虚拟现实等研究领域的快速兴起,传统的物体可见外壳计算过程由于其较慢的计算速度已不能达到某些领域的要求,实时计算可见外壳已成为计算机视觉等领域的基础应用之一,并将在未来的诸多研究应用领域扮演起重要的角色。本文提出了一种基于GPU技术的物体可见外壳计算方法。\n 算法首先介绍了如何在GPU独特的硬件平台上建立完整高效的八叉树数据结构,该结构能够将三维空间中体元和并行算法中的CUDA硬件线程建立起一一对应的关系,可以有效保证算法的计算精度。然后,针对体元投影测试步骤中大规模并行数据的特点,利用GPU的并行特点加速点集凸包的计算过程。最后,本文对传统的Marching Cubes算法中数据处理阶段进行了优化加速,通过建立体元边的索引表消除冗余边计算问题,采用的并行流失缩减策略可以快速的剔除空体元,有效的提高原有算法的计算速度,极大的缩短了程序运行时间。\n 实验结果表明,本中所提出的算法,在数据量较大的情况下,基于NVidia显卡平台上可以精确计算出物体的可见外壳,并达到很理想的速度要求。

关键词： GPU技术物体可见外壳硬件平台实时计算数据处理

来源：评论

学校读者我要写书评

暂无评论

基于实时计算的脉冲波形合成技术研究与设计实现

基于实时计算的脉冲波形合成技术研究与设计实现

引用

作者：戚士瑞电子科技大学

学位级别：硕士

脉冲信号发生器可以应用于诸多领域如:电子系统测试、超宽带通信、电子干扰设备等,随着现代电子系统日益复杂,对脉冲信号的可编程性和参数高分辨率调节都提出了新的要求,传统的模拟方法和数字方法合成脉冲信号都有一定的局限性,脉冲定... 详细信息

脉冲信号发生器可以应用于诸多领域如:电子系统测试、超宽带通信、电子干扰设备等,随着现代电子系统日益复杂,对脉冲信号的可编程性和参数高分辨率调节都提出了新的要求,传统的模拟方法和数字方法合成脉冲信号都有一定的局限性,脉冲定时参数的调节范围和分辨率易受采样率和存储器的限制。本文在此背景下创新的提出了脉冲波形实时计算技术,此技术可在以“FPGA+DAC”为主体的硬件平台上实现一个低成本、无存储器、全相位、并行的脉冲信号发生器,其中脉冲定时参数和频率可以实时、宽范围、高分辨率调节。其主要研究内容如下:1、脉冲波形合成实时计算技术研究,针对传统DDS技术合成的脉冲波形定时分辨率难以提升的问题,研究提出了两种脉冲波形实时计算算法,通过对波形样点的精准计算来重构脉冲波形,利用牺牲幅度换取时间的思想来提高脉冲波形定时分辨率。在实际工程中,两种算法在FPGA所耗资源和实现难易度存在差异,可应用于不同硬件条件的场景。2、脉冲波形合成模块逻辑设计实现,结合“FPGA+DAC”的硬件平台,完成两种脉冲波形实时计算算法逻辑程序的实现。针对波形采样率较高,采用多路并行计算的方式以达到更高采样率;针对浮点计算,利用上位机整合计算参数发送至FPGA,以降低资源利用率和提高计算准确度;针对高频脉冲幅度波动较大的问题,将脉冲波形根据频率划分每个周期为固定点数,利用可变时钟重构脉冲波形。3、脉冲波形多种触发模式及高级功能实现,在并行计算的背景下,脉冲波形的触发功能如连续、单次、门控触发需要多路精准的门控信号来控制脉冲波形的中断,可以巧妙的利用相位溢出产生此门控信号。高级功能有猝发和PWM,可以采用“存储+实时计算”架构实现高精度PWM,利用相位溢出的特点实现猝发功能,猝发波形数调节范围可达2～2-1。测试结果表明,设计的脉冲波形合成模块可实现2.5 GSa/s采样率、最高频率330 MHz、最低边沿时间1 ns、最小脉宽1.5 ns、定时分辨率为10 ps、频率分辨率为1 u Hz的脉冲波形。脉冲各参数都可宽范围高分辨率调节,且具备三种触发模式、PWM和猝发高级功能,与国外是德科技脉冲函数任意噪声发生器81160A的水平相当。

关键词：脉冲波形实时计算多路并行定时分辨率 PWM

来源：评论

学校读者我要写书评

暂无评论

基于Apache Flink的Streaming SQL实时计算平台的设计与实现

基于Apache Flink的Streaming SQL实时计算平台的设计与实现

引用

作者：曹钢华中科技大学

学位级别：硕士

传统基于Hadoop生态的离线数据存储计算方案已在业界大规模应用,但受制于离线计算的高时延性,越来越多的数据应用场景已从离线转为实时。Apache Flink作为一个近几年快速发展的分布式大数据处理引擎,凭借其在实时(流)计算上的明显优势... 详细信息

传统基于Hadoop生态的离线数据存储计算方案已在业界大规模应用,但受制于离线计算的高时延性,越来越多的数据应用场景已从离线转为实时。Apache Flink作为一个近几年快速发展的分布式大数据处理引擎,凭借其在实时(流)计算上的明显优势和相对完备的SQL支持,成为各公司实时计算平台的首选计算引擎。然而传统的实时计算平台大多通过打包的方式提交任务,用户的学习成本较高,开发效率低下,任务的维护成本也较高。因此迫切需要提供SQL化编程的实时计算平台。基于Apache Flink的Streaming SQL实时计算平台主要包括任务管理、数据源管理和SQL引擎模块。任务管理模块是整个平台的后端,负责任务的管理、提交、监控,管理部分包含SQL任务的开发状态、版本等管理;任务提交部分则交由部署在不同集群的多个Launcher通过Flink客户端执行具体的操作;监控部分包含作业监控和Launcher监控,实时监控任务的状态并及时更新,实时监控Launcher的状态以便在Launcher挂掉时能够正确处理对应的任务。数据源管理模块负责不同数据源信息的注册、更新以及用户自定义函数及相应文件的管理。SQL引擎模块负责将用户的SQL任务逐条按Flink SQL的类型解析出来并交由Flink引擎执行,通过Flink提供的Catalog接口实现SQL中数据源信息与数据源管理模块的对接,使得用户的SQL任务中不再需要编写DDL(Data Definition Language,数据定义语言),只需编写DML(Data Manipulation Language,数据操纵语言)。本平台使用Spring Boot开发框架,采用My SQL实现数据持久化,通过Zoo Keeper保证服务高可用性和任务可靠性。实时计算平台通过统一数据源管理,仅通过编写SQL DML完成实时计算任务的开发,降低了开发成本,提升了开发效率。经过对常用数据源的测试能够较好的完成实时计算任务,基本达到了预期目标。

关键词： Flink 实时计算流计算 Streaming SQL

来源：评论

学校读者我要写书评

暂无评论

GriDoc实时计算接口的设计与实现

GriDoc实时计算接口的设计与实现

引用

作者：魏文杰华南理工大学

学位级别：硕士

随着信息化的推进,数据正在爆发式地增长,人们迎来了大数据时代。大数据给人们的认知和决策提供了全新的视角,海量数据的存储处理也成为了备受关注的课题。大数据具有异构、分布、海量和价值密度低的特点,传统的关系数据库对此显得力不... 详细信息

随着信息化的推进,数据正在爆发式地增长,人们迎来了大数据时代。大数据给人们的认知和决策提供了全新的视角,海量数据的存储处理也成为了备受关注的课题。大数据具有异构、分布、海量和价值密度低的特点,传统的关系数据库对此显得力不从心。人们开始寻求更灵活、可扩展的数据模型,NoSQL于是得到快速发展。齐德昱教授提出GriDoc模型以处理大数据的存储和访问,该模型清晰地定义了数据的组成和存储特性,能更好地描述具体的应用场景,更适合面向知识管理的大数据访问。大数据处理主要有批处理和实时计算两种模型。Hadoop是经典的批处理框架,能很好地处理海量数据,但实时性不强。相反,实时计算更适用于实时性强的场景,其响应时间能达到秒甚至毫秒以下,Storm是目前主流的实时计算框架。本文充分研究了现有的数据模型及GriDoc模型,对比它们的特点。GriDoc模型能很好地表示海量数据,但数据加工和操作能力较弱。本文通过实现实时计算接口,加强了GriDoc的数据处理能力,使其成为数据获取、处理、输出一体化的完善的大数据解决方案。本文首先提出了处理器数据模型,用于表示和控制数据处理。用处理器表示自定义的数据处理程序,把存储资源抽象成容器,并用于支持处理器运算,最后通过视图向外部提供处理结果。基于该模型,本文设计了GriDoc实时计算接口,并使用Storm实现了实时计算体系结构。在实时计算接口的支持下,用户可以自定义数据处理程序,并以插件的形式接入实时计算体系结构。当需要处理数据时,只需要通过配置,就能把处理程序和处理规则应用到数据源,数据处理变得异常简单。此外,外部用户可以通过数据接口实时地访问处理结果,这意味着我们可以直接使用整合好的结果,而不需要接触原始数据。接着,本文使用实时计算接口实现通用统计模块。一方面检验了实时计算接口的可用性,另一方面也提供实时性强、面向配置的统计分析模块。用户可通过可视化界面观察统计结果辅助决策,也能通过数格驱动器提供的统计接口获取统计结果。最后,本文对完善后的GriDoc系统进行部署和测试,分析其优势和不足,说明未来的研究方向。

关键词：大数据管理 GriDoc Storm 实时计算

来源：评论

学校读者我要写书评

暂无评论

实时计算中的某些新观念

引用

抗恶劣环境计算机 1995年第2期9卷 16-33,F004页

作者：冯斐玲

概括了实时计算目前的发展交况，并介绍了实时系统设计中的基本概念和主要问题，同时也筒略地讨论了有关文献所提出的解决这些问题的各种方法。

关键词：实时计算实时系统设计

来源：评论

学校读者我要写书评

暂无评论

实时计算的操作系统：—iRMX forWindows

引用

电子科技杂志 1993年第4期 44-49页

作者：常义林信息工程系

由于IBM PC及其兼容机在实时控制及自动化领域的应用不断增长，就需要一种既像DOS易于使用又能结合实时，多任务特点的软件本文介绍的iRMX forWindows操作系统。提供在同一系统中同时运行现有的DOS软件及实时软件的环境，它是通过iRMX... 详细信息

由于IBM PC及其兼容机在实时控制及自动化领域的应用不断增长，就需要一种既像DOS易于使用又能结合实时，多任务特点的软件本文介绍的iRMX forWindows操作系统。提供在同一系统中同时运行现有的DOS软件及实时软件的环境，它是通过iRMXⅢ操作系统下把DOS作为一个虚86方式的任务加以运行实现的，通过文件共享、动态数据交换（DDE）、以及扩展的一套DOS系统调用实现DOS与实时程序的通信。

关键词：操作系统 iRMX 实时计算

来源：评论

学校读者我要写书评

暂无评论

实时计算在商业银行数字化转型中的应用及建议

引用

中国金融电脑 2023年第5期 35-40页

作者：宋首文中国银行企业级架构办公室

在数字中国建设过程中,数字经济的发展极为重要,商业银行数字化转型则是数字经济发展中不可或缺的一个环节。在客户体验提升和金融科技创新的双轮驱动下,如何通过对大量有效数据的探索分析实现传统银行业务的流程重塑,如何构建与互联网... 详细信息

在数字中国建设过程中,数字经济的发展极为重要,商业银行数字化转型则是数字经济发展中不可或缺的一个环节。在客户体验提升和金融科技创新的双轮驱动下,如何通过对大量有效数据的探索分析实现传统银行业务的流程重塑,如何构建与互联网经济环境相匹配的客户服务能力,将成为商业银行数字化转型的战略重点。

关键词：传统银行业务商业银行数字化转型客户体验双轮驱动战略重点实时计算互联网

来源：评论

学校读者我要写书评

暂无评论

实时计算输变电系统的理论线损

引用

华中电力 1993年第2期6卷 67-69页

作者：李碧君湘潭电业局

文章首先分析目前计算理论线损存在的主要问题及其原因,为此提出利用实时数据计算理论线损,并阐明了计算方法和实施实时计算理论线损的一些具体问题。实时计算理论线损具有准确性高,按元件分时间独立计算的特点,为各级电力部门合理编制... 详细信息

文章首先分析目前计算理论线损存在的主要问题及其原因,为此提出利用实时数据计算理论线损,并阐明了计算方法和实施实时计算理论线损的一些具体问题。实时计算理论线损具有准确性高,按元件分时间独立计算的特点,为各级电力部门合理编制各考核单位的线损率指标提供科学依据,建议有条件的单位逐步进行理论线损的实时计算。

关键词：理论线损实时计算输变电系统电能损耗电网运行线损电量功率损耗调相机降损线损计算

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：