检索结果-内蒙古大学图书馆

作者：马铭远彭涛徐越 102209 北京市昌平区未来科技城华能人才创新创业基地实验楼a楼

本发明公开了一种数据插补的方法和装置。其中，该方法包括：获取在目标时间段内的第一数据和第二数据，其中，第一数据和第二数据的数量均为多个，第一数据为测风塔测量的数据，第二数据为气象分析数据；根据第一数据和第二数据搭建目... 详细信息

标准号: CN105184072A

本发明公开了一种数据插补的方法和装置。其中，该方法包括：获取在目标时间段内的第一数据和第二数据，其中，第一数据和第二数据的数量均为多个，第一数据为测风塔测量的数据，第二数据为气象分析数据；根据第一数据和第二数据搭建目标网络模型；根据目标网络模型计算得到目标数据，其中，目标数据为在目标时间段内测风数据中需要插补的数据。本发明解决了由于长时间的缺失数据导致不能利用现有技术中时间与空间上相邻有效数据的相关性得到缺失测风数据的技术问题。

关键词：第二数据第一数据目标数据目标网络时间段测风数据模型计算气象分析缺失数据数据插补有效数据测风塔长时间空间上插补搭建内测一种测量获取导致公开解决需要

来源：评论

学校读者我要写书评

暂无评论

农业气象资料中连续性数据缺失插补方法研究

引用

水电能源科学 2010年第5期28卷 4-6,172页

作者：赵兰兰王恺赵兵河海大学水文水资源学院江苏南京210098 河南省驻马店水文水资源勘测局河南驻马店463000 河南省信阳市南湾水库管理局河南信阳464031

针对土壤相对湿度数据缺失通常会造成较大的资料误差以致影响研究结果精度,为有效插补农业气象资料,以实测资料中连续性缺失为研究对象,建立了包含降水因素的BP人工神经网络迭代插补模型,对驻马店农气站的0~20 cm土壤相对湿度的块状缺... 详细信息

针对土壤相对湿度数据缺失通常会造成较大的资料误差以致影响研究结果精度,为有效插补农业气象资料,以实测资料中连续性缺失为研究对象,建立了包含降水因素的BP人工神经网络迭代插补模型,对驻马店农气站的0~20 cm土壤相对湿度的块状缺失进行模拟,与线性插值方法的模拟结果对比表明,BP模型插值精度较高、稳定性较好、适用性较好,为农业气象资料连续性数据缺失提供了有效的处理方法。

关键词：数据缺失数据插补线性插值 BP模型农业气象资料

来源：评论

学校读者我要写书评

暂无评论

基于随机森林的大数据下数据缺失插补方法

基于随机森林的大数据下数据缺失插补方法

引用

作者：余泽禹长江大学

学位级别：硕士

现阶段,在大数据环境下数据缺失往往是不可避免的一个问题,如何处理这些缺失数据是数据分析领域研究的一个重点问题。数据的缺失往往会给数据分析带来一定的困扰,因为现阶段许多数据分析过程中必须依赖完整的数据集。这就迫使我们寻求... 详细信息

现阶段,在大数据环境下数据缺失往往是不可避免的一个问题,如何处理这些缺失数据是数据分析领域研究的一个重点问题。数据的缺失往往会给数据分析带来一定的困扰,因为现阶段许多数据分析过程中必须依赖完整的数据集。这就迫使我们寻求一种高效可行的方法来处理这些缺失数据。本文查阅国内外众多文献发现现有对缺失数据处理的方法大多只适应较小的数据量规模、缺失率较低的数据集。在面对处理基因组、蛋白质组、神经影像和其他高通量的这类高维和大规模数据时表现不佳并且需要耗费大量的计算时间。然而在当今社会,由于科技的迅速发展,对于大数据的研究显得尤为重要,通过对海量数据的分析,海量数据会为我们提供更多更有价值的信息。但是现在企业中绝大多数的数据都是非结构化的,而且其中还存在着不少的缺失数据。使得对于大数据的分析研究进程非常缓慢。因此,本文根据随机森林本身具有能处理高维数据且适合处理混合类型的丢失数据的理想特征,改进了一种能在大数据环境下高效处理缺失数据的方法。该算法通过对变量分组,每组轮流作为因变量进行多重响应回归,通过复合多元分裂构建森林,在保证插补精度的前提下提高计算速度。为了验证算法的可行性和适应性,本文从UCI和基因组数据库中选取了40个不同的数据集,对比了现有随机森林插补算法和主流的KNN、EM算法,评估了在不同数据缺失机制下和不同缺失率中各种缺失数据插补算法的性能,并且分析了数据相关性对于缺失数据插补精度的影响。本文实验表明该随机森林插补算法在总体上具有较强的稳定性,并且插补精度随着数据相关性的提高而提高,特别的是当数据非随机缺失时,中度和高度的缺失机制下的插补精度和计算速度都非常高效。

关键词：数据缺失大数据随机森林数据插补

来源：评论

学校读者我要写书评

暂无评论

二分类结局变量在横断面数据缺失插补中作用的研究

二分类结局变量在横断面数据缺失插补中作用的研究

引用

作者：朱炎中国医科大学

学位级别：硕士

目的:本研究旨在优化插补策略,解决在插补模型时是否应该加入结局变量(二分类)的问题,并在此基础上通过模拟缺失数据集的方法比较几种当前研究中最常用的插补方法在不同缺失率下插补的效果,综合推荐出适合横断面研究缺失数据处理的插补... 详细信息

目的:本研究旨在优化插补策略,解决在插补模型时是否应该加入结局变量(二分类)的问题,并在此基础上通过模拟缺失数据集的方法比较几种当前研究中最常用的插补方法在不同缺失率下插补的效果,综合推荐出适合横断面研究缺失数据处理的插补策略及其对应的插补方法,从而提高插补数据的准确性和科学性,为合理解决横断面研究缺失数据问题提供数据和理论支持,也为缺失数据插补方法的研究提供新思路。方法:本研究首先利用UCI公开数据库中的印度肝脏患者数据集(ILPD)建立不同缺失率的300个随机缺失的模拟缺失数据集,缺失率从5%到30%逐渐增加,其次,在各缺失率的基础上分别采用不同的插补方式(是否加入结局变量)和插补方法(多重插补、随机森林插补、K-最近邻插补)进行插补;然后,在对应的插补策略及插补方法下,比较其在不同缺失率下插补准确性,随后对插补后的数据集进行logistic回归分析,探索插补效果在影响因素分析上的表现。最后利用肝病门诊肝纤维化数据,确定插补方法在不同缺失率下的优劣,验证结局变量在插补中的作用。结果:随着缺失率的升高,插补准确度逐渐下降,5%缺失率下各方法的MMAPE最小,MA值最大,缺失率为30%时,各方法的MMAPE最大,MA值最小。ILPD数据集中,随着缺失率的变化,其情况略有不同,在15%缺失率下,不加入结局变量插补MMAPE值更小,而在15%缺失率以上,加入结局变量插补的MMAPE值更小;在离散变量插补上除了15%、20%缺失率下的多重插补,不加入结局变量后插补MA值略高外,其值分别为0.9537和0.9547以及0.9538和0.9399,差距仅为0.001和0.002,其他条件下均是加入结局变量插补MA值更大;多重插补在5%缺失率下加入结局变量插补后MADC值略大于不加入结局变量的MADC值,其值分别为0.2808和0.2737,在其他缺失率和插补方法相同的情况下,均为加入结局变量后MADC指标更小。在肝纤维化数据中,加入结局变量后随机森林插补和KNN插补在5%缺失率的条件下MMAPE略高,分别为0.065和0.069;其条件下均为加入结局变量后的MMAPE值更小;在15%缺失率下,加入结局变量后多重插补MA值略低于其不加入结局变量后的指标,分别为0.9468和0.9469,差距仅为0.0001;在其他条件下插补,均是加入结局变量的MA更大;5%缺失率时,对于KNN插补而言,加入结局变量后MADC略大于不加入结局变量的MADC值,其值分别为0.1079和0.0082;随机森林插补在10%的缺失率下不加入结局变量的MADC值为0.2662,在其他情况下均是加入结局变量后MADC更小。结论:在插补方式上,加入结局变量在不同缺失率和不同插补方法上优于不加入结局变量插补,缺失率越大,效果越明显。当缺失率较大时,随机森林插补和多重插补都有较为优秀的表现,在插补准确性方面,推荐加入结局变量后进行随机森林插补;在影响因素分析方面,推荐加入结局变量后进行多重插补。

关键词：缺失数据横断面数据二分类结局变量数据插补

来源：评论

学校读者我要写书评

暂无评论

通量观测数据的缺失插补研究——以禹城农业生态系统为例

通量观测数据的缺失插补研究——以禹城农业生态系统为例

引用

作者：李春沈阳农业大学

学位级别：硕士

由于CO<,2>等温室气体的增加而导致的全球变暖已成为目前最严峻的环境问题之一，针对于此的全球碳循环研究正逐渐受到了人们的重视。陆地生态系统碳循环作为全球碳循环的重要组成部分，在全球碳收支中占据着重要的地位，... 详细信息

由于CO<,2>等温室气体的增加而导致的全球变暖已成为目前最严峻的环境问题之一，针对于此的全球碳循环研究正逐渐受到了人们的重视。陆地生态系统碳循环作为全球碳循环的重要组成部分，在全球碳收支中占据着重要的地位，研究陆地碳循环机制及其对全球变化的响应，是预测大气CO<,2>含量及气候变化的重要基础。基于涡度相关技术的通量观测研究是目前最为直接的一种定量测定生态系统CO<,2>交换的技术。但是，由于该技术本身和环境条件的限制，使得我们在利用观测数据进行生态学意义解释之前，或向广大的全球变化和生态系统研究人员提供科学的数据服务之前，必须对从站点获得的观测数据进行一系列的处理。这其中不仅包括坐标轴旋转、WPL校正、异常值剔除以及“u<\'*>校正等一系列数据质量控制过程，同时还包括对由于系统故障、天气恶劣等外界干扰以及由上述数据质量控制过程所造成的数据缺失进行合理的插补。其中，由于缺失数据插补对结果估算的不确定性，使其在通量研究中具有重要的位置。但是，到目前为止，虽然通量界有许多可用的插补方法，但这些方法对各种缺失数据的插补都具有一定的局限性，所以缺失数据的插补在很大程度上要依赖于研究人员的选择。本研究即利用ChinaFLUX禹城农田通量观测站2003-2005年的观测数据，总结了通量观测数据缺失的机制与规律，并将多重填补法(MI)引入通量观测数据的缺失插补中，与目前普遍使用的非线性回归法和MDV方法进行比较，主要结果如下：\n (1)净生态系统CO<,2>通量(NEE)的大小与环境因子之间有较为明显的非线性响应关系。其中，白天的NEE与光合有效辐射(PPFD)符合Michaelis-Menten光响应曲线，夜间的NEE与温度(T)可以用Llpyd &Taylor呼吸方程进行拟合。所以，NEE的缺失值可以用环境因子和NEE二者之间的非线性关系进行插补。但是，在NEE的高值区，观测数据较为分散，NEE与环境因子的响应关系不甚明显，而玉米生长季夜间的NEE与温度的非线性关系尤为较差。而且，将全年有效的夜间观测数据与温度数据使用Lloyd & Taylor-呼吸方程进行拟合发现，该拟合曲线在低值区明显高估了实际观测数据。另外，在三年的观测数据中，2005年的观测数据与环境因子的响应关系较为分散，固该年NEE估计值的不确定性较其他两年大。\n (2)通过对数据缺失率规律的研究发现，三年观测数据的缺失率均在50％左右，且夜间观测数据的缺失率要明显小于白天的数据缺失率，其主要原因在于夜间的大气层结稳定，观测条件由于不符合涡度相关技术理论假设而被剔除。在季节上，冬季的数据缺失率要高于夏季，其原因也是因为冬季夜间大气的层结相对夏天稳定，由于理论假设被剔除的数据也较夏季多。\n (3)选取玉米生长季和冬小麦越冬季两个数据集的有效观测数据，利用蒙特卡罗方法随机制造10％-60％的数据缺失率，分别使用非线性回归法和MI方法进行缺失数据插补。结果显示，在两个数据集中，非线性方法的R2和MAE指标都要优于MI方法，而MI方法的得到的拟合值与实际值的残差分布为标准正态分布。MI方法与非线性方法具有非常好的相关性。可以认为，MI方法用于NEE缺失数据插补具有较好的可信性。但是，在冬小麦越冬季，由于NEE的缺失量较大，且NEE与环境因子之间的非线性响应关系不明显，所以两种方法的插补效果均较差。\n (4)本研究以MATLAB 7.

关键词：农业生态系统数据缺失数据插补数据处理系统

来源：评论

学校读者我要写书评

暂无评论

一种电力系统中缺失数据插补的方法

一种电力系统中缺失数据插补的方法

引用

作者：王倩宋曦智勇李志茹王晶刘志远张驯赵红 100000 北京市西城区西长安街86号

本发明公开了一种对电力系统缺失数据进行插补的复合模型。其技术方案是，首先对来自电力系统的原始数据集进行数据分类，分为完全数据集和不完全数据集；利用得到的完全数据集产生新的不完全数据集，分别使用基于链式方程的多元插补算... 详细信息

标准号: CN105117988A

本发明公开了一种对电力系统缺失数据进行插补的复合模型。其技术方案是，首先对来自电力系统的原始数据集进行数据分类，分为完全数据集和不完全数据集；利用得到的完全数据集产生新的不完全数据集，分别使用基于链式方程的多元插补算法和基于随机森林的插补算法对新产生的不完全数据集进行数据填充，并计算相应的填充误差；将上述算法所得的误差进行线性组合并最小化组合误差以确定各种算法的权重；最后使用上述各种算法对原始数据集进行数据插补，将各自填充的数据与相应算法的权重组合获得最终的填充值。本发明提供一种可操作性强的、基于链式方程的多元插补算法和随机森林的插补算法的复合模型，实现电力系统中缺失数据插补。

关键词：完全数据集插补算法算法电力系统原始数据集复合模型缺失数据随机森林插补链式一种填充进行分别使用权重组合数据插补数据分类数据填充线性组合组合误差填充值最小化权重产生计算各自公开确定

来源：评论

学校读者我要写书评

暂无评论

认知诊断中缺失数据的插补方法比较研究

引用

安阳工学院学报 2023年第4期22卷 61-67,84页

作者：陶怡汐牛彦敏刘馨媛重庆师范大学计算机与信息科学学院重庆401331

在认知诊断过程中,数据缺失往往不可避免。并且随着缺失率的增大,诊断准确率也会受到影响。经过调查发现认知诊断中缺失数据的处理研究比较缺乏。通过模拟实验,对比分析了在不同样本量和缺失比例条件下,多种数据插补方法的效果,并且在... 详细信息

在认知诊断过程中,数据缺失往往不可避免。并且随着缺失率的增大,诊断准确率也会受到影响。经过调查发现认知诊断中缺失数据的处理研究比较缺乏。通过模拟实验,对比分析了在不同样本量和缺失比例条件下,多种数据插补方法的效果,并且在实证数据中对数据插补方法进行验证。结果表明,针对不同样本量和缺失比例,不同的数据插补方法各有特色,实际应用中可根据数据集特征和自身需求选择合适的插补方法。

关键词：认知诊断缺失数据数据插补

来源：评论

学校读者我要写书评

暂无评论

利用宏编程实现风电场缺失数据的插补

引用

计算机光盘软件与应用 2013年第20期16卷 108-108,110页

作者：李天宇张杨长春工程学院长春130012 国网吉林省电力有限公司松原供电公司吉林松原138000

研究人员在进行数据插补的时候,需要进行大量的数学计算。利用宏编程可以用来实现回归分析的重复计算,从而得出更精确的分析结果。使用这种方法解决了风电场缺失数据的插补问题。本方法能够为研究人员整理和分析数据节省大量的时间。

关键词：宏编程回归分析数据插补风电

来源：评论

学校读者我要写书评

暂无评论

TSIT-PatchTST模型:一种净生态系统交换量(NEE)缺失值插补方法

引用

北京林业大学学报 2025年第2期47卷 105-118页

作者：齐建东石成城吴鹏北京林业大学信息学院北京100083 国家林业和草原局林业智能信息处理工程技术研究中心北京100083

【目的】净生态系统交换量(NEE)是评估陆地生态系统在全球碳循环中作用的重要指标,NEE原始观测数据缺失值的插补精度会直接影响生态系统关键参数的可靠性和精确性。为提高不同植被NEE在长时间连续性数据缺失情景下的插补精度,提出一种... 详细信息

【目的】净生态系统交换量(NEE)是评估陆地生态系统在全球碳循环中作用的重要指标,NEE原始观测数据缺失值的插补精度会直接影响生态系统关键参数的可靠性和精确性。为提高不同植被NEE在长时间连续性数据缺失情景下的插补精度,提出一种融合时间序列表征向量的TSIT-PatchTST深度学习模型。【方法】以全球长期通量观测网络站点的碳通量因子数据为研究对象,通过构造短缺失(1 d)、中缺失(7 d)、长缺失(30 d)3种随机连续数据缺失场景,评估边际分布采样法(MDS)、PatchTST模型、TS2Vec-PatchTST模型和TSIT-PatchTST模型在8种不同植被类型下NEE的插补结果。【结果】在短缺失场景下,4种插补方法都表现出最优的性能。随着连续缺失天数的增多,MDS的插补精度逐渐下降,该方法在长缺失场景下已不能对NEE进行有效插补,而其他3种深度学习模型能够有效地插补NEE缺失数据。综合3种缺失场景,TSIT-PatchTST模型表现出最优的插补性能,尤其在长缺失场景下该模型具有较高的插补精度。长缺失场景下,TSIT-PatchTST模型对31个站点插补结果的平均均方误差(MSE)为0.942μmol/(m2·s),平均绝对误差(MAE)为0.628μmol/(m2·s),平均R2为0.457。与PatchTST模型的插补结果相比,TSIT-PatchTST模型平均MSE下降了53.3%,平均MAE下降了39.7%,平均R2相持平。【结论】综合8种植被类型和3种缺失场景的应用结果,得出TSITPatchTST模型的插补效果最佳,并具有适应性。TSIT-PatchTST模型可应用于时间序列数据缺失场景以提高数据插补精度。

关键词：深度学习模型开发数据插补 TSIT-PatchTST模型碳循环植被类型净生态系统交换量(NEE)

来源：评论

学校读者我要写书评

暂无评论

基于多变量时空融合网络的风机数据缺失值插补研究

引用

自动化学报 2024年第6期50卷 1171-1184页

作者：詹兆康胡旭光赵浩然张思琪张峻凯马大中东北大学信息科学与工程学院沈阳110819 山东大学电气工程学院济南250100

风电场数据的完整性会因恶劣天气、输入信号丢失、传感器故障等原因遭到破坏,而大面积的数据缺失将给风机设备的运行和维护带来严峻考验.因此,提出一个多变量时空融合网络(Multivariate spatiotemporal integration network,MSIN)来解... 详细信息

风电场数据的完整性会因恶劣天气、输入信号丢失、传感器故障等原因遭到破坏,而大面积的数据缺失将给风机设备的运行和维护带来严峻考验.因此,提出一个多变量时空融合网络(Multivariate spatiotemporal integration network,MSIN)来解决缺失数据问题.首先,提出包含缺失值定位−指引机制的MSIN结构,揭示缺失部分数据的潜在信息,确保插补数据符合真实分布.其次,在网络中设计多视角时空卷积模块,捕捉同一风机多个变量与多个风机同一变量之间的局部空间和全局时间相关性,用于提高插补数据的真实性.接着,提出网络实时自更新机制,根据风电场实时变化情况实现在线调整,能够提升网络泛化能力,由此弥补重新训练模型的时间和空间成本高的缺陷.最后,通过真实的风机数据验证所提网络的有效性和优越性.相关分析结果表明,相较于MissForest等传统数据插补方法的插补性能,平均绝对误差(Mean absolute error,MAE)、平均绝对百分比误差(Mean absolute percentage error,MAPE)和均方根误差(Root mean square error,RMSE)分别下降18.54%、41.00%和3.15%以上.

关键词：风机数据数据插补时空特征生成对抗网络

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：