针对软件缺陷报告严重性预测中现有模型分类精度较低、深层次的语义特征不够丰富等问题,本文提出了一种基于BERT句子级别与词级别特征融合的SWF-BERT(Sentence-level and Word-level features Fusion-BERT)软件缺陷报告严重性预测模型....
详细信息
针对软件缺陷报告严重性预测中现有模型分类精度较低、深层次的语义特征不够丰富等问题,本文提出了一种基于BERT句子级别与词级别特征融合的SWF-BERT(Sentence-level and Word-level features Fusion-BERT)软件缺陷报告严重性预测模型.首先,对缺陷报告中的文本进行了数据预处理.其次,为了加强嵌入层中融合后的特征语义信息,提取词频最高的前100个单词,筛选出与缺陷严重性相关的特征词对其进行关键词嵌入操作,并融合嵌入层中的其他向量进行词嵌入.最后,将BERT模型输出层得到的特征(除[CLS]token外)送入多尺度卷积神经网络结合长短期记忆网络(MC-LSTM)模型中,加强了不同特征间远距离的时序信息.采用BERT模型输出得到的[CLS]句向量经过线性变换的结果与MC-LSTM模型输出经过线性变换得到的结果做可学习的自适应加权融合,实现了对软件缺陷报告严重性的有效预测.实验结果表明,使用SWF-BERT模型的平均准确率、召回率和F1值在Mozilla数据集中分别达到了68.41%、64.60%和64.86%,在Eclipse数据集中分别达到了61.32%、62.62%和59.31%,与其他分类算法相比,该方法在性能上得到了较大的提升.
根据不同木材表面的光谱反射率差异可以对木材树种进行分类识别。在木制家具及工艺品的生产实践中,考虑到防止木材腐败、开裂,美化木制品外表及延长木制品使用寿命等原因,经常需要在木材表面涂抹某种涂饰。涂抹涂饰将导致木材表面光谱反射率曲线产生漂移和变形,经实验验证无法使用原始木材表面的光谱反射率训练出的分类器模型对涂饰木材光谱曲线进行分类识别。相对于原始木材光谱曲线,涂饰木材光谱曲线的漂移和变形可以用非线性模型来拟合;而这种非线性拟合一般使用神经网络来实现。为了能够继续使用原始木材光谱反射率训练的分类器模型,使用全连接神经网络拟合了原始木材光谱反射率和涂饰木材光谱反射率之间的关系模型,通过该模型对涂饰木材光谱反射率进行校正,实现使用原始木材光谱所训练的分类器模型对涂饰木材进行分类识别的目的。此外,还使用卷积神经网络对光谱反射率提取卷积特征,引入表征原始木材光谱反射率和涂饰木材光谱反射率的卷积特征之间关系的隐藏层,将涂饰木材光谱反射率的卷积特征进行校正,并通过输出层输出其分类结果。为了验证所提出的校正模型的有效性,本文以20种木材样本的近红外光谱(950~1650 nm/near infrared spectra,NIR)和可见光/近红外光谱(350~1000 nm/visible and near infrared spectra,VIS/NIR)为研究对象,对比了8种不同涂饰建立的校正模型性能。实验结果表明,NIR的校正分类效果要好于VIS/NIR的校正分类效果;卷积神经网络的校正模型可以将涂抹透明涂饰木材表面的NIR分类正确率提高至70%以上;全连接网络模型可以将涂抹透明涂饰木材表面的NIR分类正确率提高至80%以上,但两种模型都无法对非透明涂饰进行校正。从模型的训练速度和识别效率上看,卷积神经网络的校正模型要好于全连接神经网络的校正模型。综上所述,通过神经网络建立起的原始木材光谱反射率和涂饰木材光谱反射率之间的非线性关系模型,可以对涂抹透明涂饰的木材光谱曲线进行校正。进而实现直接使用原始木材光谱反射率所训练出的分类器模型对涂抹透明涂饰木材光谱曲线进行分类识别,使得木材树种分类识别应用领域从原始木材扩展到涂抹透明涂饰木材,具有较好的实际应用意义和前景。
暂无评论