近年来,医疗健康领域的实体分类与关系抽取引起了广泛关注。以往工作大多采用流水线模型,此类模型容易忽略任务间联系并造成错误传播,而联合学习则能够很好地避免这2个问题。为此,把卷积神经网络与支持向量机、条件随机场相结合,构建了联合神经网络模型。在此模型基础上,以参数共享的方式,分别通过任务联合、模型联合以及特征联合对实体分类与关系抽取2个任务进行联合学习,在药品说明书语料库中取得了非常不错的效果,实体分类和关系抽取的 F 值分别达到了98.0%和98.3%。实验表明,联合神经网络模型对于实体分类和关系抽取是非常有效的。
人工神经网络的自适应结构学习(AdaNet)是基于Boosting集成学习的神经结构搜索框架,可通过集成子网创建高质量的模型。现有的AdaNet所产生的子网之间的差异性不显著,因而限制了集成学习中泛化误差的降低。在AdaNet设置子网网络权重和集成子网的两个步骤中,使用Adagrad、RMSProp、Adam、RAdam等自适应学习率方法来改进现有AdaNet中的优化算法。改进后的优化算法能够为不同维度参数提供不同程度的学习率缩放,得到更分散的权重分布,以增加AdaNet产生子网的多样性,从而降低集成学习的泛化误差。实验结果表明,在MNIST(Mixed National Institute of Standards and Technology database)、Fashion-MNIST、带高斯噪声的Fashion-MNIST这三个数据集上,改进后的优化算法能提升AdaNet的搜索速度,而且该方法产生的更加多样性的子网能提升集成模型的性能。在F1值这一评估模型性能的指标上,改进后的方法相较于原方法,在三种数据集上的最大提升幅度分别为0.28%、1.05%和1.10%。
暂无评论