为解决医学文本使用预训练模型处理速度慢、对硬件的算力要求高、难以分辨少样本类别,以及使用传统小模型由于自身限制难以做到足够的准确度的问题,提出了一种融合预训练和元蒸馏的文本分类模型PTMD(fusion of pre-training and meta di...
详细信息
为解决医学文本使用预训练模型处理速度慢、对硬件的算力要求高、难以分辨少样本类别,以及使用传统小模型由于自身限制难以做到足够的准确度的问题,提出了一种融合预训练和元蒸馏的文本分类模型PTMD(fusion of pre-training and meta distillation model)。PTMD针对医学文本的多标签问题,通过对比训练对RoBERTa预训练方法进行微调,再由双向内置注意力简单循环单元充分获取语义信息。最后在传统蒸馏模型的基础上融合元学习和助教的思想,通过教学实验和双级模型等方法,提高模型的教学水平,最终在减少训练成本的基础上得到一个高性能医学文本分类模型。实验结果表明,教师模型在CHIP2019评测三数据集上的F1值达到了85.47%,同时学生模型在F1值损失1.45个百分点的情况下,将模型规模缩小到教师模型的近1/6,效果高于大多数传统预训练模型和知识蒸馏模型,证明了该模型具有良好的实用价值。
针对车联网(Vehicular Ad Hoc Networks,VANETs)匿名认证的安全与效率问题,利用区块链技术,提出基于区块链的群密钥分发的安全认证(Blockchain-based Group Key Distribution for Secure Authentication,BGSA)算法。BGSA算法利用路侧单...
详细信息
针对车联网(Vehicular Ad Hoc Networks,VANETs)匿名认证的安全与效率问题,利用区块链技术,提出基于区块链的群密钥分发的安全认证(Blockchain-based Group Key Distribution for Secure Authentication,BGSA)算法。BGSA算法利用路侧单元(Road-Side Units,RSU)作群管理员,利用区块链的不可更改性,通过智能合约(Smart Contract,SC)在群成员间分为群密钥。SC中携带的函数确保能以安全方式分发和更新群密钥。同时BGSA算法采用了轻量级群签名(Group Signature,GS)的消息认证策略。性能分析表明,所提BGSA算法能够防御典型的攻击。相比于同类认证算法,BGSA算法降低了认证消息、传输消息计算、通信开销。
暂无评论