检索结果-内蒙古大学图书馆

计算机工程与应用 2023年第4期59卷 139-146页

作者：蔡银琼范意兴郭嘉丰张儒清中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学北京100190

当前,信息检索系统通常采用“检索+重排序”的多级流水线架构。基于稠密表示的检索模型已经被逐渐应用到第一阶段检索中,并展现出了相比传统的稀疏向量空间模型更好的性能。考虑到第一阶段检索所需的高效性,大多数情况下这些模型的基本... 详细信息

当前,信息检索系统通常采用“检索+重排序”的多级流水线架构。基于稠密表示的检索模型已经被逐渐应用到第一阶段检索中,并展现出了相比传统的稀疏向量空间模型更好的性能。考虑到第一阶段检索所需的高效性,大多数情况下这些模型的基本架构都采用双编码器(bi-encoder)结构。对查询和文档进行独立的编码,分别得到一个稠密表示向量,然后基于获得的查询和文档表示使用简单的相似度函数计算查询-文档对的得分。然而,在编码文档的过程中查询是不可知的,而且文档相比查询而言通常包含更多的主题信息,因此这种简单的单表示模型可能会造成严重的文档信息丢失。为了解决这个问题,设计了一种新的语义检索方法MDR(multi-representation dense retrieval),将文档编码成多个稠密向量表示。同时,该方法引入覆盖率(coverage)机制来保证多个向量之间的差异性,从而能够覆盖文档中不同主题的信息。为了评估模型性能,在MS MARCO数据集上进行了段落排序和文档排序任务,实验结果证明了MDR方法的有效性。

关键词：语义检索双编码器模型信息检索

来源：评论

学校读者我要写书评

暂无评论

一种基于自适应PoT量化的无乘法神经网络训练方法

引用

高技术通讯 2024年第6期34卷 567-577页

作者：刘畅张蕊支天中国科学院大学北京100049 中国科学院计算技术研究所智能处理器研究中心北京100190 中国科学院计算技术研究所处理器芯片全国重点实验室北京100190

当前的深度神经网络的训练过程中需要包含大量的全精度乘累加(MAC)操作,导致神经网络模型的线性层(包含卷积层和全连接层)的计算过程所需的能耗占整体能耗的绝大部分,达90%以上。本文提出了一种自适应逐层缩放的量化训练方法,可支持在... 详细信息

当前的深度神经网络的训练过程中需要包含大量的全精度乘累加(MAC)操作,导致神经网络模型的线性层(包含卷积层和全连接层)的计算过程所需的能耗占整体能耗的绝大部分,达90%以上。本文提出了一种自适应逐层缩放的量化训练方法,可支持在神经网络计算全流程(前向传播和后向传播)将全部线性层中的全精度乘法替换为4位定点数加法计算和1位异或运算。实验结果表明,上述方法在能耗和准确率方面都优于现有方法,可支撑在训练过程中减少达95.8%的线性层能耗,在ImageNet数据集上的卷积神经网络和在WMT En-De任务上的Transformer网络得到小于1%的精度损失。

关键词：神经网络量化训练加速低能耗

来源：评论

学校读者我要写书评

暂无评论

双模态域无关提示引导的图像分类域适应

引用

中国图象图形学报 2025年第2期30卷 503-517页

作者：许媛媛阚美娜山世光陈熙霖中国科学院计算技术研究所北京100190 中国科学院大学计算机科学与技术学院北京100049 鹏城实验室深圳518055

目的域适应技术旨在利用有标签的源域信息提升无标签目标域上的任务性能。近期,对比语言—图像预训练模型CLIP(contrastive language-image pre-training)展现出了强大的泛化能力,一些研究将其引入到域适应中,以提升模型在目标域上的泛... 详细信息

目的域适应技术旨在利用有标签的源域信息提升无标签目标域上的任务性能。近期,对比语言—图像预训练模型CLIP(contrastive language-image pre-training)展现出了强大的泛化能力,一些研究将其引入到域适应中,以提升模型在目标域上的泛化能力。然而,目前基于CLIP的域适应方法通常只调整文本模态的特征,保持视觉模态的特征不变,从而导致目标域的性能提升受限。为此,提出了双模态域无关提示引导的图像分类域适应方法DDAPs(dualmodality domain-agnostic prompts)。方法DDAPs引入了双模态提示学习,即通过文本和视觉提示学习微调文本特征和图像特征,协同处理域差异的问题。一方面,DDAPs致力于学习更具判别性的文本和图像特征,使模型在当前下游分类任务上的性能更好;另一方面,DDAPs通过消除源域和目标域之间的域差异,学习域不变的文本和图像特征,以提升模型在目标域上的性能。以上两个目标可通过添加域无关文本提示模块和域无关视觉提示模块,使用分类损失和对齐损失微调CLIP来实现。对于分类损失,DDAPs利用源域的标签和目标域的伪标签对样本进行分类;而对于对齐损失,DDAPs则通过最大均值差异损失(maximum mean discrepancy,MMD)来对齐源域和目标域的图像特征分布,从而消除图像特征的域差异。结果本方法既适用于单源域适应,也适用于多源域适应。对于单源域适应,本方法在Office-Home、VisDa-2017及Office-31这3个数据集上进行了实验,分别取得了87.1%、89.6%和91.6%的平均分类准确率,达到了当前最好的性能;对于多源域适应,本方法在Office-Home上进行了实验,取得了88.6%的平均分类准确率。同时,在Office-Home上进行了消融实验,验证了域无关文本提示模块和域无关视觉提示模块的有效性。结论DDAPs通过域无关的文本和视觉提示模块微调CLIP预训练模型,使模型学习源域与目标域之间域不变且判别性的特征,有效提升了模型在目标域上的性能表现。

关键词：单源域适应多源域适应域适应迁移学习双模态提示学习

来源：评论

学校读者我要写书评

暂无评论

面向事件常识知识获取的事件分类研究

引用

中文信息学报 2024年第6期38卷 45-57页

作者：王亚曹存根王石中国科学院计算技术研究所智能信息处理重点实验室北京100190 中国科学院大学北京100049

在计算机科学和语言学中,针对动词语义层面上的分类问题,研究者们提出了不同的分类方法,但这些分类方法无一例外地都存在着分类不全面等分类学中经常遇到的问题。一个动词表示一个事件,该文以获取事件相关的常识知识为出发点,以动词性... 详细信息

在计算机科学和语言学中,针对动词语义层面上的分类问题,研究者们提出了不同的分类方法,但这些分类方法无一例外地都存在着分类不全面等分类学中经常遇到的问题。一个动词表示一个事件,该文以获取事件相关的常识知识为出发点,以动词性语素为分类依据对常见的现代汉语动词进行语义分类,此分类方法分类标准清晰、不丢失语义信息,并且可实现自动分类,该文重点以“自移”类动词为例来介绍我们的分类方法。此外,该文用描述逻辑对动词性语素及语素之间的分类关系进行形式化表示,动词性语素的形式化表示是动词形式化表示的基础。根据该事件语义分类结构,可以有效地进行事件属性常识知识和事件关系常识知识的获取。

关键词：事件语义分类特征属性常识知识获取

来源：评论

学校读者我要写书评

暂无评论

面向大数据处理框架的JVM优化技术综述

引用

软件学报 2023年第1期34卷 463-488页

作者：汪钇丞曾鸿斌许利杰王伟魏峻黄涛计算机科学国家重点实验室(中国科学院软件研究所) 北京100190 中国科学院大学北京100049 中科南京软件技术研究院江苏南京211135

当前,以Hadoop、Spark为代表的大数据处理框架,已经在学术界和工业界被广泛应用于大规模数据的处理和分析.这些大数据处理框架采用分布式架构,使用Java、Scala等面向对象语言编写,在集群节点上以Java虚拟机(JVM)为运行时环境执行计算任... 详细信息

当前,以Hadoop、Spark为代表的大数据处理框架,已经在学术界和工业界被广泛应用于大规模数据的处理和分析.这些大数据处理框架采用分布式架构,使用Java、Scala等面向对象语言编写,在集群节点上以Java虚拟机(JVM)为运行时环境执行计算任务,因此依赖JVM的自动内存管理机制来分配和回收数据对象.然而,当前的JVM并不是针对大数据处理框架的计算特征设计的,在实际运行大数据应用时经常出现垃圾回收(GC)时间长、数据对象序列化和反序列化开销大等问题.在一些大数据场景下,JVM的垃圾回收耗时甚至超过应用整体运行时间的50%,已经成为大数据处理框架的性能瓶颈和优化热点.对近年来相关领域的研究成果进行了系统性综述:(1)总结了大数据应用在JVM中运行时性能下降的原因;(2)总结了现有面向大数据处理框架的JVM优化技术,对相关优化技术进行了层次划分,并分析比较了各种方法的优化效果、适用范围、使用负担等优缺点;(3)探讨了JVM未来的优化方向,有助于进一步提升大数据处理框架的性能.

关键词：大数据系统 Java虚拟机分布式系统自动内存管理

来源：评论

学校读者我要写书评

暂无评论

ARM架构下硬件辅助的内存隔离机制综述

引用

高技术通讯 2024年第11期34卷 1127-1141页

作者：许佳丽武成岗王喆处理器芯片全国重点实验室中国科学院计算技术研究所北京100190 中国科学院大学北京100090

内存隔离是一项缓解软件潜在安全危害、提高软件安全性和鲁棒性的重要防御机制。内存隔离机制保护不同组件中的敏感数据,强制敏感数据仅由组件信任的代码访问。虽然软件漏洞无法避免,但内存隔离机制可以在代码存在漏洞时依旧提供有效的... 详细信息

内存隔离是一项缓解软件潜在安全危害、提高软件安全性和鲁棒性的重要防御机制。内存隔离机制保护不同组件中的敏感数据,强制敏感数据仅由组件信任的代码访问。虽然软件漏洞无法避免,但内存隔离机制可以在代码存在漏洞时依旧提供有效的敏感数据隔离保护,使得攻击者无法直接窃取或篡改被隔离的数据。出于性能考虑,依靠硬件辅助的内存隔离机制得到了广泛重视,该方向力求在提供有效安全保证的前提下,利用硬件大幅减少内存隔离机制给软件带来的额外开销。因此大量研究都着力于挖掘硬件潜力,从而支持高效、安全和完备的内存隔离机制。本文针对主流架构之一的ARM,系统性地总结了近年ARM架构硬件辅助的内存隔离机制的相关研究,并进一步归纳出它们的研究现状和适用场景。最后,针对现有硬件辅助内存隔离机制面临的安全现状和新场景,展望了该领域未来的发展方向。

关键词：硬件辅助的内存隔离 ARM架构域隔离地址隔离

来源：评论

学校读者我要写书评

暂无评论

国产SW26010-Pro处理器上3级BLAS函数众核并行优化

引用

软件学报 2024年第3期35卷 1569-1584页

作者：胡怡陈道琨杨超马文静刘芳芳宋超博孙强史俊达中国科学院软件研究所并行软件与计算科学实验室北京100190 中国科学院大学北京100049 北京大学数学科学学院北京100871 国家并行计算机工程技术研究中心北京100190

BLAS(basic linear algebra subprograms)是最基本、最重要的底层数学库之一.在一个标准的BLAS库中,BLAS 3级函数涵盖的矩阵-矩阵运算尤为重要,在许多大规模科学与工程计算应用中被广泛调用.另外,BLAS 3级属于计算密集型函数,对充分发... 详细信息

BLAS(basic linear algebra subprograms)是最基本、最重要的底层数学库之一.在一个标准的BLAS库中,BLAS 3级函数涵盖的矩阵-矩阵运算尤为重要,在许多大规模科学与工程计算应用中被广泛调用.另外,BLAS 3级属于计算密集型函数,对充分发挥处理器的计算性能有至关重要的作用.针对国产SW26010-Pro处理器研究BLAS 3级函数的众核并行优化技术.具体而言,根据SW26010-Pro的存储层次结构,设计多级分块算法,挖掘矩阵运算的并行性.在此基础上,基于远程内存访问(remote memory access,RMA)机制设计数据共享策略,提高从核间的数据传输效率.进一步地,采用三缓冲、参数调优等方法对算法进行全面优化,隐藏直接内存访问(direct memory access,DMA)访存开销和RMA通信开销.此外,利用SW26010-Pro的两条硬件流水线和若干向量化计算/访存指令,还对BLAS 3级函数的矩阵-矩阵乘法、矩阵方程组求解、矩阵转置操作等若干运算进行手工汇编优化,提高了函数的浮点计算效率.实验结果显示,所提出的并行优化技术在SW26010-Pro处理器上为BLAS 3级函数带来了明显的性能提升,单核组BLAS 3级函数的浮点计算性能最高可达峰值性能的92%,多核组BLAS 3级函数的浮点计算性能最高可达峰值性能的88%.

关键词： BLAS 3级 SW26010-Pro众核处理器直接内存访问远程内存访问浮点计算效率

来源：评论

学校读者我要写书评

暂无评论

基于动态压缩的高存储效率末级分支目标缓冲

引用

高技术通讯 2024年第7期34卷 671-680页

作者：谭弘泽王剑处理器芯片全国重点实验室(中国科学院计算技术研究所) 北京100190 中国科学院大学北京100049

随着软件系统规模及复杂度的增长,数量庞大的指令使指令高速缓存和分支目标缓冲(BTB)频繁地发生缺失,导致中央处理器(CPU)性能下降。现代工业CPU设计在分离式前端中使用充分大的多级BTB以减少缺失导致的性能损失。由于实际芯片的存储资... 详细信息

随着软件系统规模及复杂度的增长,数量庞大的指令使指令高速缓存和分支目标缓冲(BTB)频繁地发生缺失,导致中央处理器(CPU)性能下降。现代工业CPU设计在分离式前端中使用充分大的多级BTB以减少缺失导致的性能损失。由于实际芯片的存储资源有限,大容量的末级BTB需要更高的存储效率。然而,现有压缩BTB采用静态分配目标偏移量存储空间的方法,无法按照分支的实际存储需求进行调整,导致其存储效率较低。针对上述问题,提出一种基于动态压缩的BTB——ZBTB。ZBTB通过可变长编码表示目标偏移量,动态分配目标偏移量存储空间,结合无额外存储的最近最少使用(LRU)和偏斜相联等方法缓解冲突,提升了存储效率。基于以第1届指令预取锦标赛(IPC-1)所发布轨迹数据进行的评估,与现有BTB相比,ZBTB在33.5 kB容量下可将误预测次数降低66%。

关键词：分支预测分支目标缓冲(BTB) 压缩偏斜相联

来源：评论

学校读者我要写书评

暂无评论

基于无裁剪图形流水线的三维图形处理器

引用

高技术通讯 2024年第7期34卷 681-691页

作者：赵皓宇王重熙宋鹏皓章隆兵处理器芯片全国重点实验室(中国科学院计算技术研究所) 北京100190 中国科学院大学北京100049

传统的三维图形处理器通过裁剪操作获取三角形的可见区域。然而,裁剪操作的延迟长且硬件开销高,大量的裁剪操作会降低图形处理器的性能。本文设计了一款基于OpenGL ES 2.0标准的三维图形处理器芯片,采用了统一渲染架构。该图形处理器采... 详细信息

传统的三维图形处理器通过裁剪操作获取三角形的可见区域。然而,裁剪操作的延迟长且硬件开销高,大量的裁剪操作会降低图形处理器的性能。本文设计了一款基于OpenGL ES 2.0标准的三维图形处理器芯片,采用了统一渲染架构。该图形处理器采用高效的无裁剪图形流水线结构,消除了裁剪所带来的硬件开销和性能损耗。此外,本文为该图形处理器设计了一个符合IEEE-754标准的三维向量内积(DP3)计算单元,用于固定功能流水线,以提高图形处理器的性能,并消除图形渲染过程中浮点乘加操作的误差,增强了图形处理器的图形渲染鲁棒性。该三维图形处理器每秒能够处理500 M个顶点和8 G个纹素,功耗为1000 mW,采用了28 nm工艺,面积为7.92 mm^(2)。实现结果表明,与之前的工作相比,本文设计的图形处理器的性能-功耗比提高了27.8%。

关键词：三维图形处理器图形流水线裁剪向量内积

来源：评论

学校读者我要写书评

暂无评论

基于行内局部性的内存控制器端预取

引用

高技术通讯 2024年第3期34卷 248-255页

作者：周叔欣张见齐王焕东章隆兵处理器芯片全国重点实验室(中国科学院计算技术研究所) 北京100190 中国科学院计算技术研究所北京100190 中国科学院大学北京100049 龙芯中科技术股份有限公司北京100190

本文提出一种基于行内局部性的内存控制器端预取。采用位图的数据结构记录行内每个数据块的状态;并且对每一行进行区域划分,量化每个区域的访问局部性;根据区域内的局部性高低决定预取的激进程度。对于局部性较低的区域,预取区域内未被... 详细信息

本文提出一种基于行内局部性的内存控制器端预取。采用位图的数据结构记录行内每个数据块的状态;并且对每一行进行区域划分,量化每个区域的访问局部性;根据区域内的局部性高低决定预取的激进程度。对于局部性较低的区域,预取区域内未被访问过的数据块;对于局部性较高的区域,同时采用跨区域的预取。通过动态调整区域规模的大小来适应局部性程度的变化。上述预取方法在龙芯3A6000处理器上实现并评测,评测程序采用SPEC CPU2006访存密集型应用。评测结果显示本文的预取方法将每周期指令数(IPC)平均提升6.51%,将单线程IPC最高提升46.80%(bwaves),将双核四线程IPC最高提升26.22%(lbm)。

关键词：内存控制器预取局部性

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：