检索结果-内蒙古大学图书馆

作者：王匆匆北京信息科技大学

学位级别：硕士

随着现代化信息传播及处理方式的演变,文本类信息数量剧增。依靠人力校对文本内容这一环节亟需计算机的辅助。文本校对任务的方向常常以字词错误为基础,鉴于中文文本字词错误随着文本类信息同时增长,文本语义类错误难以使用传统方法查找... 详细信息

随着现代化信息传播及处理方式的演变,文本类信息数量剧增。依靠人力校对文本内容这一环节亟需计算机的辅助。文本校对任务的方向常常以字词错误为基础,鉴于中文文本字词错误随着文本类信息同时增长,文本语义类错误难以使用传统方法查找,两种错误类型均影响了信息传播的准确度及影响力,处于信息爆炸式产生的互联网环境迫切需要中文文本自动化校对方法。这不仅关乎众多工作的严谨性,还体现了人们对文字书写规范的重视度。综合文本自动校对方法的广阔前景和必要性,本文对相关理论和技术进行了比较详细的分析和研究。主要工作及成果如下:(1)提出了一种面向字词类错误的校对方法。分析字词类错误的造成方式、错误种类及错误分布,借鉴N元文法、音形相似字库、词语编辑距离、最短路径算法和双向长短时记忆网络提出基于N元文法和上下文语言模型的字词错误校对方法。该方法分为四步:首先基于音形相似字库对每个词语建立候选词语集;然后使用二元词语模型作为候选词语的搭配权重建立候选句子集并使用哈希表进行存储;其次,使用K-最短路径算法求解句子集;最后使用三元字模型初步筛选流畅度较优的句子,并基于双向长短时记忆网络训练的词向量,将流畅度标准差低于阈值的句子区分出来。(2)提出了一种语义校对方法。分析上下文语义表征方法对文本词语和句子语义校对的影响,针对目前语义校对缺乏充足平行语料的困境,提出基于上下文语义表征的端到端的校对方法,并建立语义错误句子生成器,扩充校对平行语料库。该模型使用多重卷积神经网络搭建语义表征端和语义纠错端,而端内模块的校对工作使用注意力机制进行实现。在模型训练之前,使用迁移学习将英译中翻译模型的解码器参数用于校对模型的语义纠错端的初始化。在输入数据之前,将本文所提方法用于训练数据中字词错误的过滤。在校对结果的输出阶段,使用三元字模型对集束算法所输出的句子进行选优。(3)基于BERT模型提出了基于RC-Attention机制的上下文校对模型。该方法为端到端校对模型,语义表征和纠错端使用了Transformer架构捕获上下文语义特征。针对校对任务引入了一种基于多头注意力的RC-Attention机制,用于区分待校对句子的正误部分,并生成校对结果。在模型训练阶段,使用本文扩充的校对语料、降噪自动编码以及参数微调方法提升校对模型的性能。最后,采用PYQT5框架设计并实现基于C/S的校对系统,不仅适应客户端开发的常规需求,还将系统页面和算法逻辑进行分离,使得本文的校对系统较为简洁且易扩展。

关键词：中文文本自动校对 N元文法端到端 Transformer

来源：评论

学校读者我要写书评

暂无评论

中文文本检错和纠错效率优化研究与实现

中文文本检错和纠错效率优化研究与实现

引用

作者：杨宗宇重庆邮电大学

学位级别：硕士

伴随着互联网时代的飞速发展,互联网数据急速增长,但信息质量却在不断下降,文字误用成了亟待解决的难题。传统人工校正的方法耗时长且效率低,难以解决庞大的数据需求问题。因此,中文文本自动校对技术的研究具有深刻的实际意义。本文对... 详细信息

伴随着互联网时代的飞速发展,互联网数据急速增长,但信息质量却在不断下降,文字误用成了亟待解决的难题。传统人工校正的方法耗时长且效率低,难以解决庞大的数据需求问题。因此,中文文本自动校对技术的研究具有深刻的实际意义。本文对中文文本的错误来源和错误类型进行了分析,将中文文本的错误类型划分为“非词错误”和“真词错误”,然后针对不同类型的错误采用不同的校对算法。中文文本自动校对任务通常分为查错和纠错两个环节,本文针对这两个方面做了以下研究:1.在查错阶段,对于“非词错误”,本文利用基于规则和词典的方法进行检测。通过对句子进行分词处理,对分词结果进行查字典分析,对于连续的散串和字典中并不存在的词则认为是错误字词。对于“真词错误”,利用N-gram语言模型进行相邻词组间的接续分析,若两个词组间的概率值小于阈值则认为该词存在错误。2.在纠错阶段,本文分析了N-gram语言模型和长短时记忆网络(Long Short Term Memory Networks,LSTM)语言模型各自的特点,提出了一种基于Tri-gram和LSTM语言模型的联合校对算法。先利用Tri-gram语言模型对句子进行打分,如果句子的分值差异过小,则用LSTM语言模型进行第二次打分进一步排歧,最后比较所有候选句的得分并将得分排名第一的候选句作为纠错建议输出,从而达到提高纠错正确率的效果。***语言模型虽然能够更好地把握字词间的长距离信息,但模型的计算速度较慢,为提高LSTM模型的纠错效率,本文提出了一种基于前缀树合并的优化方案。通过对大量的纠错候选句进行分析后发现,同一个句子的各个纠错候选句之间存在高度的相似性,可以将各个候选句相似的部分合并形成前缀树,然后使用多线程流水线的方法对各个句子的概率得分进行并行计算。通过使用上述优化方案,能够在联合校对算法的基础上进一步提高LSTM语言模型的纠错效率。最后,本文对上述校对方法在测试集上进行测试,实验结果表明,本文提出的优化方案能够使纠错性能和纠错速率在原基础上得到较大提升。

关键词：中文文本自动校对 N-gram语言模型 LSTM语言模型流水线

来源：评论

学校读者我要写书评

暂无评论

基于OCR的中文文本校对研究

基于OCR的中文文本校对研究

引用

作者：郇政永北方工业大学

学位级别：硕士

OCR (Optical Character Recognition光学字符识别)技术,是指电子设备(例如扫描仪或数码相机等)通过检测纸质文档字符暗、亮的模式确定其形状,然后用字符识别方法将形状翻译成计算机文字的过程。当前,OCR技术已经成为纸质文档转化为电... 详细信息

OCR (Optical Character Recognition光学字符识别)技术,是指电子设备(例如扫描仪或数码相机等)通过检测纸质文档字符暗、亮的模式确定其形状,然后用字符识别方法将形状翻译成计算机文字的过程。当前,OCR技术已经成为纸质文档转化为电子文档最重要的手段之一。在转化过程中,当前的OCR技术并不能保证处理后的电子文档内容100%的正确,这就需要对识别后文档进行检查和校对。本课题来源于“十一五”国家科技支撑平台重点项目——“视障者阅读辅助器具的研制”。该阅读辅具是通过OCR技术和语音合成技术来实现印刷体文字向语音输出转换。所以,本课题需要研究的校对对象是OCR识别错误。课题统计和分析了常见的OCR识别错误特点,并对其进行了重新分类。然后,学习和研究了当前的中文文本校对算法,并提出了一种“基于窗口技术的改进型中文文本自动校对算法”,改进型算法充分考虑了OCR识别错误的特点以及课题应用平台的特点。相比于基础算法,新算法做出的改进主要包括在校对预处理阶段选取了一种效果更好、更成熟的中文分词系统即ICTCLAS分词系统；在文本自动查错阶段,加强了“散串”技术的应用以提高查错效率；在文本自动纠错阶段,则放弃了基础算法中的纠错方法,因为其采用同音字特征构造混淆集,不适用于OCR识别错误,改进型算法采用了待校原文与字驱动双向词典相结合的方法来提供纠错建议。最后,在Windows平台下,用C++语言在Visual C++6.0开发环境中实现了一个中文文本自动校对实验系统。然后对实验系统进行测试,测试结果表明采用改进型算法的实验系统具有更好的召回率和精确率,但是在纠错率方面,表现还是略显不足,需要频繁的与用户交互由系统用户来给出“纠错建议”。在测试结果分析完毕后,针对课题研究、实验系统设计以及论文撰写过程中遇到的问题和困难进行了总结,最后,针对中文文本自动校对的发展前景进行了展望!

关键词： OCR 中文文本自动校对召回率精确率纠错率

来源：评论

学校读者我要写书评

暂无评论

中文文本自动校对技术的研究

引用

计算机研究与发展 2004年第1期41卷 244-249页

作者：骆卫华罗振声宫小瑾清华大学中国语言文学系北京100084

传统的自动校对技术多是基于字、词级的统计方法 ,有很多局限 ,通过讨论中文文本自动校对技术的设计思想与实现方法及中英文自动校对的异同 ,提出了词法、句法、语义多层次结合校对策略 ,从而能够检查以往无法查出的错误描述了自动校... 详细信息

传统的自动校对技术多是基于字、词级的统计方法 ,有很多局限 ,通过讨论中文文本自动校对技术的设计思想与实现方法及中英文自动校对的异同 ,提出了词法、句法、语义多层次结合校对策略 ,从而能够检查以往无法查出的错误描述了自动校对系统的整体框架 ,并具体给出可操作的实现方法这些方法针对非受限领域的文本。

关键词：中文文本自动校对 n元模型主题相关度语义共现矩阵

来源：评论

学校读者我要写书评

暂无评论

中文文本自动校对的语义级查错研究

引用

计算机工程与应用 2003年第12期39卷 115-118页

作者：骆卫华罗振声龚小谨清华大学中文系北京100084

目前中文文本自动校对的研究集中在词级和句法查错两方面,语义级查错仍是其中的薄弱环节。文章讨论了中文文本自动校对中的语义错误校对技术,综合使用了基于实例、基于统计和基于规则的搭配关系进行检查,提出统计和规则相结合的校对策略... 详细信息

目前中文文本自动校对的研究集中在词级和句法查错两方面,语义级查错仍是其中的薄弱环节。文章讨论了中文文本自动校对中的语义错误校对技术,综合使用了基于实例、基于统计和基于规则的搭配关系进行检查,提出统计和规则相结合的校对策略,既能检查局部语义限制,也能检查长距离的语义搭配,收到了较好的效果,也为中文自动校对的发展提供了新的思路。

关键词：中文文本自动校对基于实例语义相邻矩阵语义共现矩阵

来源：评论

学校读者我要写书评

暂无评论

中文文本自动校对中的自动纠错技术研究

中文文本自动校对中的自动纠错技术研究

引用

作者：汪维家贵州大学

学位级别：硕士

该文首先总的介绍了中文文本自动校对技术的研究背景和现状,着重讨论了自动纠错研究中存在的问题和难点,继而简述了一些与中文文本自动纠错相关的理论及评价指标.在对中文文本错误的类型及其分析方法进行归类和总结的基础上,该文设计了... 详细信息

该文首先总的介绍了中文文本自动校对技术的研究背景和现状,着重讨论了自动纠错研究中存在的问题和难点,继而简述了一些与中文文本自动纠错相关的理论及评价指标.在对中文文本错误的类型及其分析方法进行归类和总结的基础上,该文设计了一个纠错知识库将纠错知识引入计算机.基于纠错知识库的支持,该文采用启发式方法,在构建纠错建议集方面做了有益的尝试.与此同时,在借鉴国外先进理论的基础上,将基于特征学习的方法引入独立的中文文本自动纠错研究中,重点探讨了利用基于特征学习的Winnow方法来对纠错建议集中的纠错建议进行排序和选择.为了确保上述工作的正确性和有效性,该文进行了评估实验.该实验表明这种方法的首选订正率达到38%,性能比目前常用的N元模型方法有明显的提高.

关键词：中文信息处理中文文本自动校对中文文本自动纠错 Winnow方法

来源：评论

学校读者我要写书评

暂无评论

一种基于窗口技术的中文文本自动校对方法