检索结果-内蒙古大学图书馆

text encoding and Language Identification via N-Gram Feature and UTF-8 encoding Detection

Transactions of the Korean Institute of Electrical Engineers 2024年第9期73卷 1574-1580页

作者： Hong, Chaehui Cho, Hyunji Yoo, Hoon Dept. of Intelligent IOT Sangmyung University Korea Republic of Dept. of Computer Science Sangmyung University Korea Republic of

This paper presents a method for automatically identifying the encoding and language of documents. In the online world, a technique for document encoding and language identification plays an important role in providing users with easy access to the information they need, and in improving the efficiency of data processing and analysis. In this paper, the proposed method first identifies whether a document is encoded in UTF-8 or not by analyzing the bit pattern. For the UTF-8, the language is identified by calculating the percentage of each language in the document through Unicode range analysis. If the document is found to be not UTF-8, it is determined to be a code page document, and the languages in the document are identified by our machine learning technique using N-grams. To evaluate the proposed method, we conducted experiments. The experimental results indicate that the proposed method improves the encoding and language identification performance compared to the existing methods. Copyright © The Korean Institute of Electrical Engineers.

关键词： Code Page Language Identification Machine Learning N-gram text data encoding UTF-8

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：