基于结构理解的手绘草图表格识别

作     者：盖鑫 黄进 王丹琳 刘杰 田丰 戴国忠 Ge Xin;Huang Jin;Wang Danlin;Liu Jie;Tian Feng;Dai Guozhong

作者机构：中国科学院软件研究所人机交互北京市重点实验室北京100190 中国科学院大学计算机科学与技术学院北京100049 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2024年第36卷第12期

页      面：2051-2068页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(62172397) 中国科学院青年创新促进会项目(2020113) 

主　　题：手绘草图 草图结构理解 表格识别算法 人机交互 

摘      要：基于笔交互的手绘草图表格比基于WIMP界面范式的传统电子表格更易于促进用户思维交流和创造性交互工作,同时可以避免用户学习成本高和交互界面烦琐等问题.然而,由于缺乏专门用于手绘草图表格识别的开源数据集,以及草图本身具有的模糊性、抽象性和用户在绘制草图时的随意性,手绘草图表格的识别仍然面临着巨大的挑战.为了解决存在复杂单元格、结构框线与内容重叠、笔迹重描补笔等具体挑战,提出了一种基于结构理解的手绘草图表格识别算法,通过一个支持向量机(support vector machines,SVM)对笔划信息进行划分,再使用多峰值检测算法与真实交点找寻和单元格特征属性检测结合,实现复杂草图表格结构的识别.客观评估结果显示,与光学字符识别(optical character recognition,OCR)基线算法相比,基于结构理解的手绘草图表格识别算法在面向草图表格结构识别任务中的树编辑距离相似度(tree-edit-distance-based similarity,TEDS)指标提升了13%以上;专家评估结果显示,基于结构理解的手绘草图表格识别算法在表格结构识别和将内容匹配到对应单元格2个评价维度中的识别效果均优于OCR基线算法的识别效果.