计算机屏幕操作记录系统关键技术研究

作     者：王圣杰 

作者单位：上海交通大学 

学位级别：硕士

导师姓名：郑世宝

授予年度：2013年

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：计算机屏幕 操作记录系统 键鼠数据解析 操作场景转换 检测算法 多特征融合 软件开发 组合按键 操作识别 

摘      要：随着计算机、多媒体与网络技术的飞速发展，视频数量正以几何级数的趋势不断增长，同时视频生成技术也衍生出了许多新的应用方式，计算机屏幕操作记录正是其中的一种。计算机屏幕操作记录能够实现对包括计算机屏幕活动图文信息以及音频信号在内信息的连续的数字化的记录，目前已经在很多行业获得了广泛的应用。\n 本文以计算机屏幕操作记录与分析为主题展开论述，文章首先介绍了国内外计算机屏幕操作记录技术的学术研究以及其商业化应用情况，并结合现有实现方式的缺陷以及本文特殊的应用背景，介绍了一套计算机屏幕操作记录系统框架。该系统以基于嵌入式SOC的计算机屏幕操作记录设备为核心硬件设备，通过嵌入式Web Server以及用户端软件实现对计算机屏幕的实时记录和分析。本文将计算机屏幕操作记录硬件设备划分为多个功能模块，对每个模块的设计做出了描述，并在此基础上，介绍了系统软件架构、组成及其功能。\n 然后，重点对计算机屏幕操作记录系统用户端软件的开发进行了阐述，对与此相关的键鼠数据解析技术进行了研究。对于客户端软件部分，在对用户需求做出分析的基础上，详细描述了用户登录、视频直播与点播、视频下载、编码参数设置、键鼠数据解析等功能模块的设计与实现。对于键鼠数据解析部分，首先介绍与讨论了PS/2协议的特点，选用二维字符数组法、结构体数组法、关联数组法三种不同的方法对计算机屏幕操作记录设备获取的键鼠操作数据做出了解析，通过性能测试从处理速度与内存占用两个角度对这些方法进行了比较与分析。实验结果表明，关联数组法的性能表现最优，并在此方法的基础上扩展实现了用户感兴趣的组合按键操作的识别。\n 对计算机屏幕操作记录视频内容进行分析十分重要。为了快速有效地获取计算机屏幕操作记录视频中所包含的重要操作信息，本文在分析了现有镜头边界检测算法的基础上提出了一种基于多种特征融合的屏幕操作场景转换(SOST)检测算法，该方法分别提取计算机屏幕操作记录视频的四种底层特征用于构造特征向量，利用SVM分类器检测其中包含的SOST操作。本文选取了其它四种算法并从同一算法对不同视频序列的适应性、不同算法对同一视频序列的性能以及不同算法的运行时间三个角度与本文算法做出了综合性能对比与分析，实验结果表明，本文所提出的SOST检测算法有着最佳的性能表现，具有良好的稳定性与有效性。