互联网用户上网数据采集与行为分析系统的设计与实现

作     者：谢志勇 

作者单位：中山大学 

学位级别：硕士

导师姓名：常会友

授予年度：2007年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：数据采集 互联网 用户上网数据 通信机制 

摘      要：互联网在中国得到了普及，网络已经成为人们获取和交换信息的重要方式，给人们的生活带来了极大的便利。与此同时，互联网用户数量正在迅速增长。目前，作为国内掌握大量的流量数据的网络运营商中国电信，非常有必要深入挖掘互联网流量的价值，分析互联网用户行为，促进各种业务发展，提升互联网用户体验。\n 本文分析了当前数据采集技术的原理，设计并实现了一套互联网用户上网数据信息采集与行为分析的系统，整个系统分为三个部分：数据采集网关、数据存储服务器和客户端查询监视平台。系统可以对局域网内用户上网数据进行高效率的采集、存储以及可以从多角度查询监视用户上网行为。\n 数据采集网关部分采用了在Linux平台上同时扩展其内核空间与用户空间功能的方式。在内核空间通过加载L7-filter开源模块实现了对应用层协议数据包的鉴别匹配，识别包含能反应用户上网行为的HTTP数据的IP数据包，然后通过Netlink技术实现内核空间与用户空间通信，把包含HTTP数据的IP数据包传送到用户空间。用户空间进程接收内核传来的数据包，提取能分析用户上网行为的相关信息，然后把这些信息传送给数据存储服务器。数据存储服务器使用了MySQL数据库，它与数据采集网关和客户端查询监视平台的通信采用了基于socket的通信机制实现。查询监视客户端采用了与数据库服务器消息交互的方式，实现了一个用户从多角度查询监视用户上网情况的接口。