基于Spark的大规模社交网络社区发现原型系统

作     者：叶小榕 邵晴 YE Xiaorong;SHAO Qing

作者机构：中国科学技术信息研究所北京100038 北龙中网(北京)科技有限责任公司北京100190 

出 版 物：《科技导报》 (Science & Technology Review)

年 卷 期：2018年第36卷第23期

页      面：93-101页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：Spark GraphX MLlib 社区发现 

摘      要：为有效发掘大规模社交网络上的用户信息,提高对用户之间关系的深入了解,设计开发了基于Spark的大规模社交网络社区发现原型系统。系统利用ActiveMQ实现对大量用户数据的抓取,使用基于Spark的MLlib提供的朴素贝叶斯算法对用户数据进行清洗,利用Spark的GraphX提供的PageRank算法和MLlib提供的Z-Score算法计算用户排名,最终应用并优化LPA算法,将特征相近、联系较密切的用户快速地划分到同一社区中,为进一步分析利用社区用户数据打下了基础。