咨询与建议

看过本文的还看了

相关文献

该作者的其他文献

文献详情 >基于Spark的大规模社交网络社区发现原型系统 收藏

基于Spark的大规模社交网络社区发现原型系统

A large scale social networking community detection prototype system based on Spark

作     者:叶小榕 邵晴 YE Xiaorong;SHAO Qing

作者机构:中国科学技术信息研究所北京100038 北龙中网(北京)科技有限责任公司北京100190 

出 版 物:《科技导报》 (Science & Technology Review)

年 卷 期:2018年第36卷第23期

页      面:93-101页

学科分类:12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术(可授工学、理学学位)] 

主  题:Spark GraphX MLlib 社区发现 

摘      要:为有效发掘大规模社交网络上的用户信息,提高对用户之间关系的深入了解,设计开发了基于Spark的大规模社交网络社区发现原型系统。系统利用ActiveMQ实现对大量用户数据的抓取,使用基于Spark的MLlib提供的朴素贝叶斯算法对用户数据进行清洗,利用Spark的GraphX提供的PageRank算法和MLlib提供的Z-Score算法计算用户排名,最终应用并优化LPA算法,将特征相近、联系较密切的用户快速地划分到同一社区中,为进一步分析利用社区用户数据打下了基础。

读者评论 与其他读者分享你的观点

用户名:未登录
我的评分