基于云计算的微博数据挖掘研究综述_贾冲冲
基于云计算的微博数据挖掘研究综述
*
贾冲冲，王名扬，郑丹，张晓霞
（东北林业大学信息与计算机工程学院，黑龙江哈尔滨150040）
摘要微博作为新的社会化媒体所产生的巨大影响力和海量数据使之成为很有价值的研究平台，云计算的高效数据处理能力在微博平台的应用，使得对微博的数据挖掘可以快速了解当前的热点话题，控制突发事件，引导舆论导向，分析受众行为，发现新的商业模式等。关键词微博; 社会化媒体; 大数据; 云计算; 数据挖掘中图分类号S126; TP311文献标识码A 文章编号0517－6611(2014) 31－11193－03
DOI:10.13989/j.cnki.0517-6611.2014.31.126
A Ｒeviewon the Ｒesearchof Data Mining in Microblog Based on Cloud Computing JIA Chong-chong ，WANG Ming-yang *，ZHENG Dan et al (College of Information and Computer Engineering ，Northeast Forestry Uni-versity ，Harbin ，Heilongjiang 150040)
Abstract As a new social media ，microblog has become a valuable research platform by generating massive amounts of influential data．And the applications of cloud computing in microblog platform ，could help to quickly understand the current hot topic ，control emergencies ，guide public opinion ，analyze audience behavior and discover new business models etc．．Key words Microblog ; Social media ; Big data ; Cloud computing ; Data mining
云计算和Web 2．0技术的发展带领人们走进了“大数时代和社交网络交互时代，新技术催生了微博并使之成据”
网络与用户间的关为新的信息互动和传播的社会化媒体，
系已由用户被动接受网络呈现的信息转变为主动参与的模参与讨论以及分享转载等行为使式。用户通过发布内容、
互联网呈现出更加主动、丰富的形态。数据的增长海量化、类型多样化、传播即时化以及事件的突发性、影响持久化等从一定程度上影响着社会的稳定和舆论走势诸多表现，
［1］
爬虫方式访问新浪微博平台页面，解析后获取所需数据。
新浪微博拥有数以亿计的微博用户群体，其产生的海量数据给分析研究工作带来一定的困难。作为一个社会化媒体，微博要为用户呈现实时的准确数据和良好的用户体验，因此需要先进的计算分析手段提供技术支撑，而Hadoop 就是这样一个能够应用的主流云计算平台。Hadoop 是一个能主要由分布式文够对大量数据进行分布式处理的软件框架，
件系统HDFS 和分布式编程模型MapＲeduce组成。Hadoop 使得用户能轻松开发和运行处理海量数据的应用程序，新浪处理、存储以及数据挖掘算法均可编微博海量数据的获取、
MapＲeduce架构写相应的MapＲeduce程序实现分布式运行，如图1所示
。
。
技术在提供便利的同时也考验着人们对海量数据的分析和驾驭能力。如何从时刻变化的海量数据中提取出有价值的信息，同时对消极、负面和虚假的信息进行及时监管，已经成为社会化媒体数据研究的重要问题
［2］
。而云计算可以为
海量数据处理和分析提供高效的计算平台，数据挖掘技术在云计算平台的应用将使得微博成为互联网领域的又一变革力量。
为此，笔者以新浪微博为研究对象，从微博数据的获取，到好友推荐、用户影响力评价、网络舆情监测等实际应用，阐述了如何借助云计算平台对微博产生的大量数据进行挖掘的研究成果。1
微博数据的获取
微博数据挖掘的前提是数据获取。新浪开放平台为第三方提供了获取微博信息的API 接口以及方便微博API 调其中封装了用的支持多种计算机语言的SDK 软件开发包，
从授权认证到数据获取与解析的各项功能，开发者通过申请Accesstoken 获得开发者权限，就可编写程序调用API 接口获开发者也可通过Web 取用户信息和微博内容等数据。此外，
22．1
中央高校基本科研业务费专项(2572014DB05) ; 中国博士后
科学基金面上基金项目(2012M520711) ; 国家自然科学基金项目(71473034) 。
作者简介贾冲冲(1990－) ，男，山东菏泽人，硕士研究生，研究方向:
。*，并行分布式及高性能计算通讯作者副教授，博士，硕
士生导师，从事数据挖掘及相关领域的交叉研究。
09-18收稿日期2014-基金项目
图1
Hadoop MapＲeduce架构
基于云计算的微博平台数据挖掘
微博用户的好友推荐研究微博好友推荐系统是微博
数据挖掘最基础的应用，它通过关系预测来帮助用户找到感推荐算法使用较为广泛的是基于内容的推兴趣的人。目前，
荐和基于协同过滤的推荐。基于内容的推荐主要是依据用标签及以往浏览记录等；协同过滤的原理是查户个人信息、
找与目标用户相似的近邻用户，根据近邻用户的评价对目标用户作出推荐。
传统的用户关系预测方法通过共同关注计算用户间的关系强度，假设用N 表示关注列表集合，那么用户A 和用户B 的关系强度Ｒ计算公式为：
Ｒ（A ，B ）=
N A ∩N B
N A ∪N B
（1）
粉丝数的多少。其计算公式为：
影响力=αˑ 活跃度+βˑ 传播力+γˑ 覆盖度
（3）
由以上可知，微博用户影响力研究考虑的因素主要是用户关系（关注、粉丝等）和用户行为（评论、转发等），其中PageＲank是当前用户影响力研究的主流应用算法。由于PageＲank算法需要多次迭代，所以当用户量较大时，云计算将是很好的解决手段。2．3
网络舆情监测研究
网络舆情是指在一定社会空间
内，针对社会事件的发生、发展和变化，民众通过网络对公共问题或社会管理者产生和表现出的态度、价值观。互联网的对那些能引起公众关开放性和虚拟性让言论自由得到释放，
注的事件，尤其是突发事件（如地震、恐怖袭击等），很快便成了网络舆情
［11］
在式（1）基础上，学者们又进一步提出一些改进的算法，如胡文江等提出一种基于标签的协同过滤算法，用于寻找与目标用户最相似的用户，以进行推荐
［3］
；杨婷设计了基于
MapＲeduce的Dijkstm 算法和PageＲank算法，计算被推荐用并结合用户信息基于内户到其他用户的距离和用户影响力，容的方式进行推荐MapＲeduce［5］。
微博好友推荐系统是微博用户扩展社交圈子的重要途径，且用户间的关注和粉丝关系处于时时的动态变化中。云计算所具有的效用计算和自主计算特点使得推荐更加快速和准确，对于提高用户体验具有重要意义。2．2
用户影响力的评价研究
微博用户的影响力体现在发
博用户通过舆论对其粉丝用户所带来的影响，用户影响力越大，其传播能力越强，由此，影响力最强的那些用户就成了意他们拥有更多的话语权，对于信息扩散、舆论导向和见领袖，
商品推介等有着重要作用的方法有以下几类。
（1）基于PageＲank的评价方法。舒琰等将好友数量作基于PageＲank进行了Ma-为用户影响力的一个重要指标，
pＲeuce改造完成了用户影响力排名［7］。PageＲank的计算公式为：
PageＲank（V i ）=（1－d ）+d
V F （V ）
［4］
；Papadimitriou 等基于小世界理论探索
了更大范围的用户对好友关系的影响，并尝试将算法应用于
。网络舆情是社会舆情在互联网空间的映
射，是社会舆情的直接反映，对政治生活秩序和社会稳定的影响越来越大。
社会管理者应当熟悉网络舆情的特点，对于网络中出现的引起相当关注的舆论能够及时作出反馈，防患于未然。因此，使用现代信息技术对网络舆情进行分析，形成一套自动从而控制和引导舆论走向是非常必要化网络舆情分析系统，
的。舆情分析系统的技术核心在于舆情分析引擎，主要涉及文本分类、聚类、观点倾向性识别、主题检测与跟踪、自动摘要等计算机文本信息内容识别技术。目前，针对微博舆情，研究者主要从如下几个方面展开分析。
（1）热点话题识别。可以根据微博出处权威度、评论数量、发言时间密集程度等参数，识别出某时间段内的热门话题。
（2）倾向性分析。对微博内容及其评论进行情感分析。（3）主题跟踪。分析新发微博的话题是否与已有主题相同。
（4）自动摘要。对各类微博主题能够形成自动摘要，帮助理解话题的核心语义。
（5）趋势分析。分析某话题在不同的时间段内人们所关注的程度，来预测它的发展趋势。
（6）突发事件分析。对突发事件综合分析，获知事件发生的全貌并预测事件的发展趋势。
（7）警报系统。对突发事件、涉及公共或人身安全的敏感话题及时发现并报警。
（8）统计报告。根据舆情分析结果生成报告，提供信息检索功能。2．3．1
热点话题发现。热点话题是指在特定的时间段内出
［12］
［6］
。目前，国内外学者研究影响力
∈
i
PageＲank（V j ）
L （v j ）
（2）
V i 表示用户i ；d 为阻尼系数，式中，表示某用户随机关注其他用户的概率；F （V i ）表示用户i 的粉丝集合；L （V i ）表示用户V j 的关注数。
（2）基于用户行为的评价方法。Cha 等在研究中，对微博中最常见的转发、评论、提及3种行为进行研究，并分析了这3种行为所表征的用户影响力类型
［8］
。
（3）基于PageＲank和用户行为的评价方法。陈浩基于PageＲank从用户自身质量及其粉丝质量着手，考虑了粉丝数量、评论率、转发率和是否微博认证用户等因素进行影响力评价力
［6］
；康书龙结合用户发表微博活跃度和PageＲank算法，
ＲelationshipＲank算法来评价用户影响提出了Behavior-［9］
。
（4）基于UＲL追踪的评价方法。Bakshy 等指出口碑信
现频率较高或传播范围较广的主题特征词。通过热点话
题可以了解当前的微博讨论热点、发现舆情事件等。热点话题的获取一般包括中文分词处理、微博文本特征词获取和话题提取3个主要步骤。2．3．1．1
微博分词处理。微博文本内容长短不一，为了提
取话题，需要对其进行分词处理。常用中文分词效果较好的ICTCLAS 分是由中国科学院开发的ICTCLAS 汉语分词系统，
词精度达到98．45%，分词速度500kB /s左右，并且支持多级
并按息通过许多级联进行传播。通过追踪UＲL传播情况，一定方式分配相应的影响力进行评价
［10］
。
（5）新浪微博的用户影响力评价模型。新浪微博定义的影响力由活跃度、传播力和覆盖度3大指标构成。活跃度代表发博、转发、评论的有效条数；传播力与微博被转发、被评论的有效条数和有效人数相关；覆盖度则取决于微博的活跃
词性标注，提供了包括Java 在内的多种计算机语言开发工具包。完成分词后，还要对照停用词表进行去停用词处理，停“的”、“呢”如等。去除用词是指对文本意思表达无用的词，
减少数据处理复停用词可以降低文本特征向量的维度，杂度。2．3．1．2
微博文本特征词获取。文本特征词提取的常用算
IDF ，其思想是：如果某词在一个文本中出现频率法是TF-（TF ）较高，在其他文本中很少出现，则该词具有很好的类别区分能力，选取几个这样权重较高的词可作为该文本的主题IDF 算法表示如下：特征词。TF-W i =TF i ˑ IDF i =TF i ˑ log
N
DF i
（4）
词典作为特征选择并利用机器学习方法实现分类。该研究总结了基于机器学习的微博文本情感分类算法流程，如图2所示
。
图2微博文本情感分类算法流程
微博情感分析的文本数据可以选择话题微博，也可以选就可进行综合分析和择话题微博的评论。情感分析完成后，
趋势预测，来获知公众对该话题所持的态度，以此为管理者提供决策。
同时应该注意到的是，由于人类情感的复杂性、中文的多义性、受公众情绪的影响而导致的情绪转变和传递等众多因素，使得简单的二分类或者是正、中、负三维描述已无法准挑战是一直存在的。确评判用户情感，3
结语
针对微博大数据平台，该研究从最初的数据抓取、预处理到最后数据挖掘和实际应用进行了较为全面的介绍，说明了微博平台数据挖掘的价值。微博作为网络时代产物，随着其产生的影响力计算机技术的发展和网络用户数量的增多，
也将越来越大。云计算在微博平台上的应用，使得对数据的处理更加方便和快捷，为新应用产品的出现和带来更好的用户体验，提供了更多可能性。参考文献
［1］许斌．中文微博的情感分析和影响力技术研究［D ］．郑州：解放军信息
2013．工程大学，
［2］姚海波．微博热点话题检测与趋势预测研究［D ］．广州：华南理工大学，
2013．［3］胡文江，胡大伟，高永兵，等．基于关联规则与标签的好友推荐算法
［J ］．计算机工程与科学，2013（2）：109－113．［4］杨婷．基于MapＲeduce的好友推荐系统的研究与实现［D ］．北京：北京
2013．邮电大学，
［5］PAPADIMITＲIOUA ，SYMEONIDIS P ，MANOLOPOULOS Y．Fast and ac-curate link prediction in social networking systems ［J ］．Journal of Systems
and Software ，2012，85（9）：2119－2132．［6］陈浩．基于Hadoop 的微博用户影响力排名算法研究［D ］．广州：华东理
2014．工大学，
［7］舒琰，向阳，张骐，等．基于PageＲank的微博排名MapＲeduce算法研究
［J ］．计算机技术与发展，2013（2）：73－76，81．［8］CHA M ，HADDADI H ，BENEVENUTO F ，et al．Measuring user influence
in twitter ：The million follower fallacy ［C ］//AAAI．Washington ，DC ，USA ：ICWSM ，2010：11－13．［9］康书龙．基于用户行为及关系的社交网络节点影响力评价［D ］．北京：
2011．北京邮电大学，
［10］BAKSHY E ，HOFMAN J M ，MASON W A ，et al．Everyone ’s an influen-cer ：Quantifying influence on twitter ［C ］//WSDM．Hong Kong．China ，
2011：67－69．［11］陈彦舟，J ］．计算机系统曹金璇．基于Hadoop 的微博舆情监控系统［
2013（4）：18－22，9．应用，
［12］林大云．基于Hadoop 的微博信息挖掘［J ］．计算机光盘软件与应用，
2012（1）：7－8．
W i 表示单词i 的权重；TF i 表示单词i 在该文本中出现式中，
的频率；DF i 表示文本集合中出现单词i 的文本数量；N 表示文本集合的数量。2．3．1．3
微博话题提取。获取某时段每条微博的特征词
growth 算法挖掘主题特征词后，基于MapＲeduce的并行FP-的关联规则频繁项集，根据产生的频繁项集提取该时段的热growth 算法执行过程如点话题。基于MapＲeduce的并行FP-计算一项集的计数。②根据计数与支持度下：①扫描数据，
计算出频繁一项集，对于频繁一项集按照计数从大到小排序，存入HDFS ，执行Map 或Ｒeduce任务前到HDFS 上读取相应的项集和序号。③根据划分集合的数目将频繁一项集划分为G 份，对每份标号（GID ），把一项集映射到对应的GID List 存入HDFS ，上，将产生的G-以后读取。④再次扫描事务数据，将事务项集转换成项集的序号集合，并对其排序，再生再对每个成相应的条件事务序号集合。将其根据GID 收集，GID 构造FP 树，然后得出条件模式基和条件FP 树，再得出最大的K 个频繁模式。⑤将所有项集的频繁模式收集起来，对于每个项生成最大的K 个频繁模式。2．3．2
情感分析。情感分析是对带有情感色彩的主观性文
归纳和推理的过程。微博中的情感分析是根据本进行分析、
微博内容、发博时间等信息，分析发博者所表现出的情绪状进而对发博者即将可能产生的行为作出评估。微博及其态，
评论中包含了很多发博者的主观情感内容，对其情感数据的挖掘可用于舆情监控、商品口碑评估、民意倾向预测、网络救助等实际应用中。
微博文本情感分类一般被作为一个二分类问题，即将T 2｝，T 1表示（支持、微博文本集T 分为两个类型：T =｛T 1，
T 2表示（反对、积极的）正面类型，消极的）负面类型。情感分类就是利用分类器模型判断微博文本t 属于T 1还是T 2。目前情感分类的方法有基于特征的情感分类方法和基于情感知识的情感分类方法。前者主要使用机器学习手段，让从中发现分类规则作为对机器学习人工标注好的数据集，
其他数据集分类的依据；后者建立在情感词典或语义规则的基础上，由于新的网络词语不断出现，且用户更倾向于对新词的使用，使得情感词典的选择和维护工作给此方法带来一定的难度。目前中文微博的情感分类主要是借助情感