社交网络数据的分析及可视化技术
ValueEngineering
・149・
社交网络数据的分析及可视化技术
SocialNetworkDataAnalysisandVisualizationTechnology
张开Zhang
Kai
(北京天融信网络安全技术有限公司,北京100085:北京邮电大学,北京100876)
(BeijingTianrongxinNetworkSecurityTechnologyCa,Ltd,Beijing100085,China;BeijingUniversityofPostandTelecommunications,Beijing100876,China)
摘要:随着企业信息化的发展,数据可视化在社交网站上扮演着越来越重要的角色。数据可视化技术以更直观的方式表现数据及其结构关系,帮助用户理解大量的数据信息,发现数据中隐含的现象,提高数据的使用效率。对Java,SVG,ADOBEFLEX三种常用的可视化展示方法进行研究,比较分析其优缺点,并着重说明了ADOBE兀.EX运用与社交网站!
Abstract:Withthedevelopmentofvisualizationtechnology
to
more
enterprise
information,datavisualizationsocialnetworkingsite
to
play
all
increasingly
importantrole.Data
intuitiverelationshipbetweentheperformanceofthedataandits
structure,to
helpugersunderstandthelargeamountof
data.foundthatthephenomenonofhiddendata,improvedataefficiency.OnJava,SVG,ADOBEFLEXvisualdisplayofthreecommonlyusedmethodsofresearch.comparativeanalysisoftheirstrengthsand
weaknesses.andhighlightedtheADOBEFLEXapplicationandsocialnetworkingsites!
FLEx
关键词:社交网;可视化数据;Java;SVG;ADOBE
中国分类号:TP392
Keywords:socialnetworking;datavisualization;Java;SVG;ADOBEFLEX
文献标识码:A文章编号:1006-4311(2010)26--0149—02
0引言
当今社会正处于一个信息爆炸的时代,随着网络信息化技术的发展,社交网络上产生了大量的信息,表现为海量统计数据。这些数据大多以表格的形式存放在数据库内既枯燥又难于理解。如何才能将这些数据有效的展示出来,帮助用户理解数据,发现潜在的规律,是亟待解决的问题。数据可视化能够将抽象的数据表示成为可见的图形或图像,显示数据之间的关联、比较、走势关系,有效揭示出数
作者简介:张开(1986一),男,山东菏泽人,北京邮电大学在职在读研究生,研
究方向为社交网络数据的可视化。
据的变化趋势,从而为理解那些大量复杂的抽象数据信息,为企业决策支持提供帮助。
1社交网络数据的采集
“社交网络数据采集”利用互联网搜索引擎技术实现对用户的兴趣,爱好,活动,人际交往等的数据抓取,并按照一定规则和筛选标准进行数据归类,并形成数据库文件的一个过程。
2数据可视化编码一数据过滤和分析及相关技术
本文以Berkeley
DB
Key—Value数据模型技术为例子分析下社
交网络数据。BerkeleyDB是一种支持Key—Value数据模型的嵌入系统软件分为计算机界面、适配器和下节点程序,每一部分由不同语言编写。计算机界面程序采用VC++语言编写,适配器程序采用5l汇编语言编写,下位机程序采用2000系列DSP;E编语言编
写。
多路榜拟开关
●
放大滤,赓电路
●
线性光耦隔离
cA^
曹
光
I
M)|
磊
离光耦隔离
≤∞
Z
总线电
atM悖富
I按键l嘭§l开关控制信号睁
SR
__——
l
EV—
一_
日
驱
动电路
j
就
多
路开关
钎“
圈同.
l
刮●I
显示报警
l
C了
J舢
晷
刁晤
动电路
计算机界面程序主要由数据库管理模块、参数设置模块、实时数据采集模块、报警与故障处理模块、数据处理和算法控制模块、报表输出模块等构成。适配器程序主要包括初始化模块、与上位机通信模块、与下位机通信模块、滤波校验模块、数据管理与控制模块。下位机较多,所以程序模块有个别不同之处,但主要由系统初始化模块、温度采集模块、压力采集模块、数据处理模块、通信模块、电机控制模块、显示报警模块等组成。
5结束语
本系统投入使用后,使灌装生产线各个生产环节之间工作协调,某一环节出现故障后整个灌装环节能够联动,设备状态、设备故障和停车等信息能够统一集中管理,对全厂的生产决策提供良好的支持,提高了灌装效率,效果良好,抗干扰能力强,实时性能好。灌装采用恒压力控制,装酒精度高,装酒误差为±0.3mm。
与传统的串行通信相比,CAN总线在硬件上布线少,节点直接挂接在两条总线上,利于系统扩充或改型。同时系统软件上通信更加灵活、纠错能力强。本系统扩展后可同时控制啤酒生产、发酵、储存等控制,具有良好的推广前景。
参考文献:
[1】梁清华,李龙,冯丽等.一种基于CAN总线的粮食包装生产线控制系统IJJ.包装工程,V01.25,2004,I36—37.
【2】史步海、刘尉、梁佑彬.基于现场总线的啤酒灌装生产线自动化控制系统【J1.计算技术与自动化,2005,(9)V012436—38.
【3191j继军,饶运涛.现场总线CAN原理及应用技术【M】.北京:航空航天大学出版社,2000,(6)53—72.
【411冬梅.啤酒灌装监控系统的设计与开发[J】.中国包装工业,General
No.85,2001,7:25—27.
键
图3灌装压盖节点结构图
包括啤酒温度、流量、啤酒罐内压力、二氧化碳管道压力、灌酒前和压盖后坏酒瓶检测信号等。被控参数包括啤酒罐内压力、CO:气体管道压力、啤酒阀开度、CO:气体阀开度等。控制输出包括四部分,其中事件管理器EVA和EVB输出用于控制电动机;一路为单片机12个端口输出的数字控制信号,经过DA转换芯片MAX7541转换成1~5V电压信号,用于控制酒阀和CO:气体阀,不仅控制阀门的开启和关闭还控制阀门的开度,另外还控制啤酒储罐的压力恒定和恒压灌装。设酒泵流量为q(L/s1,则装酒量为Q=qt。酒瓶中酒位h应为Q的函数,即h=f(Q)。因为装酒设备的装酒时间相等,因此只要控制酒泵的流量恒定即可确保酒瓶中的酒位相等且为常数。灌装节点控制器控制规律采用数字PID算法,其增量表达式和权系数自学功
能为旧
△un=wl
en.1+w2【e。_en_1I+w3【en一2e“.1+en一2J,
W。(k+1)=w;【k)一8;笋梨,其中i=l,2,3
‘dw.IkJ
同时还有一类由端口直接输出数字开关信号,用于控制洒泵、压盖机等开启和关闭等。
4软件设计
【5例和平,严利平,张学锋等.TMS320LF240xDSP结构、原理及应用【M1.
北京:北京航空航天大学出版社,2002,(9)1—14.
【6例、丽华,王红,秦可等.啤酒灌装生产线计算机控制系统【J1.河北科技大学学报,2000,(3)V021:41-43.
-150・
价值工程
式数据库存储引擎。它不支持Client/Server网络访问方式,程序通过进程内的API访问数据库,不支持SQI.或者其他数据库查询语言,不支持表结构和数据列。访问数据库的程序自主决定数据如何储存在记录里,一条记录由一个称为键(Key)的数据块和一个称为值(Value)的数据块组成。BerkeleyDB不对记录里的数据进行任何包装。应用程序可通过回调函数来定义不同键之间的大小关系,记录和它的键都可以达到4GB的长度。尽管架构简单,BerkeleyDB却支持很多高级的数据库特性,比如ACID数据库事务处理、细粒度锁、XA接口、热备份以及同步复制。BerkleyDB为不同用户提供多种功能集(FeatureSet):支持单个写线程的数据存储(DataStore);支持多并发写线程的并发数据存储(ConcurrentDataStore);支持ACID和灾难恢复的事务数据存储(TransactionalDataStore);通过复制支持容错的高可靠数据存储(HighAvailability
关系数据库系统由存储引擎和关系引擎两个独立部分组成。存储引擎负责记录存储、索引和事务处理,关系引擎负责基于存储引
o
标签来绘制图形。
基于SVG的图形具有可缩放、可搜索、更高的图形质量、文件尺寸小、下载速度快、具有丰富的表现效果等优点。但是,SVG也有他的不足之处。首先,SVG目前还没有浏览器支持,要在网页中使用SVG图像,必须安装一个SVG插件,给客户端浏览带来了不便。第二,一旦图像文件较为复杂,SVG文档尺寸就会相应变大。第三,矢量图形的打印技术仍不够成熟,主要是打印系统的分辨率不够高,特别是较大幅面的图形在相对较小的纸张上打印时较为明显。
6
ADOBEFLEX技术的选择
以下通过几点来说明为什么选择ADOBEFLEX技术:
6.1Flex与Flash也许很多入会认为Flex跟Flash一样主要是用来制作动画的,其实Flex跟asp.net或者PHP等语言一样,是用来编写应用程序的工具,例如:社交网、进销存、财务、OA等等系统,只不过Flex编译后的格式是FIash平台上的SWF格式,可以在任何安装有Flashplayer的电脑中运行。
Flex的强项之一:界面表现能力一流因为Flex编译后的
格式是Flash的SWF格式,Flex继承了Flash强大的的界面表现能力,如果对比其他WEB开发工具,Flex的强项之一就在一界面的表
6.2
擎提供的服务,分析SQL、制定查询执行计划等。BerkeleyDB是一种存储引擎。例如MySQL数据库可采用MylSAM、InnoDB、BerkeleyDB等存储引擎,如图所示。
BerkeleyDB支持平衡树(BTree)、哈希(Hash)、队列(Queue)和记录(Record)等数据集存储和索引方式,还支持
根据Key—Value中的Key创
建集群索引(ClusteredIndexo这样记录集的物理次序就根据Key值大小来排列。如果要查询结果记录集的键值为给定的一个范围,该特性对于支持这种类型的快速查询起了很大作用。BerkeleyDB的一个Key—Value记录集称为一个数据库,会存储在一个单独文件中。BerkeleyDB通过创建辅助数据库(SecondaryDatabase),允许对记录集建立非集群索引(Non—ClusteredIndexo非集群索引适用于快速查询结果为一条记录,该记录的键值为给定的一个值。例如社交网用户数据集:UseK4JID,First_Name,Last_Name,Icon,E-mail>
3数据的可视化呈现技术的介绍和选择
现能力,用Flex我们可以实现非常华丽和具有动态效果的应用程序表现界面,Flex默认的界面样式就已经够美观了,如果对界面要求很高的话可以结合Flash实现你所能想象到的界面外观,真正做到能限制你的就只有你的想象力了,我们可以在不需要使用任何图片制作工具的情况下就可以制作出一个非常具有美感的应用系统。AIR富客户端应用Flex天生就跟ajax一样能够实现异步
的网络应用,在~般的基于浏览器的应用程序要实现异步的不刷新技术非常麻烦,当然现在使用ajax框架也一样可以很方便的实现,但是,ajax还是基于浏览器上的iavascript、CSS和xmlhttp来实现异步的,所以受制于浏览器对于CSS和iavascript的支持度。
6.4对流媒体的支持Flex应用程序是在FlashPlayer平台上运行的,所以它本身可以说就是流媒体来的,SWF格式的流媒体很自然的就可以无缝的在你的Flex程序中运行,反关~半的web应用不过有没有实现ajax框架,都必须借助与第三方的播放器来播放流媒体,同时SWF也是非常多视频网站使用的标准格式。
6.5平台的可用性根据ADOBE公司的说法,Flashplayer在全世界一半的PC机器上安装度为99.8%,可以说如果写出来的程序基本在任何电脑上都能运行,而且有一个非常重要的理由:FlashPlayer的安装包非常小,同时也非常容易安装,在网络速度非常差的情况下也能够正常完成安装,这也是为什么世界上有这么多的电脑都安装有FlashPlayer的原因之一。
6.6跨平台同时还有另外一个选择Flex的原因,V1ashplayer能够在linux下运行,也可以在手机上运行,所以不用担心绑死在WINDOWS上,现在SAAS的概念正热,幻想一下,只要安装免费的linux,就可以运行你想要的,而且该些软件不用安装到你的机器上,只要通过一个URL就可以直接使用。
6.7对底层的可操作性Flex能够调用底层的东西,比如可以调用摄像头实现视频,而且视频本身就嵌入在Flex应用中,由Flexplayer直接描放o
6.8平台的后续运营和发展前景说到这个发展前景,前提就是必须有一家有实力的公司来维持发展运营这个平台,Flex是由ADOBE公司推出的,如果大家不熟悉这家公司,那么说起另外一个软件大家应该很熟悉啦photoshop就是ADOBE公司产推出的。
6.9可以用任何熟悉的WEB编程平台作为后台数据访问层,可以使用asp.net,phpdsp,webserviee。
7结论
在社交网络数据工作中,常需要将数据信息用图表的方法在web页面上展示,本文对常用的生成Web可视技术的方法进行研究,分析比较了他们的产生优缺点、做图原理及应用价值。这些理论对于在实际应用中,如何建立一个好的可视化社交网络有积极的指导意义。‘
参考文献:
【l】韩卫国,王劲峰,王海起,等.基于数据可视化的交通流量分析Ⅲ.武汉理工大学学报,2004,28(5):668—670.
【21韩丽娜.数据可视化技术及其应用展望们.煤矿现代化2005(6):39-40.
6.3
随着信息化浪潮和Internet的发展,企业中基于盼体系结构
的应用程序越来越多,在工作中,常需要将数据信息用图表的方法在Web页面上表示出来,基于web的动态图表不仅能够将数据可视化,而且弥补了单机版系统不能共享数据的不足。创建一个基于Web的图表一般有3种做法:第1种就是使用JavaApplet利用Java本身对图形的支持来显示一个图表;第2种是使用SVG技术,生成矢量图:第3种就是直接在Web服务器端生成好图表图片文件,然后发送给客户端浏览器。下面对这3种方法进行分析。java技术
4.1JavaApplet绘图原理JavaApplet做图的基本原理是将图表分解为文本,矩形、扇形、直线等基本图元,根据图表要展示的数据,计算图元的个数以及每个图元在Java坐标系中的位置,最后使
4
用Graphics类的对象将他们绘制出来。Java.awt.Graphics类提供了绘制直线、折线、矩形、弧、椭圆、多边形、文本、图像的方法。其中矩形、弧、椭圆和多边形可以被填充。
4.2
JavaApplet方法的应用情况首先JavaApplet是在客户端
执行的,也就是说,必须安装Java虚拟机,否则无法运行Java程序。其次,通常使用的微软IE浏览器和较早的Netseape浏览器必须安装Java的插件才可以正常浏览包含JavaApplet的Web页面。再次,含有JavaApplet的页面在每次请求class文件时,都需要重新下载,如果网络的通信状况不好,将会导致程序运行得异常缓慢。随着现在主流浏览器放弃对Java的支持后,这种方式只适合一些局域网的应用,而对于因特网的环境就显得不太适合。
5使用SVG技术.生成矢量图
SVG对图形的支持可缩放矢量图(SealableVectorGraphics,SVG)是用XML语言描述二维图形的一种矢量图形标准。规范描述了直线、矩形、圆、椭圆、多边形等几何图形,用SVG做出的图形能够适应不同的分辨率,不局限于固定的区域,在不同大小的区域内都能够正常的显示。SVG基于XML,可扩展性很强,能够描述任意复杂的图像,能够向图形添加动画,通过链接、事件和脚本增加图形的交互性SVG本质上是XML的一个应用,通过添加一系列XML