互联网产业链大数据整合与应用研究
“互联网+”趋势下产业链大数据整合与应用研究
孙 立1,杨 斌2,杨 军1,潘坤友2
()盐城工学院经济学院;盐城工学院管理学院,江苏盐城21.2.24051
摘 要:在“互联网+”趋势下,随着产业链大数据的不断增长,产业链大数据的信息融合、技术需求以及定制服务对已有的大数据平台建设和统计思路带来了严峻挑战。阐述了产业链大数据理论,分析了产业链大数据的基本权利、发展需求以及服务创新环节,最后,提出了产业链大数据平台未来的应用前景和发展方向。
关键词:互联网+;产业链大数据;物联网;数据权利;服务创新;智能交互
:/DOI10.6049kbdc.2015030644jjy
()中图分类号:F260A 文章编号:10017348201517005704 文献标识码:---
0 引言
大数据技术和云计算的快速发展,引发了社会对数据资源共享和利用的强烈需求。在“互联网+”趋势移动互联网、云计算、大数据、物联网等与工业4.下,0
1]
,结合[促进电子商务、工业互联网和互联网金融健康
术要求、企业自身需求以及产业链服务环节,提出“互联网+”趋势下产业链大数据的整合发展策略和未来发展方向。
1 产业链大数据平台的主要问题
移动互联、大数据、云计算等新技术从需求和供给两个维度极大地改变了产业链数据的实现方式。整合分析产业链上下游企业数据发现,产业链大数据从4“)个方面(改变了传统数据的运作方式,促进了数4C”具体包括数据据价值的实现和产业链的内嵌式变革,
)、运用的关联性(数据质量的兼容性Connectedness()、)数据分析成本(以及数据价值转ComatibilitCostpy
)。大数据和云计算的供给与产业链化(Caitalizationp更智能的匹配,但在匹配服务过程需求得到了更科学、
中,随着中小企业用户提出更精细化的决策以及智慧产业链大数据的复杂性、时效性、定制性化生产需求,
对现有系统的发展提出了巨大挑战,具体体现在以下5个方面:
()非结构化数据关联有限,缺乏自动化学习机1
制。在以物联网为基础的工业互联网、能源互联网、车对非结构化数据的实联网等非结构化大数据平台中,
体属性和关联关系缺乏精确描述,也难以与传统结构化数据平台融合。系统缺乏自动化的学习机制,面对爆发性增长的海量产业数据,实体之间的发展规律和
发展,生产管理、市场研究、咨询行业以及用户体验亦众多省份集中上线进入了大数据服务模式。2014年,
[2]
的“大数据产业情报服务平台”和少数行业的大数据3]平台[为广大中小企业提供产业动态信息、高价值图
表分析甚至预警服务。产业链大数据平台除包含传统大数据平台固有的软硬件技术和信息服务外,更是建多行业、多维度的生态圈上,可以无限衍立在多企业、
生和扩张,使得信息获取更加准确即时、数据挖掘更加
4]
。精准透彻[
目前大数据平台研究主要集中在“数据拥有者”企业的软硬件建立、数据整合、个人隐私保护、平台安全法律法管理等方面。由于缺乏适用的技术管理标准、规和政府引导,参照国际通行做法,产业链大数据服务主要在网站新闻、国家部门统计数据、简报等上面集中展示。因涉及个人隐私、商业机密、数据价值、实时计可视交互等内容,广大中小企业无法获得符合自身算、
需求的动态数据分析、智能决策服务以及智慧化生产
5]
。本文将通过分析产业链的大数据权力特点、需求[技
收稿日期:20150504--
););)基金项目:国家统计局项目(国家自然科学基金项目(江苏科技金融研究院项目(2013LY073413011262014kdt006j
,,作者简介:孙立(男,江苏盐城人,盐城工学院经济学院讲师,研究方向为大数据/云计算、管理工程等;杨斌(男,江苏盐1983-)1971-)
,城人,盐城工学院管理学院副教授,研究方向为信息管理、大数据挖掘等;杨军(男,江苏盐城人,盐城工学院经济学1975-)
,院讲师,研究方向为互联网金融、市场营销等;潘坤友(男,江苏盐城人,博士,盐城工学院管理学院副教授,研究方向1979-)
为区域经济、物流运输。
线索愈来愈难以发现,多数分析是对“直觉+经验”判无法从产业链数据分析需断下产业链规律的再验证,求出发去收集和整理数据。
6]
)。由于涉及个人隐私、(数据访问控制复杂[商2
公共安全和第三方访问控制,对大数据的拥有业机密、
能化数据融合和自动化学习机制:提高跨学科、跨领域的大数据技术和应用模式研究;DK及③开源平台级S其软件:以产业链特性为基础,在平台级SDK及其软件拓展开源的大数据生态环境,促进其广方面取得突破,
通过形式泛应用和行业创新发展;④可视化交互引擎:智能化和互动化化的描述为非专业人员提供个性化、
在以智能的信息服务;⑤创新产业链大数据服务环节:应用为核心的“互联网+”环境下,充分发挥物联网和互联网在产业链大数据配置中的优化与集成作用。2.1 商业数据安全与定价
2.1.1 商业大数据的基本权利
基于产业链大数据数据海量、多模异构、领域交产业融合等特点,提出产业大数据的五大基本权叉、
利。①数据拥有权:产业链大数据来源包括国家权威统计部门和企业管理信息系统的数据,也包括生产制造业中产生的物联网非结构化数据。拥有权可以发生变更、继承、交割等,需严格明确数据拥有者的权利;②数据隐私权:当数据需要共享、租售、交付第三方分析时,需通过技术与法律的手段保护个人隐私和商业机通过一定的访问控制模型决定数据密;③数据许可权:的共享程度和访问者的访问权利;通过④数据审批权:形式化的语言让非专业的管理和法务人员能够定义数据的法律条款,并动态追踪审计数据的使用情况;⑤数据分红权:指数据拥有者根据数据稀缺性、价值密度、历史价格、使用效用等享受的分红或等价信息服务。2.1.2 产业链大数据安全()系统运维安全:通过基于虚拟化的云数据中心1提供系统性的安全解决方案,以安全虚拟器件代替原有硬件设备的产品交付方式,确保物理、虚拟及云环境中服务器的应用程序和数据安全,为云和虚拟化环境自动安全保护,将传统数据中心的安全提供主动防御、
策略扩展到云计算平台上。
()数据自身安全:包括静态数据安全、动态数据2
安全和数据控制权。在物联网信息模型下,数据的产操作能力、隐私保护能力以及与生具有自主关联能力、
大数据平台异构集成的能力等。研究大数据平台中数据加密、基于N动态审计、数oSQL数据库的访问控制、据防跟踪、数据脱敏匿名化等技术。
()数据使用安全:当多源多模数据源发生交互3时,在保护多方隐私的前提下完成可信计算环境下的多方安全计算。数据拥有方将大数据上传至第三方可
9]
,数据分析方利用数据访问权利在云端对信云平台[
权、隐私控制、分配许可、审批追踪和产权分红权等缺广大中小企业难以操作。仅通过资源有乏严格界定,
限的第三方产业链服务平台获取大数据的有关服务,极大地影响了数据之间的交互共享和挖掘分析,针对本地情况的个性化服务十分匮乏。
)(领域建模融合有限、易用性较差。大数据技术3
而产业链大数据子系和管理规范来源于互联网行业,
统众多,层次关系复杂,不仅常用的数据聚类、演变以而且与通及挖掘技术无法揭示产业之间的内部联系,
用的大数据分析挖掘技术之间存在巨大鸿沟。缺少垂直应用行业的数据分析与领域建模,交叉融合有限,只能提供通用的分析结果,无法适应灵活多变的企业需求
[7]
。
()商业模式单一,服务模式类似4
[8]
。在已有的产
业大数据平台中,数据主要来源于经过数据脱敏的国家统计机构和企业自身的ERP、CRM等系统。此外,缺乏丰富、流动的物联网非结构化原始数据,开源软件企业之间缺乏合作,使得降低了通用分析技术的门槛,
已有的产业链大数据平台仅作为闭源的信息存储和以验证规律为主,主动预测为辅,难Hadoop计算载体,
能源互联网等“两化”产业。在闭以结合工业互联网、
源的商业模式下,大数据的自营模式、租售模式、平台模式、仓库模式、众包模式和外包模式等对原始数据提阻碍了商业应用。出了更高要求,
()缺乏可视化技术和开源平台级S自定5DK工具,
义分析有限。缺乏可视化技术和工具,使得广大中小企业用户难以对数据进行探索式的分析研究,成本增加,无法主动利用“试错机制”定点验证产业模型,也无法发现商机或剔除噪声。而开源平台级SDK及其软件的缺失使得用户在复杂多样的处理模式下只能被动接受平台本身提供的有限分析预测结果,既无法自定义进行操作,也无法以技术扩散的方式不断开发基于产业链大数据分析的创新应用。
2 产业链大数据服务创新
产业链大数据主要来自于互联网W信息eb系统、
)、)管理信息系统(和科学实验系统物理系统(CPSMIS四大类综合数据集合。目前关注单一系统或行业的数据挖掘无法揭示各产业与经济社会之间的关系,也难以下问题以为企业个体提供针对性分析和预警结果,
亟需解决。①商业数据的安全与定价:基于安全的数据交互和共享策略,统筹数据拥有方、数据许可方、数据审计方、数据分析方与数据分红方之间的关系;②智
其进行挖掘分析,并最终提供基于隐私保护的结果。2.2 智能化数据融合与自动化学习
2.2.1 智能化数据融合
跨学科和跨领域交叉数据融合分析与应用将成为产业链大数据发展的重大趋势。基于垂直应用行业的MPP架构数据库逐步与Hadoop生态系统融合使用,
用MP高质量的结构化数据,同时提供P处理PB级别、
利用H丰富的SQL和事务支持能力;adoop实现半结构化、非结构化数据处理,同时满足结构化、半结构化
10]。和非结构化数据的处理需求[
反馈、实时处理的大数据决策综合系统的重要组成部分。通过开源平台级SDK及其软件开发的可视化工具降低广大中小微企业的使用成本,借助可重新编程的物联网终端收集数据,借助第三方大数据基础设施实现大规模的协作分析,为非计算机专业人
12]
,员提供交互方便的可视化操作通道[并进一步促
2.2.2 自动化学习机制
产业链大数据平台除包含普通大数据平台的技术、硬件、软件、信息服务等方面外,最重要的是产业链端的全体接入。针对信息维度非常丰富的非结构化数混合不同专家领域模型,以自动化学习和数据挖掘据,
机制代替预先定义好的复杂算法和主观假设;以增量训练的方式实现在线流式学习,反映最新的数据变化;通过自动的数据修复机制,提高数据的可用性数据的边际收益。
2.3 可视化交互引擎和开源平台级SDK
数据可视化是领域专家理解数据的基础,而产网络/图数据、时空数据和多业链大数据中的文本、
维数据均需要在不同的领域模型进行呈现。因此,可视化的交互引擎是实现数据收集、选择引导、交互
[11]
进开源软件的良性循环发展。可视化交互引擎和公共开源S众筹等方式进行跨学科、跨领DK使得通过众包、让更合适的人群参与其中来域的模型分析成为可能,
发现创意和解决问题,并根据协作程度和分析结果享受相应红利。
2.4 创新产业链大数据服务环节
产业链大数据涉及数据采集、数据存储、数据处理、可视化分析、数据应用服务等各个方面,贯穿了数从互联网下的“数据驱动”转变为“互据整个生命周期,
联网+”下以“智能应用”为核心的业务内涵和商业模式是其发展的原动力。产业链大数据服务环节分为数“据采集、数据融合、云计算、信息反馈、互联网+”服务如图1所示
。5个环节,
等,实
现对多维数据的包容性、模型的快速更新,最终提高大
图1 产业链服务环节
)数据采集:在信息化与工业化的高层次深度结1 (
物联网大数据逐步成为产业链大数据的重要来合中,
源。针对不同行业、不同规范的流动性数据,传感器、采集器等物联网终端负责对数据进行实时采集、处理、传输,并实现行业应用接口等功能,提高人与人、人与物与物、物与系统之间的交流融合。物、
()数据整合:跨学科领域模型和开源技术接口是2数据整合的关键。多源多模的产业链大数据与各行业相融合,从数据整合应用角度,实现大数据在计算编程编程接口、应用框架、实现框架和资源管理等多模型、
个层面的数据融合,跨学科、跨领域的新型概率和统计模型符合产业链中不同企业不同层次的多方面需求,将拓宽大数据平台的商业服务模式和技术开发领域。()云平台:云端平台为产业链大数据提供了计算3
可扩展的基础设施。通过可扩展和按需服务的第三方云计算平台,建立一系列适用于产业链分析的经济社
会模型,通过决策问题描述、推理问题分析、参数模型分析等一系列技术将多种专家领域模型集成在平台形成快速反应、交互方便、即时处理的智能决策综中,合系统。
)(信息反馈:产业链大数据的实时处理将生产从4
智慧工厂模式转化为智能生产模式。通过物联网流动性数据的不断产生和反馈,对于产业链中可能临时出现的零部件故障、隐患、精细化个体需求,实现各行业跨部门的集成和组合,更加有效地配置各类资跨区域、
源,提高产业链的运行效率、安全水平和服务能力;对产业链各行业的管理、决策、规划、运营、服务以及主动安全防范提供更有效的支持;基于云计算分析为产业链和相关经济社会提供新的理念、处理模式和分析手13]
。段[
)“(互联网+”服务:移动终端为大数据的使用提5
供了可视化交互通道。基于语音交互、触控交互、多媒
体技术等多通道、多网络方式的信息交互整合,使得面向广大中小微企业的个性化智能终端走进产业链的各促进产业链大数据与现代制造业、生产性服务个企业,
业、商业、金融业等的融合创新,为产业智能化提供支撑,增强经济发展动力,促进国民经济提质、增效、升级。
能力的提升。
4 结语
产业链大数据作为一种重要的战略资产,已经应用到各个行业领域和部门,其深度应用不仅有助于企更有利于推动国民经济发展,对于业经营和用户体验,
促进信息产业创新、改变经济社会管理面貌等也意义重大。如何集成海量产业链大数据并挖掘可以有效利用的部分,将是未来研究的重要领域。参考文献:
[]1IDAXU,WU HE,SHANCANGLI.Internetofthinsin L g
:[]asurveJ.IEEETransactionsonIndustrialInindustries -y,():formatics2014,10422332243.-
[]/://2EBOL].htt 江苏省大数据产业情报公共服务平台[p
///122.49.5.12:8080kolonAtlasindex1210.ss.2014--gj[]/:////3EBOL].httwww.cbminfo.comtabid 建材大数据[p
/5763Default.asx.20141210.--p
[]史浩.大数据背景下再制造闭环供应链竞争情报系统4 李健,
]():研究[图书情报工作,J.2014,58296101.-
[]王圣慧,李天柱.基于大数据产业链的新型商业模5 西凤茹,
]():式研究[企业管理,J.2014218688.-
[]]张啸剑.大数据隐私管理[计算机研究与发展,6J. 孟小凤,
():2015,522265281.-
[]]山红梅.基于云计算的科技资源共享问题研究[7J. 邹佳利,
():科技管理研究,20138186189.-
[]梁昌勇,梁雯.基于云计算-大数据的价值链创新8 叶春森,
]():科技进步与对策,机制研究[J.2014,311115.-
[]]王怀民,史佩昌.可信云服务[计算机学报,9J.2015, 丁滟,
():381133149.-
[]——R王会举,杜小勇.大数据分析—10DBMS与Ma 覃雄派,-]():软件学报,J.2012,2313245.Reduce的竞争与共生[-p
[]]李显敏.大数据的一个重要方面:数据可用性[11J. 李建中,
():计算机研究与发展,2013,50611471162.-
[]12JIUYUE,LICHAO,KIM ZUWHAN,etal.Sant HAO -p
iotemoraltrafficscenemodelinforobectmotiondetec- -pgj tion[J].IEEETransonIntellientTransortationSs -gpy,():tems2013,141295302.-
[13]AYLEE,HUNG-AN KAO,SHANHU YANG.Service J
innovationandsmartanalticsforIndustr4.0andbida -yyg []():taenviromentJ.ProcediaCIRP,20141438. -
(责任编辑:万贤贤)
互联网+”下产业链大数据发展特点3 “
在“互联网+”时代,大数据可以对产业链上的各数据互通有无,使产业链变得更类信息进行有效集成,
加紧密,大大降低交易成本,提高产业链效率,其主要体现在以下5个方面:
)(广泛集成性:企业厂商集成多种系统的数据,1
包括从物联网、供应商、管理信息系统、终端用户等多处获取数据来共同制造产品。在保护商业机密和个人隐私的前提下,高度融合的大数据平台将使产业链中各级企业从研发设计阶段到全寿命周期维护都实现协同工作。
()提高工作流程和决策准确性:大数据使决策制2
定发生根本性改变。通过可控的产业链大数据分析实定点测试,指导企业制定投资决策及改变运作方验、式。
)(创新基于产业链大数据的商业模型:产业链大3
数据催生了新型分析公司。建立以“智能应用”驱动的,商业模型、公共开源S并在产业链价值中发DK与API从“占据全价值链”到“建设开源生态”再挥桥梁作用,
到交叉领域模型,以产业链大数据为载体的知识社会创新成为“互联网+”时代的最佳选择。
)(改变用户体验:面向用户的企业长期利用数据4
来细分和定位用户。大数据实现了用户定制的质的飞使得实时个性化成为可能,多品种小批量智能产品跃,
的生产也加速了信息流动和企业转型。
)(大数据人才及团队培养:企业的很大部分资源5
在大数据时代,数据都储存于特定部门员工的大脑中,
成为企业最重视的核心资产,拥有数据管理与分析能跨界”复合型人才和联合团队是价值体系中的重力的“
中之重。未来的大数据团队组织架构,在需要迅速提升数据与技术能力的阶段聚拢团队形成独立部门,在需要补充业务知识的阶段则将团队分散开来,并嵌入到业务线中,从而在动态中实现大数据专业团队综合