数据时代的技术创新管理方法

大数据时代的技术创新管理方法

刘南

哈尔滨工业大学

2016年5月6日

一、理论与背景

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。大数据作为云计算、物联网之后IT 行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是真正有价值的资产。企业内部的经营交易信息、互联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息等，其数量将远远超越现有企业IT 架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。如何盘活这些数据资产，使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。

近年来，“大数据”引起各国政府、产业界和科技界的高度关注，2012年3月19日，美国总统奥巴马宣布启动“大数据研究与开发计划”，旨在提高从大型复杂数字数据中抽取知识与观点的能力，以帮助解决国家在科学与工程中最紧迫的诸多挑战问题，增强国家安全，实现教育与学习的转变。该项计划的提出将“大数据”研究上升到美国国家战略的最高层，以国家政府为核心的全球“大数据”战略竞争正式拉开序幕。

“大数据”时代的来临，标志着传统数据挖掘方法已经不再适应日新月异的数据环境，在数据采集、数据存储、数据分析以及可视化等诸多方面捉襟见肘。与此同时，各行各业对数据的依赖性有增无减，甚至以数据为基础的定量分析方法也有逐步取代耗时耗力的以专家为基础的定性分析方法的趋势。正是在这样的大背景下，传统的“技术创新管理”方法也面临着巨大的挑战，传统的数据挖掘方法与工具技术逐渐无法应付技术领域中迅速涌现的大规模数据，更无法实现对如此量级数据的实时处理与分析，从而丧失产生辅助决策依据的数据分析方案与能力。因此，从我国技术创新管理工作的实际需求出发，如何有效把握“大数据”环境下的大机遇与大挑战，应对“大数据”给传统技术创新管理工作所带来的从思维体系到技术方法的大变革，实现我国技术创新管理工作的决策创新，既是本文的立足点，也是本文期望解决的实际问题。为达到这一目标，一方面，本文将结

合当前国内外的最新研究进展，并着重关注已公开的美国“大数据研究与开发计划”项目研究内容，深入剖析美国国防部与国防部高级研究计划局相关项目的研究目标与研究对象，寻求“大数据”环境下美国国防研究中的新思路、新理念。另一方面，本文以数据挖掘技术为核心，构建“目标驱动”与“数据驱动”并行的双向技术创新管理方法体系，为我国技术创新管理的实际工作提供有力支撑。

一个权威机构把“大数据”定义为“无法在一定时间内使用传统数据库软件工具对其内容进行获取、管理和处理的数据集合”。“大数据”可以认为是“分析”的另一种表述，它是寻求从数据中萃取知识，并将其转化为商业优势的智能化活动。在大多数文献中“，大数据”被总结为如下三个特征（即三个V ）：

（1）容量大（V olume ）：2012年，全球数据总量约为2.7~3.5ZB。而每秒钟通过网络传输的数据总量已经超过了20年之前互联网的总存储量。

（2）产生速度快（Velocity ）：IBM 将这一属性定义为数据进出的高速性，也可以将这一特性引申理解为对大数据迅速的处理能力以及决策能力的要求。

（3）多样性（Variety ）：大数据所包含的数据种类不仅仅包含常规意义上的关系数据库或数据仓库数据，还容纳了如图片、流媒体以及社会网络信息在内 的全新数据类型。

然而，国内的“大数据”研究尚属起步阶段。自2012 年 5 月份以“大数据科学与工程——一门新兴的交叉学科？”为主题的香山会议顺利召开以来，在不到一年的时间，以李国杰院士为核心的计算机学科专家学者纷纷就围绕“大数据”定义的“数据科学”的理论架构与算法应用等问题进行了综述性的归纳研究与探讨不过，针对如何应对“大数据”环境给科技管理问题带来的挑战，国内的相关研究微乎其微。如何把“大数据研究”应用于实际的学科领域，或者说如何指导生产实践工作应对“大数据环境”的研究，几乎仅停留于理论阶段。因此，本文将着眼点于美国的“大数据研究与开发计划”，希望能从该项计划的制定与实施过程中寻找能够将“大数据”研究与技术创新管理工作相结合的突破口。

二、大数据环境下我国技术创新管理“双向”决策模型

如何应对“大数据”时代所带来的挑战与机遇？美国“大数据研究与开发计划”项目提供了一条行之有效的新思路与新方案，即转变决策驱动根源，由传统的“目标驱动决策”向“数据驱动决策”转化。以此为契机，我国的技术创新管理工作如何适应大数据环境，如何应对大数据环境下更为复杂与激烈的国际竞争，如

何有效地将大数据环境作为重要契机运用到国家技术创新研究工作中来，正是本文希望达到的重要目标。参照美国“大数据研究与开发计划”项目中引入的新思路，本文在整合技术创新管理现有理论方法的基础上，充分考虑大数据环境带来的挑战与机遇，构建了面向技术创新管理的双向决策模型，即目标驱动模式与数据驱动模式并行的双向决策模型。一方面，以传统目标驱动为基础，形成以传统数据挖掘技术与方法为核心的数据获取、处理、分析、支持决策的技术评估与预测模型。另一方面，围绕大数据环境下的复杂数据特征与环境，采用当前数据挖掘领域应用于大数据处理的新方法、新思路，形成以自组织动态实时监测为核心，能够有效预警并积极处理突发事件的技术监测与预警模型。本模型的数据源均切实围绕“大数据”展开。一方面，包含科技文献（期刊、专利）、技术研究报告与统计数据等在内的科技数据是作为传统数据挖掘方法的核心数据源之一；另一方面，作为“大数据”环境赖以生存的网络环境是考虑“大数据”数据源问题时不可忽视的问题，因此，本模型采纳了网络数据中的舆情数据与社交网络动态数据（博客、微博客等），这部分数据也是“大数据”环境下实现实时监测并预警的数据基础。此外，本模型还把政府政策数据、市场动态与企业数据以及金融交易数据等信息囊括在技术竞争情报分析的数据源中。而作为大数据环境中不可或缺的重要要素——“云计算与云存储”技术与“并行计算”技术也被本模型纳入到数据层中，作为本模型提取潜在信息、展开技术竞争情报分析的重要技术方法之一。

2.1 技术评估与预测模型

技术评估与预测模型围绕双向决策中的“目标驱动决策”展开，即决策者首先要明白自己的目的是什么，明白“干什么”，然后，研究“怎么干”。一般而言，“目标驱动决策”面向具体的“技术”对象，在大数据环境下，采用常规的数据挖掘方法，通过数据采集、加工与分析计算等步骤，将数据转化为可供技术创新决策目标支持的有效知识或观点。具体运用在我国技术创新管理工作中，“目标驱动决策”模型则通过有目的的对大数据环境下科技、网络以及其他数据中的潜在信息进行有效萃取与分析，实现对具体技术领域的“知识发现”与“可视化”，从而达到评估技术发展状态，预测技术发展趋势的最终目的。技术评估与预测模型围绕“技术挖掘”理论体系展开。其中，作为“技术挖掘”理论的核心思想——“技术机会分析”方法由美国佐治亚理工大学Al-an Porter 教授于 1995 年提出，即整合文献计量学方法与专家知识，针对与某特定新兴技术领域相关的科技文献数据展开挖

掘与分析，定义技术领域的核心参与者、核心国家或地区、该技术的实时变化以及技术参与者或国家间的关联关系等。2003年，Al-an Porter 教授以“技术机会分析”方法为核心，提出“技术挖掘”理论，系统地归纳了技术创新环境下如何掌握并分析科技文献数据，提取“技术竞争情报”，并通过“预测创新路径”方法进行可视化展示。本模型中采用了“技术挖掘”理论中归纳的技术

创新环境下进行技术竞争情报分析需要考虑的39个技术管理问题，如“技术发展的热门方向是什么？”、“什么驱动了技术的发展？”、“技术的哪些方面符合应用目的？”以及“哪些国家、公司、大学或研究机构在此技术或领域中领先？”等。这些技术管理问题是结合实际技术创新管理应用，可供选择的实际“目标”，而如何目标驱动决策，“干什么”与“怎么干”由此展开。技术评估与预测模型基于传统的数据挖掘方法，引入当前文献计量学与科学计量学领域中的适当新技术新方法，在兼顾传统数据挖掘能力的基础上，提升知识发现与表现能力。其中，“基础工具与技术”部分在采用了传统的“自然语言处理”技术的基础上，引入了“主题词簇技术”，即综合运用停词表、模糊语义处理、主题词网络合并分析、词频与文本频次转换分析以及关联规则等文献计量学方法，实现对自然语言处理后仍然存在大量冗余主题词与噪声数据的数据清洗与合并工作。而“分析理论与方法”部分，本文则以“语义TRIZ 理论”为核心，打破传统词频分析专注于孤立的主题词的分析方法，通过语义分析方法，构建基于“主语—谓语—宾语 ”的“问题与解决方案”模型，深入挖掘科技文献中的语义信息，并将知识发现结果通过技术路线图方法予以可视化表征。

2.2 技术监测与预警模型

大数据环境下，蕴含着丰富潜在信息的海量数据大量涌现，任何一种可能改变经济社会结构与现有技术水平的新兴技术或者任何一次可能产生技术创新的新思维、新想法都可能存在并以某种形式表征在大数据中。在国家技术创新管理工作中，如何掌控潜在新兴技术的发展动态，挖掘可能促进技术升级的核心技术，监测竞争对手相关技术领域的最新进展，并针对这一切可能情况做出及时并有效的

反应，正是技术监测与预警模型所希望达到的最终目的。有别于技术评估与预测模型需要事先制定“目标”，依“目标”的需求进行相应的数据挖掘工作，技术监测与预警模型更侧重于机器的自组织与自学习能力，通过对小规模数据的

训练与学习，形成反应并处理相应大数据的人工智能。这种自组织自学习的动态实时检测系统在传统数据挖掘方法的基础上，融入能够响应动态数据变化的动态数据挖掘理念，有效地运用相应的技术方法，能发现大数据中的“容疑点”，并深入挖掘与分析“容疑点”中的有效信息，从而达到最终形成“监测与预警”的最高目标。

有别于技术评估与预测模型中的传统数据挖掘技术，技术监测与预警模型中以数据为驱动，首先就表现在“自组织动态实时监测”模块的构建。通过规则的建立与基于机器学习的算法训练，形成专注于“数据”本身的实时监测模型。在剔除垃圾数据，实现数据向信息的有效转化之后，一方面，监测数据分析结果中的“孤立点”，及时发现异常数据并分析推演其背后原因；另一方面，基于有效的大数据可视化以及社会网络分析，聚焦并解决决策目标的具体问题。值得一提的是，在技术监测与预警模型中，“基础工具与技术”与“分析理论与方法”两部分的部分理论方法是互通的，可以在实际的应用过程中，根据需求进行有效地选择与应用。

三、结论与展望

如同众多媒体及研究人员将2013年称为“大数据元年”一样，经过长期的积淀与迅速的发酵，“大数据环境”已经在短短两年的时间里扩展到经济社会的各个层面与领域，并从技术问题上升到了国家战略的最高层。如前所述，如何让我国技术创新管理研究工作迅速适应大数据环境，并有效利用大数据

环境产生的空前机遇与挑战，是每一名科技工作者不可避免并必须慎重考虑的重要问题。本文正是以此为突破口，鉴于相关研究团队在“数据挖掘”领域的多年积累以及在“大数据”研究中的深入思考，并充分结合在技术创新管理领域的丰富项目经历与研究经验，创造性地提出了大数据环境下面向技术创新管理的双向决策模型，整合传统的“目标驱动决策”与大数据环境下的“数据驱动决策”理念及方法，分别从“技术评估与预测”及“技术监测与预警”两个方面构建了适用于我国技术创新管理的新方案，旨在提升我国技术创新管理研究工作，应对大数据环境，有效并快速提取知识与观点的能力，并最终促进我国核心技术创新与升级，在激烈的国际竞争中立于不败之地。

与世界上所有国家、企业以及研究机构一道，针对“大数据”的研究，我们站在了同一起跑线上。如何抓住机遇，应对挑战，让我国科学技术的发展在这一

迅速变化的复杂竞争环境中处于世界的最前沿，是本研究团队期望能与我国所有科学技术研究人员一同努力并达到的最终目标。在本文的基础上，进一步完善并丰富本技术创新管理决策模型，在开发智能化的基础软件工具的同时，选择特定的战略核心技术领域展开实证研究，是下一步需要解决的重要问题之一。