构筑大数据实时分析平台
龙源期刊网 http://www.qikan.com.cn
构筑大数据实时分析平台
作者:郭平
来源:《计算机世界》2014年第33期
当数据的存储、清洗、处理、查询和基本的分析功能在开放架构和开源平台上得以实现后,对这些数据价值的深度挖掘,特别是实时分析和挖掘便成为企业用户在大数据时代的进一步需求,他们希望利用新的技术和方案,以更快的大数据分析速度以及更精准的分析结果,来辅助和支持更为高效的商业决策。
为此,近日英特尔与SAP 联手,充分发挥彼此在计算力和数据分析应用上的优势,共同打造了大数据实时分析平台。该平台以英特尔架构的开放硬件平台为基础,部署了SAP 基于内存的数据库和商业智能技术,提供优异的性能及数据分析速度,帮助企业用户更快地决策或创造新的业务模式及流程,从而捕获新机遇,并进一步降低业务运营成本。
英特尔数据中心及云计算业务产品市场总监贺晓东认为,数据处理需要朝着更快、支持更大的数据量和更高的性价比发展。“英特尔用至强E5和E7来提供对数据分析生命周期的支撑。首先是对核心业务系统、数据库业务数据的收集,如传统的CRM 、ERP 等,至强E7可为用户提供一个可靠的、稳定的、可服务的平台来满足用户的需求。对于数据进一步的抽取、梳理、存档,以及进行深度挖掘分析,这时需要可弹性扩充的平台,而E5可提供这样的平台。最后对于结果的呈现,可通过台式机、平板甚至手机,形成智能的可视化报告,英特尔的产品线从性能、可扩展性方面都可提供支持。”
据贺晓东介绍,大数据实时分析平台是英特尔中国和SAP 中国共同研发完成的,在英特尔的云创新中心,两家公司的团队搭建了HANA 加Hadoop 测试平台和环境,并做了调优。贺晓东说,用户可以带着自己的数据到这里进行测试,并能跟SAP 和英特尔的架构师一起制定一个优化方案和测试计划,以缩短部署时间,并降低前期的成本。
SAP公司数据库及技术平台部售前总监宋一平说:“SAP一直在聆听企业用户在大数据应用方面的需求和困难,并对自身产品和技术不断进行相应的优化与改进,使之能够符合企业用户日益提升的在计算性能与大数据实时分析方面的需求。”宋一平说,SAP 中国与英特尔就大数据实时分析平台合作了一年多,利用双方共同搭建的测试环境,为许多用户解决了方案验证、性能测试等问题。
对于大数据实时分析平台,英特尔云创新中心解决方案架构师程从超强调认为,每个产品都有自己的适用场景;并不是每个产品都能解决企业内部的所有问题;应把开源工具和企业级软件结合应用;从系统架构来说,该方案将Hadoop Scale-out架构和HANA Scale-up进行了有机结合。具体到该平台的应用场景,他认为,一是企业级应用,二是数据具有多样性,三是数据量足够大。