10倍速大数据解决方案
恒扬数据10倍速大数据解决方案集中打造从芯片处理设计、硬件系统、软件大数据分析平台、算法处理、机器学习、神经网络深度学习、数据应用的整体系统架构,该系统和解决方案具备芯片级、设备级、机器学习算法级、系统级、数据分析应用等整合能力,突破摩尔定律极限,通过异构计算处理实现10倍以上加速。
方案特点
1.芯片级加速,10倍增速
2.SPARK架构,海量处理能力
3.上层提供丰富的应用模块
目前,国内的数据带宽已经达到2000T,并且每年以40%的速度迅猛增长,即时通讯、网上支付、视频点播等各种应用也是层出不穷,不断地融入和改变着人们的生活和工作方式。面对这种几何级爆炸式的增长,现有大数据解决方案通常是基于Hadoop平台结合大量服务器堆叠的方式实现对海量数据的处理和应用,但是通过一段时间的应用,越来越多的客户发现虽然数据中心越建越多,存储数据量越来越大,但想要利用这些数据却困难重重,响应速度极为缓慢,通常是几十分钟级别甚至是小时级别。举个简单例子,某企业用户保存的数据量达到了60天4000T的规模,在进行大数据分析、应用之前,首先需要对这些数据进行解压、转换、解密等预处理,但这些预处理动作往往要花上几个小时的时间,为分析用户的应用轨迹、路径或者分析位置范围,也需要1个多小时才能得出结果,这样的响应速度已经远远不能满足在公共安全、智慧城市等领域大数据实时响应需求。
恒扬数据结合业界发展以及多年在大数据领域的深厚积累,逐步将硬件平台与数据采集分析、应用加速、大数据平台进行整合,构建了恒扬10倍速大数据解决方案:
该解决方案从下到上分为三个层次,分别是数据采集层、数据分析层、数据应用层:
1、 数据采集层:也叫基础架构服务层,进行数据采集分析,接入方式丰富,支持移动、固网、专网等各类接口数据。
2、 数据分析层:也叫平台服务层,包含对用户位置、行为、偏好、画像等进行基础特征分析的模块,通过与机器学习、图像处理、加解密等高效算法相结合的方式,形成恒扬独有的高速大数据分析能力。
3、 数据应用层:也叫软件/数据服务层,提供丰富的位置业务、精准营销、定位追踪等众多应用模块。
为什么可以10倍速?
摩尔定律的失效为异构计算的发展带来了前所未有的发展机遇,2015年Intel以167亿美元收购FPGA生产商Altera,目的是整合CPU技术与FPGA技术,通过异构计算来提升处理能力,由此宣告了异构计算时代的到来。
恒扬捕捉到了这个趋势和机会,发挥自身长处,把异构加速应用到大数据处理中,针对数据处理领域最消耗CPU资源的算法进行芯片化处理,并且封装为平台,与大数据分析应用平台有效整合,极大提升了大数据分析的性能。