无障碍说明
腾讯科技科技 > 科技专题 > 互联网专题 > 2013互联网大会 > 正文

SAP中国研究院王斌:互联网大数据引发I/O瓶颈

腾讯科技[微博]启言2013年08月14日14:46

[导读]全球每天有2940亿封电子邮件发出,每个邮件都是大数据爆炸的一个点。

SAP中国研究院王斌:互联网大数据引发I/O瓶颈

SAP中国研究院总裁执行代表王斌(腾讯科技摄)

腾讯科技讯(启言)8月14日消息,在14日下午举办的互联网大会2013中国大数据发展论坛上,SAP中国研究院总裁执行代表王斌表示:“尽管SAP是给企业做管理服务的公司,但是对于互联网的发展,我们一直非常的关注。互联网的发展带来数据的大爆炸,而IT企业并没有做好准备。传统的I/O技术已经面临瓶颈。”

他认为:“不是因为硬件工程师不努力,而是目前的计算机的架构设计,天然的设计缺陷就是这样的。I/O的方式方法,在一定的范围内是最佳的,但是大数据出现的时候,已经是不可逾越的瓶颈了。”

为了解决这个问题,SAP发明了内存计算的模式,由于内存计算是纳秒级,磁盘是毫秒级的,因此可以大大提升云计算速度。

以下是SAP中国研究院总裁执行代表王斌演讲实录:

各位来宾大家好,我叫王斌。我今天受我们SAP中国研究院院长的委托,感谢这次大会对SAP的盛情邀请,也感谢大会给我们SAP一个机会,把我们在大数据方面的技术展现给大家,跟大家一起分享,我们希望在中国能有更多的探索机会。当时收到大会邀请的时候,说让我们讲技术方面的问题,我准备片的时候准备了一个新技术HAHA,我们大会主要以大数据技术方面为主。

我们中国互联网大会今年是第12届了,我觉得前面的若干届,我就关注,尽管SAP是全国最大给企业做管理服务的公司,但是对于互联网的发展,我们一直非常的关注,包括这次参加大会,我一直在公司说,我们应该参与,因为中国互联网发展,跟全世界有不同的发展历程。互联网产业引发的数据量爆炸,给我们暴露了几个信息。这里面有企业的分析,包括库存,像销售,像交易数据,包括销售订单,还有内部的问题,还有中间业态,就是互联网产业中间业态的流通行业和传播行业。从目前来说互联网的产业数据量爆炸实现的趋势,就是很多以前貌似不关联的数据,很多以前在独自资系统里面的信息都呈爆炸式的增长。网上的交易,从终端客户到网上的网店,以后到后面的供应商,原始厂商,原料厂商,由于每类事件的爆发,导致数据爆炸,产生了爆炸的冲击波海洋。在这个过程当中,大家感觉数据从以前的有序性,变成无序性了。

现在目前全球每天有2940亿封电子邮件发出,大部分都是跟商业有关的,还有跟企业运作有关的,真正的垃圾邮件有一定的量,但是量并不是非常的大。每个邮件的发出都是大数据爆炸的一个点。这个事实没有任何的改变,互联网产业是生产力,每天邮件的发生,每天数据爆炸是不可更改的现实,IT技术应该是它合理的生产关系。互联网发展的二十三年时间,互联网产业的发展和IT技术是呈一种互相制约,又互相促进的过程。早期互联网由于技术不到位,导致很多互联网的企业,导致他们变成了一个流星,其实很多时候不是他们不努力,也不是他们不认真,主要是技术不能很好的支撑,导致那个时候,由于系统不支撑,导致市场没有办法成熟,导致商业模式受到了挑战。

很多企业赶上了比较好的时候,所以IT技术也伴随互联网发展,有的时候IT技术是超前的,有的时候IT技术是落后的。目前大数据爆炸情况来讲,我感觉IT技术总的来讲谈不上高新。作为IT人,我感觉有一点惭愧,目前我们IT技术的发展,我们努力追赶大数据爆炸的冲击波。SAP在大数据技术方面我们做了一些工作,但是我相信有前十年的经验,目前IT行业在大数据方面的投入规模超过若干年前的总合。我们以前很多的SAP的软件,包括很多的企业都是一样的,首先在欧美上市,慢慢到中国。现在在大数据这方面,我们在中国用的技术跟美国是同步的。

互联网产业是与时间赛跑的产业,我们在座的从事互联网产业的,不管做视频类的服务,还是做商品类的服务,还是做咨询类的服务,这是最深的感受,互联网产业与时间赛跑。在相对的时间和短时间范围内,如果做的相对准确,你就拥有了这个市场。坐在中间的这个先生,大家可能把他当成是企业的领导者,或者企业的管理者。可能他要管理很多的数据,对企业的问题给出准确的判断,其实不然。我觉得我们大家不管作为企业的管理者生产端,还是流通端,还是消费者端。每个人选择一个产品的时候,你做的是同样的工作。中间这个人是我们互联网产业环节当中的每一个角色。大数据轰炸的不仅是企业,大数据轰炸的是每一个人,每一个终端消费者做什么决策。什么样的人能做什么样的服务,能在短时间做出正确的判断。

传统的数据处理技术,有它不可逾越的瓶颈。家里的电脑CPU运转很好,但是硬盘不断的在往上升,你需要调一个PPT也好,你需要玩一个游戏,输入和输出不断的调动,把它转移到内存当中,在进行处理。有的时候游戏换界面的时候,又把新的东西弄进去。这些东西的产生都是I/O输入的速度,但是I/O是不可逾越的瓶颈。不是因为我们硬件工程师不努力,而是目前的计算机的机构设计,天然的设计缺陷就是这样的,组织机构,I/O的方式方法,在一定的范围内是最佳设备的,但是大数据出现的时候,已经是不可逾越的瓶颈了。这种瓶颈导致CPU效率不高。我们买了很多CPU,当发生I/O瓶颈的时候,CPU不能运转起了。如何解决传统技术上的缺陷?尽管说今天我们不能改变计算机整体的设计效果。这是刚才我讲的I/O的瓶颈问题。

硬件技术发展很快,我们大家在买电脑的时候会发现CPU是多少,但是你的手机CPU价格很高。由于这两个原因,SAP在过去几年间,花了大概十年的时间研究一个计算方法,我们看左边这个图,我们SAP可以做一个大的memory,使用的技术是什么?右边讲的是瓶颈问题。我只插入数据变化,这是它的处理方法。在这张图上,我们SAP打包了实时数据复制的引擎,行业存储的引擎,数据抽取的引擎形成了云计算的引擎,以后不用在磁盘查云计算,可以在内存上解决,这就解决了I/O的问题。

这是我们SAP比较领先的技术,有一个压缩技术,有一个消除的技术,对于重复的数据能进行消除,同时又实时数据复制技术,抽取机制,最后是消除数据聚集导致数据冗余。由于时间关系我就不仔细讲了,如果谁想了解大数据底层结构的话,可以和我们联系,我们一起探讨。没有磁盘读取可以压缩。

内存计算是纳秒级,磁盘是毫秒级的,从实际应用中是500-1000倍的技术。我们会从应用层导致数据层,数据层不是传统的磁盘数据层。这是并行处理的,这也是比较具体的一个技术,这是我们实测很复杂的一个技术。最后给大家看一下,在消费者公司,是SAP的客户,在使用传统的数据库技术用77分钟来做分析,使用HAHA之后降低13秒。谢谢。

注:2013互联网大会于8月13日至15日在北京召开,腾讯科技作为本届互联网大会的官方战略合作门户和官方指定合作新闻中心,在现场进行全方位的视频和图文直播。并特设立2个现场专访间,力邀业界专家与企业代表共同探讨产业现状,指点未来趋势。

作为大会官方微博合作伙伴,腾讯微博(http://t.qq.com/)上发起了#向CEO提问#的活动,所有网友都可以提前向您关注的互联网行业CEO提问。其中部分问题将被选中,在互联网大会现场提出,并得到嘉宾的正面解答。

[责任编辑:vikwang]

相关专题:

  • ·2013中国互联网大会订阅
您认为这篇文章与"新一网(08008.HK)"相关度高吗?
标签
SAP
大数据
I/O

阅读更多

网友评论

热门评论

最新评论