无障碍说明
腾讯科技科技 > 科技专题 > 互联网专题 > 2013互联网大会 > 正文

电子学会刘鹏:云计算应该具备容错的特征

腾讯科技[微博]2013年08月15日09:33

电子学会刘鹏:云计算应该具备容错的特征

腾讯科技讯(子辛)8月15日消息,2013年中国互联网大会云计算与物联网高层论坛在北京国际会议中心举行,中国电子学会刘鹏表示,云计算最重要的特征就是容错。

刘鹏认为,用廉价机器构建一个平台怎么做到可靠,是最有挑战性的问题,这个谷歌(微博)创办的时候已经有了很好的解决思路。

刘鹏还表示,一体化、高性能、易用、智能以及绿色也是云计算应该具备的特征。

以下是刘鹏演讲实录:

刘鹏:我报告的题目是云计算应具备的几个品质。大家感觉大数据时代到来了,因为我们都成为数据的制造者,大家都在拍照,手机录像,微博里面不断产生内容。其实更多的数据来自于物联网高,我们有大量的传感器,大量摄象头在不断24小时产生数据,这些数据带来数据总量的剧变,这个剧变我们从统计里面看到2004年全世界只有30EP的数据,到2013就是2000个EP,这个自人类有史以来所有的数据。为了针对这种增长我们采取了云计算的方法,云计算的方法就是通过网络建大量比较廉价的节点构成高性能海量处理平台这是云计算的方法。这是1995年画的一张图,大家在那个时代已经预测到未来这种计算模型是主流的模型。

我们讲云计算应该具备什么样的特征。我认为最重要的特征就是容错,我们用廉价机器构建一个平台怎么做到可靠,是最有挑战性的问题,这个谷歌创办的时候已经有了很好的解决思路。当以大量廉价节点构建一个平台,客户端把数据存储在这个节点里面,任何数据都保存三份,任何两个节点同时坏掉还有一份,会把另外一份再复制两份到另外一个节点,任何时候节点不可靠也影响不大,早期谷歌就是这样的办法,机器快是正常的现象这是云计算的思路跟传统的思路不同的,机器快是正常的,过了两年农民工推了一些新机器,然后插上就OK了。所有云计算管理应该是高度自动化的。

更早谷歌机器是这样的,这是谷歌第一号云计算的平台,大家可以看到用这么烂的机器创办了世界上最伟大的互联网公司。我们国内有类似的平台,CSTOR这个节点也是任何盘和节点坏掉都没有问题,有一个系统已经五年了到现在为止没有管理,但是系统仍然是可靠的。另外还有一种叫Minicloud,这是装了三台服务器,这三台任意坏掉一台都没有关系还有两台,这是给企业单位提供可靠私有保存数据的环境,这比我们以前用磁盘正面保存数据很多。

第一个品质是容错。

第二是一体化。用集装箱装服务器好处就是把所有供电和散热解决了,不需要买数据中心,我微软中心派一个集装箱车派到客户的楼下接上电和网就好了,数据中心建好了。这是英特尔推出的云创数据立方云计算一体机,用户要处理大数据可以做很多工作,现在分布式的数据库,这个软硬件一体化,可以按需的提供给用户,这时候用户跟应用对接就可以解决问题。这是英特尔提出的数据中心一体化的管理,通过一体化的管理任何节点都可以进行智能管控。

第三高性能。是我刚才讲这个Cstor的性能。一个用户访问这个系统居然做到两天读数据的速度,写速度可以达到3000兆每秒,我们获得的性能是非常好的性能。这是数据立方,这是一个云计算分布式的数据库,把数据分散保存到所有节点,然后通过这个节点的分布式缩影实现高性能。这个平台性能惊人跟我们国际知名品牌做对比,同样硬件环境数据出库可以做到一百倍的速度提升,数据查询在数据量小的时候还不如对比的系统,当数据量大的时候也能做到一百倍速度的提升,这个完全采用云计算的方式设计的系统。现在我们知道国外某些知名的云计算数据库都是从关系数据库演化出来的,相对来说会受到数据模型的约束,这个好处是完全兼容传统的数据库,这个数据库目前只能做到80%的兼容。

这是国家电网的测试结果,用这个系统处理三个表的操作,数据量54亿条,当时用这个系统测出来性能是700多毫秒可以做实时应用,对比系统用了一分多钟,也有一百倍的差别。

第四点讲易用。对用户而言用户不需要管理很多东西,页面要相对简单,这个数据立方所有都是直观实时的。云存储应用应该做成一个盘,用户不需要修改任何应用系统和任何学习,这是易用做的事情。

第五点是智能。我们用的云计算输入法我们认为非常精彩,这是谷歌做的翻译,翻译出来的文章水平实现很大的跨越。现在云计算的翻译的水平已经是前所未有了,已经非常好了。译出来的英文,常用的英文表达方面都是通顺的,可以做68种语言相互之间的自动翻译,比如说这是阿拉伯语,它可以做出非常漂亮的实时翻译,现在云计算的能力是很惊人的。

这是城市级别的Cvideo,可以把城市的摄象头全部整合在一个平台,通过云计算平台处理这个数据。通过这个页面看到的都是有问题的画面,我们有几十万个摄象头要上载,让人看这个是看不过来的,有人在走廊上鬼鬼祟祟走路这些需要看其他不需要看,通过这个平台实时处理,道路上有多少车可以作为流量分析,可以完全通过云计算平台做实时处理。

比如说小区门口有人打架它也做实时的预警。这个小区门口如果有人打架它会预警,现在还没有打所以没有预警,如果打了的话这个地方有红色的报警。他躺在地上之后就不报警了。爬起来又打人又报警,反正它是这样一套系统,完全根据用户的行为做出预警。这个用云计算的方法去跟踪犯罪嫌疑人这是云方存储做的一套平台。我们以前大家通过模糊的视频怎么可能把犯罪嫌疑人抓住,通过这套平台我们视频里面人都是模糊看不清楚的,但是我们仍然可以根据新算法把嫌疑人挑出来,这是传统方法计算人的重心,这个计算人的身高,这个叫视频DNA,把这个人连续过程记录下来,然后把连续过程做一个可视化,我们看到走路的样子,这个可视化出来变成三维的立方体,这个叫做视频DNA,把这个做很多切片,每个切片是一个基因,用云计算成千上万的机器对这个基因结合做模板,对位置视频做匹配,这样比较快把犯罪嫌疑人从所有的视频里面挑出来,这个计算量非常大,要大规模推广很困难。

第六个品质就是绿色。谷歌最大中心消耗的电能相当于美国三大工程。我们谷歌输入关健词,这个关健词消耗的电据说可以消耗半壶开水。我们中国电信(微博)和移动都是建在内蒙,相对比较冷的地区,到内蒙黑龙江去这是我们五年前喊的口号。现在发现用这种方法通过网络把信息输送出来,比我们用电力信息把电力输送出来要有效得多,所以我们光纤做的很大。这是微软的芝加哥数据中心,他从水坝用大量水到数据中心散热,这是微软在欧洲的数据中心,大家可以看到这里放了很多集装箱但是用了很多水管散热,微软公司当时招了很多水电工,用这种方法散热。

这是谷歌散热中心,大家看到这里面很漂亮,蓝色代表冷水,黄色代表热水,绿色代表冷风,红色代表热风。这个谷歌在比利时的数据中心,建在北方非常冷的公司,这个数据中心没有空调,一年又几天比较热,谷歌就把这个数据中心关掉,冷了再打开,他数据中心做的容错很好了,所以这个关闭也没有问题。现在谷歌购买大量的风电场,用风能发电。这是云创作ARM的板子,可以上16块硬盘高速的运行。一个机架正常两面都是盘,中间是24块板。这是64位低功耗的主板,这个性能非常好的,用板子做的机器,每块板挂了12盘,所有部件都是可以拔出来插上去,它能耗是非常少,但是它可以承载很大能量。

目前引用大量数据中心采用这种方法,这是南京的数据中心,神州数码数据中心采用了,这是江苏移动部署的智能数据立方等等。这是智能交通,目前可以用数据立方做完全,无论数据量多大,有10万亿条记录可以做10万次主力。

这是我们中国云计算网站,这是我们出版的书目前销量最大的书,这是我们第二版,这是我们出的时代Hpdoop,谢谢。

[责任编辑:haroldli]

相关专题:

  • ·2013中国互联网大会订阅
您认为这篇文章与"新一网(08008.HK)"相关度高吗?
标签
云计算

阅读更多

网友评论

热门评论

最新评论