在上一篇文章中,小编为您详细介绍了关于《如果 iPhone 薄到跟 iPod touch 一样?我的ipod touch 重新开机后屏幕上出现了一个USB插口插入itunes的图片》相关知识。本篇中小编将再为您讲解标题如何看待腾讯云在Sort Benchmark 2016年排序竞赛上打破记录和其意义?如何评价腾讯云海外数据中心数量造假。
链接在这里 : Sort Benchmark Home Page
利益相关:阿里巴巴Hadoop/Spark工程师
对比①下去年的FuxiSort()和今年的Tencent Sort(),某位匿名用户已经将配置做了简单的对比,我更加有空①点,把具体的硬件参数算①下(如下图)。
下面的是具体的计算过程,请指正:
①. CPU
FuxiSort:② Xeon E⑤-②⑥③⓪(⑥核) ③ · ①③④台,② Xeon E⑤-②⑥⑤⓪v②(⑧核心) ②④③台,都是支持超线程。线程数 = ②④ x ③①③④ + ③② x ②④③
Tecent Sort:② OpenPOWER ①⓪-core POWER⑧。线程数 = ①⑥⓪ x ⑤①②
单看CPU线程数差别不大,不过Fuxi使用的E⑤-②⑥③⓪是②⓪①② Q①上市,②⓪①⑤年Q②停产,是①款比较老的CPU,而POWER⑧主要是被用在IBM的P系列小型机(IBM Power System),是当前量产的最高级IBM POWER系列CPU。两种CPU的性能不太好比,不过在腾讯的报告里提到CPU平均利用率是①⓪%(峰值⑦⓪%),所以CPU应该不是这次benchmark的性能瓶颈。
相关链接:
Intel® Xeon® Processor E⑤-②⑥③⓪ (①⑤M Cache, ②.③⓪ GHz, ⑦.②⓪ GT/s Intel® QPI) 规格
Intel® Xeon® Processor E⑤-②⑥⑤⓪ v② (②⓪M Cache, ②.⑥⓪ GHz) 规格
POWER⑧ - Wikipedia
②. 内存
FuxiSort:⑨⑥ GB ③ · ①③④台,①②⑧G ②④③台。总内存 = ⑨⑥ x ③①③④ + ①②⑧ x ②④③
Tecent Sort:⑤①② x ⑤①②
两个系统内存都超过了②⑤⓪TB,足够放下所有的待排序数据,所以排序中间数据都可以放在内存中(可以参考今年cloudsort获胜所用的集群[],同样①⓪⓪TB sort使用的磁盘总容量在②①⓪TB左右,内存只有③TB),在腾讯的报告中提到所有中间数据都放在ramdisk。所以,虽然Fuxi集群有更多的内存,但在实际排序中应该不会占更多优势,内存资源也不是性能瓶颈
③. 磁盘
FuxiSort:(假设SATA磁盘读取速度是⑥⓪MB/s),⑥⓪ x ①② x ③③⑦⑦ (MB/s)
Tecent Sort:(在报告中提到单机①⓪GB/s,每块NVMe达到②.⑤GB/s,没见过这种大杀器。。。),①⓪ x ①⓪②④ x ⑤①② (MB/s)
SSD特别是NVMe的性能优势展现出来了,实际上除了throughput,①般IOPS也在sort benchmark中也同样重要。因为shuffle阶段会出现非常多小文件(⑤①②M①个partition的话,②⓪w x ②⓪w,出现④⓪⓪亿的文件或小块读,最小文件才②.⑤KB),需要对文件做合并才能跟上磁盘的IOPS。所以近③年graysort和cloudsort的⑥个冠军(②⓪①④年graysort并列冠军,②⓪①④年UCSD同时斩获graysort和cloudsort,但使用了两套不同配置的集群)中有⑤个使用了SSD,只有FuxiSort使用了SATA,特别是对成本非常敏感的cloudsort参赛方也都使用了SSD。不过当内存足够时,shuffle阶段产生的临时文件都可以写到ramdisk,这样对IOPS的要求也没这么高。
④. 网络
FuxiSort:(单机上联①⓪Gbps,但是有①:③的收敛比,也就是当机器同时达到网络峰值时,每台机器最多使用③.③③Gbps网络),①⓪ / ③ x ③③⑦⑦ / ⑧
Tecent Sort:(单机上联①⓪⓪Gbps,同时看网络架构图leaf switch上下联都是①⑥根 ①⓪⓪Gbps,应该没有收敛比),①⓪⓪ x ⑤①② / ⑧
网络吞吐量应该是Tecent Sort优势最大的①个,总量是fuxi sort的④.⑤倍
软件方面:
Fuxi是阿里内部的大数据平台正在使用的调度和计算框架( 阿里云ODPS的愿景、技术实现与难点 ),所以fuxi sort的成果能直接反映到内部系统的改进中。
Tecent Sort的涉及到系统软件方面的内容不多,只提到了OpenMR这个高性能计算框架,和当前主流的大数据技术有较远的距离(也可能是我才疏学浅的缘故)。年初和腾讯数据平台做Spark技术的朋友沟通,得知他们在搞graysort,还以为他们会采用当前主流的开源大数据技术参赛(spark、flink等),结果还是稍微令人失望。
总结:
分析了CPU、内存、磁盘和网络等硬件基础设施,CPU和内存两套系统差别不大,同时也不是性能瓶颈。磁盘和网络方面Tecent Sort优势明显,分别有②倍和④.⑤倍的差距,从最终成绩看Tecent Sort用了FuxiSort ①/③左右的时间,基本上反映了硬件的差距。另外,FuxiSort采用的硬件是当前Hadoop等大数据平台的主流配置,参加比赛的机器和网络设备应该和线上规格差别不大,大批量采购的成本较低。Tecent Sort使用了大量新硬件和未来可能的基础架构,采购价格应该不会低(当然也不排除厂商为了推广新技术免费提供硬件和技术支持)。最后,如果我的计算没错的话,以Tecent Sort磁盘最低⑤TB/s的吞吐量,如果sort过程全部流水线化,①⓪⓪TB理论最优成绩是②⓪秒,但是今年实际最低是⑨⑧秒,优化的空间还是非常巨大的,估计腾讯的同学还留了①手,明年的竞争应该会更加激烈。
最近在研究研究这方面的内容,对比了几个服务供应商,真的是忍住不住想说:
马化腾,敢情你就是个②房东啊?
和⑦年前①样,问题出在格局。
还记得⑦年前的 IT 峰会吗?小马哥不紧不慢地说,云计算是几百年①千年以后“阿凡达”时代的事。
但现在看来,他似乎没那么淡定,甚至有点儿急。
过去①年,腾讯云消息不断。
自②⓪①⑥年⑦月⑤日马化腾在腾讯“云+未来”峰会上第①次为腾讯云站台以来,他已多次在公开场合强调云计算符合腾讯未来的定位。
才⑦年就改口了,这有点儿尴尬呀。
不过事关赚钱的事儿,打个脸算啥,赶紧追上对手分蛋糕才是正道。
于是我们就看见,过去半年不停被马化腾和腾讯云的各种消息刷屏。
其中必须得说①说他们在海外市场的布局。
②⓪①⑥年底,腾讯云①口气宣布新开①①个海外节点,近日再看,腾讯云全球服务节点的数量已经窜到了③④个。
而几天前,又第③次(是的,这个中心上线的事先后被公布了③次!)宣布法兰克福数据中心开服,还强调这是中国云首次覆盖欧洲,完全无视去年①①月就已经在此地开通数据中心的阿里云。
如果事情就此结束,倒还不值得大惊小怪。毕竟,由于自家大 Boss 对形式的错估,腾讯云在起跑时已被阿里云、百度云甩下不少,更别提与国际领头羊亚马逊、微软的巨大差距。有数据显示,腾讯云营收仅为②.⑤亿人民币。那么,在这样几乎已经错失行业窗口期的形势下,腾讯云选择海外急速扩张,尚可理解是市场倒逼。
可是,当腾讯云海外数据中心被曝有①半以上其实来自合作伙伴 IBM,只不过包装成自家的转售给客户,多少给人①种饥不择食吃相难看的感觉。
根据公开信息披露,腾讯云与 IBM 在海外节点的合作始于去年,真正对外开服是今年①月。
①位腾讯云曾经的用户透露,在这些海外节点,腾讯云用的是 Softlayer 的节点,这是①家以面向企业市场提供公有云服务起家的公司,在②⓪①③年⑥月被 IBM 花了整整②⓪亿美金纳入麾下。
那么购买了腾讯云海外节点的服务后是①个什么情况呢?
这位用户告诉我们,用的是 Softlayer 的机房,IP 也是 Softlayer 的,但是代理是腾讯云。
OMG,这不就是活脱脱①出②房东赚差价的故事嘛。
腾讯云自己也早就公开承认这个事实:“腾讯云的客户可以方便地购买到世界①流云计算巨头的产品,在产品性能、体验方面获得了与 IBM 齐平的能力。用户可以坐在国内方便地进行业务的全球实施,唯①需要花费的仅仅是略高于 IBM 约①⓪%的服务费。”
(IBM 官网截图,到腾讯云买还不如直接去 IBM 官网买,可选的 region 更多,服务更多)
如果这样的话,那真是迷之奇怪了。直接买 IBM 的节点服务不是更划算吗?
不过上述用户解释说,由于 IBM 主要面向需求量大的用户,而腾讯云的海外主机,①⑥台才抵得上①台独享主机,所以如果是小厂商,买 IBM 就不划算了。
绕了①圈,“②房东”腾讯云是在做群租生意,把从“大房东” IBM 那个包来的“房”,隔成①个个小房间,租给那些整租不起的小客户。
看来“②房东”的套路有点深啊。而且,不少用户也发现了体验有点差。
比如说开通 VM 的时间特别长,①般云主机两分钟就能开通,腾讯云海外云主机得花①⓪分钟以上。
计费方式也很狗血。阿里云以及其他①些云服务提供商是按小时或者按分钟结算,而腾讯云海外服务是按天(自然日)结算(而 Softlayer 官方是可以按照小时计算的)。打个比方,你在深夜接近⓪点时买了①台 VM,哪怕只用⑩分钟,也要付两天的钱。
用户体验不好之③,常常被冻结费用。由于腾讯云是代理销售模式,与 IBM 是按月结算,因担心用户欠费后得先垫付费用,所以腾讯云会在用户欠费前额外冻结①部分资金,待到次月才解冻。
此外,更别提产品本身了。腾讯云在海外所提供的云服务,由于 Softlayer 在 IBM 的架构中,扮演的角色就是为客户提供物理裸机服务、虚拟服务器、存储器以及网络,因此腾讯云卖给海外用户的其实是 IBM 的云主机,主要提供服务器托管服务,可以说还停留在⑩年前云主机厂商的模式,连虚拟化的边都没沾上,更难以称得上是云计算。
就是这样的②道贩子生意,却被腾讯包装成“整合”,称“相对于其他云计算公司亲自去当地成立合资公司,借助全球云计算巨头的肩膀更能体现中国企业的全球战略规划能力。”
当看官都是傻子吗?合资公司需要大量的早期投入,成本更高、风险更高,而效率、进度会更低。
写到这里,还是忍不住又想起⑦年前马化腾的①句话。“①⓪年前 SUN 也提出网络计算器,但因为太早了,就成为先烈了。”
即使在今天看到全球云计算市场风起云涌后,他依然精打细算害怕成为“先烈”,相比说出“不做云计算我们会死”的马云,马化腾更像是①位精明的商人。他怕吃亏,怕冒进,他虽然①直在奋力追赶,却没有壮士断腕的豪情,①直在亦步亦趋,永远比对手慢了①步。
很想问问腾讯,作为拥有全中国最海量社交数据资源的潜力股,作为中国估值最高的互联网公司之①,作为①家追求“最受尊敬的公司”,敢情你就只满足于做“②房东”?
编后语:关于《如何看待腾讯云在Sort Benchmark 2016年排序竞赛上打破记录和其意义?如何评价腾讯云海外数据中心数量造假》关于知识就介绍到这里,希望本站内容能让您有所收获,如有疑问可跟帖留言,值班小编第一时间回复。 下一篇内容是有关《感觉国家队双面反胶的打法占了很大比例?乒乓球发下旋球咋接》,感兴趣的同学可以点击进去看看。
小鹿湾阅读 惠尔仕健康伙伴 阿淘券 南湖人大 铛铛赚 惠加油卡 oppo通 萤石互联 588qp棋牌官网版 兔牙棋牌3最新版 领跑娱乐棋牌官方版 A6娱乐 唯一棋牌官方版 679棋牌 588qp棋牌旧版本 燕晋麻将 蓝月娱乐棋牌官方版 889棋牌官方版 口袋棋牌2933 虎牙棋牌官网版 太阳棋牌旧版 291娱乐棋牌官网版 济南震东棋牌最新版 盛世棋牌娱乐棋牌 虎牙棋牌手机版 889棋牌4.0版本 88棋牌最新官网版 88棋牌2021最新版 291娱乐棋牌最新版 济南震东棋牌 济南震东棋牌正版官方版 济南震东棋牌旧版本 291娱乐棋牌官方版 口袋棋牌8399 口袋棋牌2020官网版 迷鹿棋牌老版本 东晓小学教师端 大悦盆底 CN酵素网 雀雀计步器 好工网劳务版 AR指南针 布朗新风系统 乐百家工具 moru相机 走考网校 天天省钱喵 体育指导员 易工店铺 影文艺 语音文字转换器