Mellanox安排100G以太网推进百度AI战略落地
2017年10月31日,SOSP’17,上海讯,世界领先的高性能盘算、数据中心端到端互连计划供给商(纳斯达克交易所代码: MLNX)Mellanox今日发布, 互联网搜索巨头百度公司现已采取Mellanox端到端RDMA以太网互连解决计划为其打造全球顶尖的AI平台。在全球盘算机体系范畴的顶级会议——第26届操作体系原理大会(SOSP’17)上,百度提交了关于 “高性能RDMA协定栈要害技巧” 的Poster。该Poster展现通过树立一种类Socket的RDMA通讯库,可将现有业务无缝迁移到高性能RDMA协定栈。百度是国内第一家大范围安排Mellanox 100G RDMA (支撑RoCE v2) 以太网网络的企业,Mellanox与百度精诚合作,引领了网络技巧的快速发展。
随着人工智能和5G网络的兴起,“唤醒万物,万物互联”的时期已经来临。在人工智能范畴,盘算量需求的爆发式增加无疑对网络提出了更刻薄的请求。百度AI算法具有高流量突发的网络特点,而且对网络的时延、带宽以及吞吐量的需求也很高。百度类Socket通讯库底层采取Mellanox 100G RDMA以太网,使得百度AI集群的训练速度获得了大幅度的晋升,AI训练参数的同步时光也进一步缩短。
作为高性能互连网络的核心组件,基于RDMA技巧的Mellanox以太网解决计划在百度HPC集群和高性能存储集群中也施展了要害作用。百度云旗下的块存储服务——云磁盘(CDS)采取NVMe介质,其读写时延已低于传统TCP网络的通讯时延,网络因此成为了最大的瓶颈。联合25G RDMA以太网解决计划,百度对其底层的Baidu RPC(brpc)进行了改革。测试成果表明,改革后brpc的延迟可下降20% - 60%,QPS(每秒查询率)可晋升40% - 80%。相应的,云磁盘(CDS)的读写时延可下降10%-40%。
“无论是传统的HPC利用还是新兴的人工智能平台,都离不开高性能RDMA网络的支撑”,Mellanox公司亚太及中国区市场开发高等总监刘通表现。“我们很幸运与百度公司合作,为业界领先的AI开放生态架构供给支撑,共同构建更高效的网络协定堆栈,推进网络改革,共同引领100G RDMA以太网大范围安排,打造AI平台的网络新引擎。”
目前, 百度人工智能研讨结果已全面利用于百度产品, 让数亿网民从中受益; 同时, 百度还将语音、图像、机器翻译等难度高、投入大的领先技巧向业界开放, 以下降民众创业、万众创新的门槛, 进一步释放创业创新活气。
下一篇:没有了
相关文章:
相关推荐:
网友评论: