快捷搜索:  as

AI效率260倍CPU:阿里双11大规模部署NVIDIA GPU

一年一度的双11、双12购物狂欢都已颠末去,而在姑苏举办的GTC CHINA 2019大年夜会上,NVIDIA和阿里巴巴合营走漏了一个小“秘密”——原本,双11 2684亿元创记载成交额的背后,离不开NVIDIA GPU的大年夜规模支配。

阿里巴巴异构谋略总监徐凌杰表示,天天有跨越1亿购物者在阿里网站上浏览数十亿种商品,在购物高峰日,阿里的系统每秒必要处置惩罚数十万个查询,而能够包管了这统统都能正常运行,恰是AI 的功勋。

阿里引入了NVIDIA加速谋略平台,大年夜规模支配先辈的AI技巧,包括Tesla T4 GPU、cuBLAS运算库、自定义混杂精度、推理加速软件等,经由过程其直不雅的搜索功能和靠得住的保举,能够支持比以前繁杂6倍的模型,从而使点击率前进10%。

据悉,比拟于CPU,Tesla T4将最大年夜模型的吞吐量前进了100倍,能够为阿里广泛、深入的保举模型供给加速,每秒可处置惩罚780个查询,而基于CPU的推理每秒只能处置惩罚3个,效率差了足足260倍。

对电商来说,保举系统是至关紧张的利用法度榜样,可以向用户展示与其喜爱相匹配的商品,从而前进点击率,而点击率的每一次小幅前进,都邑直接影响用户的体验和商家的营收。应用能够实时大年夜规模运行的先辈保举系统模型使点击率前进10%,今朝这只能经由过程GPU实现。

据先容,阿里应用NVIDIA GPU支持资本分配、模型量化和图变换三项优化策略,从而前进吞吐量和相应性,还支配NVIDIA GPU为种种系统提速,包括自动广告横幅天生、广告保举、赞助识别伪装产品的图像处置惩罚、说话翻译、语音识别等系统。

除了阿里云,百度、字节跳动、滴滴、快手、美团点评、安全科技、搜狗、腾讯、小米等中国科技巨子的云办事也都支配着NVIDIA GPU。

您可能还会对下面的文章感兴趣: