1、单颗芯片对比:


(相关资料图)

AMD MI300出来前,产品MI200和MI250和英伟达的A100和H100还是有差距。但差距在MI300出来有改变, 单颗GPU相对H100提升25-30%,2-4颗协同提升50%,4-8颗小集群有2X提升。

2、市场:

英伟达很早布局。市场占有率方面,AMD和英伟达有很大差距,MI300出来前,硬件有差距。

软件生态差距更大,很多上层模型都是基于cuda的,development tool+library+compile+program model 会有很大依赖性,不改变library突然切到amd有风险。

这两年有变化,amd 的soft stake 很好兼容加速算子、加速库,不需要对模型本身进行调整,硬件性能也在提升。

未来来讲,HPC主要是训练,但是现在生成式AI,对推理需求越来越高,未来几年走势都是这个方向。

3、MI300推出时间 产能和价格?

时间:目前还是和大客户做大集群部署过程,小集群已经有很完整数据。未来几个月针对大语音模型的完整数据也会出来。

面向市场和客户会在Q4。

产能:4Q预计10w片tape out。

定价:和之前一致,走性价比,价格不会比H100贵。

4、能否供应中国市场?

不能。MI300远远高于禁止标准,IO接口和计算性能。

国内会有改进版本MI388,针对IO做reduction。

5、AMD GPU国内合作伙伴?

非常多联系,很多客户对MI388感兴趣,尽量4季度出来。阿里 百度 腾讯 字节都非常感兴趣。

6、PYtorch 支持更多的GPU,怎么看待对CUDA挑战?

会有一定影响,但是CUDA有自己护城河。和硬件层面非常贴合,cuda 还有compile tool,soft stake是很多层级的生态,cuda有先天优势的。这个东西完全移植过去,有稳定性 和 性能问题。

但amd能兼容每一级,对cuda来讲,护城河已经不是那么绝对了。客户的上层模型参数可以不做任何调整直接从英伟达的卡迁移到AMD上。ROCm能兼容每一个层级soft stake,同时也能保持稳定性上的同时,提升性能很多客户不想被nvdia深度绑定,所以会选择AMD。

intel 如果也有soft stake,会有进一步影响。cuda现在不像之前那样坚不可摧。

7、MI300架构问题,3D chiplet 2.5t/s 传输速度?

CPU+GPU合封在一起不叫MI300,叫instinct 300,是个system。

instinct 300 把3个zen4 的core,每个core8个核,总共24个core,还有6颗MI300 die封在一起。

AMD有优势,以前一直在做APU(PC的),CPU和GPU一直封在一起,互相share cache 和 dram,所以AMD芯片通信技术是行业最好的。AMD gpu 都可以和CPU封在一起,pc上卖的主要产品,MI300也是基于pc上面的方案,共享dram,所以CPU GPU传输速度非常快。

8、Grace hopper nv link,MI300怎么做集群?

AMD 有自己片间互联的技术,infinity fabric,速度也能到900GB/s,和H100速度一样。H100 pcie 可以到600gb,如果nv link 是900gb。

9、显存容量不一样?

Instinct 300 总共封了8个HBM,显存量要大不少,24gb一个,192gb 容量,速度可以达到5.2tb/s。

H100显存80gb(5*16gb)。所以MI300 参数要比H100好不少。

10、做生态兼容,劣势主要是哪些?

ROCm兼容CUDA,工具+编译模型等能做到100%的兼容,这也是amd能说服客户迁移的原因。

但是如果一直只是做兼容,CUDA会持续迭代,ROCm需要一直follow 英伟达,如果达不到很吃亏。

长期看,一直跟着别人走做兼容,对企业而言肯定不少好的事情。

其他厂商,尤其是国内兼容cuda水分更大。AMD花了6-7年做兼容这件事。

AMD不会一直只是做兼容,也在和关系密切客户(微软?)开发soft stake,重新合作开发软件,rocm数据和库,基于AMD mi 硬件做加速,这个是AMD长期要做的事情。

目前是为了争取客户和抢占市场,硬件做很好了,希望你能用起来,也不想要客户做上层参数调整,直接签过了就用,便宜之技,长期ROCm一直会自己开发。

11、兼容和自行开发是怎么做的?

技术角度来讲,不管兼容还是自己开发,rocm soft stake这些,都是要自己做。中间很多加速的库,这些库兼容nvdia的时候,也有共用的library可以自己拿出来共用,可能就是基于cuda的加速架构是什么的program方式,我们需要支持你的时候,核心里面很多东西可以基于我们的MI硬件的。核心库的加速是可以通用,只要interface 和api 兼容就可以。

关系紧密的大厂,微软 meta 都可以做重构,和客户一起合作开发,我们和软件工程师和他们工程师一起,建立自己失态。和之前游戏一样,说服游戏大厂基于自己的显卡开发,要派出自己的软件工程师帮助开发软件工具。

12、大型客户需求主要是大模型,我们自己建立生态系统的过程中,主要是哪些项目?

以前运行比较好的大模型,AMD争取客户方式主要是做兼容方式,底层硬件性能非常好了。

对于在on-going的application,会建立自己生态,amd会派出自己的软件工程师帮忙。

很多客户愿意帮助AMD建立生态,核心也不是让一家厂商卡脖子。

13、大厂也在做芯片,怎么看这个?

国内外大厂都在做。但是这些厂商更多是做替换式的,比如上面的bu希望达到什么样的model,芯片更多是为了自己特定应用场景的加速。但如果做不到通用,只能做很小场景,而且这样和amd和nvdia还有很大差距。所以amd和nvdia并不担心这个事情。

整个大的AI 市场还是非常大,非常乐观的。

14、推理需求越来越大,会对产品有什么影响?

未来应用场景和应用端,训练很多了,之后推理需求越来越大。后面产品对应推理算力迭代会做更多优化。推理每年30-40%增长,我们会对这方面做优化。

15、英伟达明年 B100?目前竞争态势?

MI300是针对H100的产品,GH200可能是针对MI300。

英伟达下一代产品出来,也不用太担心。AMD还有很多产品,下一代MI产品已经进入非常尾声阶段,很快会给回应。

赛灵思在AI领域有自己的生态,和AIE。AIE有软件生态,我们会把这个aie和我们整合,我们还是非常乐观的。

16、MI300产能?

cowos产能,因为MI300四季度出来,前三季度非常少,4Q会有5000-6000片。

MI300 硬件架构比H100强是有更多的计算单元,die大25%。

1个wafer切20片,就10w片。明年全年50w颗出货量。

英伟达130-140w。

17、良率?

chiplet做后,良率提高很多。

18、光和电?

现在更多是光模块,我们基本都是光模块。

19、MI300 性能很好,GH200推出来应对,300系列兼容性提升很多,但是和英伟达自己比还是有差距,想知道1美金资本开支,买MI300还是GH200?

PERF/美金概念。MI300和H100对比,我们在各种计算上,单颗卡可以达到25-30%性能提升(成本和power一致)。2-4颗是50%,8颗2倍提升。

Instinct 300 和GH 200都是系统,可以对比。

20、推理需求占比会更高,大厂方案收敛后,自己推理需求起来,会提高自供比例,怎么看这个问题?

未来几年训练会转到推理,未来推理CAGA 30%增长。我们会在卡上做优化,尤其是推理上做solution,因为对算子矩阵运算需求是不一样。大厂芯片迭代速度也没我们快。

21、产能规划60万颗备货有多少意向订单?

4Q美国超算中心有很大量,instinct300 solution,占比40%。微软和meta也有很大比重。基本上有很大确定性。

国内MI388这边我们也比较乐观。

量我们是基于客户的意向订单+AI行业反正趋势做的评估。

推荐内容