随着ChatGPT的横空出世,让基于大模型类的人工智能技术成为热点,国际国内的厂商都相继推出了自研的大模型AI产品。而这些大模型应用主要由两个任务组成,即训练和推理。完成这两个任务的关键就是数据,大量的数据。


(资料图)

以ChatGPT为例,在ChatGPT3时,它所需要的训练参数为1750亿个,而到ChatGPT4,据称训练参数已经增长至数万亿个。

人工智能应用的快速发展,让需要处理的数据量也急剧增加,对应的处理这些数据的算力也增长显著。“但是如果带宽上的进步无法改善,即使算力增长了,两者之间则无法实现匹配。”Rambus IP核产品营销高级总监Frank Ferro表示,“也就是说,在现有高算力的基础之上,很多的GPU资源其实并没有得到充分的占用和利用,这也就造成了现在的困境。”

Frank Ferro以AI模型的两大任务为例,人工智能模型在训练时,需要录入大量数据进行分析,包括语音和视频等数据。在把这些数据录入到人工智能的训练系统后,然后去训练它们识别不同的图像或语音。完成这一任务需要消耗大量的算力,同时这也是一个非常耗时的过程。

人工智能模型在执行第二个任务推理时,这一过程对算力的需求可能没有训练过程那么大,但它对成本和功耗比较敏感。绝大多数推理的场景,都是应用于终端设备、消费者电子产品或者边缘设备等,尽管对带宽的需求有所下降,但是对成本的因素会变得更加敏感。

AI推理应用向边缘端转移

目前人工智能发展的一个重要趋势是AI的推理越来越多地向边缘设备进行转移和集成,即在云端完成对AI模型训练后,推理将会在边缘设备上实现。Frank Ferro表示:“这一趋势可以带来许多优势,如需要传输的数据量大幅减少,边缘设备的性能也获得提升,并且延迟也会下降。”

此外,随着AI推理应用不断向边缘端迁移,经过训练的系统还可以实现更快的处理速度。而在这个趋势下,GDDR6有了用武之地,它是帮助边缘端更好处理数据的更理想方案。

GDDR、DDR和LPDDR各有千秋

GDDR中的G代表的是graphic,即图像,顾名思义,它大多是面向图形处理方面的应用。然而,因为它具有的一些技术优势,它的应用逐渐开始向一些非图形应用转变,如人工智能和机器学习,还有一些网络应用等。

尤其对于人工智能应用,因为需要处理和传输大量的数据,所以对于内存带宽的要求很高。GDDR6相较于其它存储产品,可以在成本和性能之间达到不错的平衡。

以DDR4为例,目前它的成本较低,但同时其运行速度也相对较慢,最高只能达到3.2Gb/s,而GDDR在几年前就已达到16Gb/s。“正因为GDDR具有的独特优势,越来越多客户开始探寻将GDDR6应用到他们的设计中。这也是GDDR6转变为非图形应用的重要契机和原因。”Frank Ferro解释道。

Frank Ferro表示,“DDR和GDDR的差别还是非常显著的,包括带宽、容量密度、速度以及功耗等,这两者之间都有着显著的差异。如果从客户诉求的角度来看,如果带宽是主要的标准和最重要的衡量因素,GDDR毫无疑问是最好的选择。但如果是从存储密度,也就是能够存储多少数据,以及对成本的敏感性来看,DDR则是更好的选择。”

而另一存储产品LPDDR,则更加关注功耗管理,DDR的数据存储密度会更高一点,而GDDR更关注于速度,这三者可谓各有千秋。

近期,Rambus推出了GDDR6 PHY新产品,提供最高可达24Gb/s的数据传输速率,能够为每个GDDR6内存设备带来96 GB/s的带宽。可以很好为人工智能/机器学习(AI/ML)、图形和网络应用提供具有高成本效益、高带宽的内存性能。

如下图所示,此次的GDDR6 PHY首次采用了双读写通道。据Frank Ferro介绍,双读写通道可以显著增加数据的传输速度和传输效率。双读写通道加起来就是32位的数据宽度,同时,GDDR6内存有8个这样的双读写通道,总共可以实现256位的数据传输宽度,所以能够带来非常大的数据传输速率的提升。

图:GDDR6内存接口子系统

结语

Rambus大中华区总经理Raymond Su总结道:“GDDR技术是在带宽、成本和方案复杂性各因素之间,提供了一个非常完美的折中技术方案。我们预计GDDR会应用在图形处理器,以及自动驾驶、AI人工智能、5G基础架构的应用中。Rambus的24Gbps GDDR方案的推出,为以上各个应用提供了更高级别的性能和更多的选择。”

推荐内容