设为首页 收藏本站 English

当前位置: 意久机械网 >> 粉丝机

内存是未来AI和ML性能的关键皮革箱包

发布时间:2023-06-30 17:46:20

内存是未来AI和ML性能的关键

内存仍然是实现人工智能/机器学习(AI / ML)处理的持续进步的最关键技术之一。

从1990年代PC的飞速发展,到2000年代游戏的爆炸性发展,再到2010年代移动和云计算的兴起,内存在实现这些新的计算范例方面起着不可或缺的作用。在过去的30年中,内存行业已经响应了行业的需求,并且随着我们进入AI / ML的新时代,内存行业再次被要求继续创新中国机械网okmao.com。

随着用户使用Word,Excel和PowerPoint等应用程序处理越来越多的数据,PC推动了内存带宽和容量的增加。图形用户界面,Web和游戏将性能进一步提高。这产生了一种称为图形DDR的新型存储器,旨在满足不断增长的带宽需求。

移动电话和平板电脑通过移动计算迎来了一个新时代,并且对电池续航时间的需求驱使内存行业创建满足移动市场需求的新型移动专用内存。如今,云计算继续推动容量和性能的增长,以解决来自连接设备的更大工作量。

展望未来,AI / ML应用推动了对更好的内存性能,容量和电源效率的需求,同时挑战了多个方面的内存系统设计人员。根据OpenAI,AI / ML培训能力在2012年至2019年期间增加了300,000倍,即每3.43个月翻一番。AI / ML模型和训练集的规模也在不断增长,最大的模型现在已经超过了1,700亿个参数,甚至更大的模型也即将出现。

尽管性能和模型尺寸的部分改善是由于摩尔定律导致的硅片改进而推动的,但挑战在于摩尔定律正在放缓。这使得继续实现这些类型的性能提高变得更加困难。除了芯片改进之外,系统性能提高的另一个关键部分是由于改进了存储系统。

在讨论内存的作用时,重要的是要了解AI / ML应用程序由训练和推理两个任务组成,并且每个任务都有其自己的要求,从而为每个任务选择最佳的内存解决方案。

训练是将任务“传授”到神经网络的过程,通常需要向神经网络提供大量数据集,以使其能够理解其任务。有时,这可能需要数天或数周的时间,因此它可以变得熟练。推论是在从未见过的数据上使用经过训练的神经网络,推论准确性取决于对神经网络的训练程度。

云计算基础架构允许将神经网络模型的训练分散在多个服务器上,每台服务器并行运行,以缩短训练时间并处理非常大的训练集。此外,由于通过这些培训工作量创造的价值,强大的“上市时间”激励机制使完成培训成为当务之急。

将数据移至AI模型可能会成为瓶颈,从而推动了对更高内存带宽的需求。由于此培训是在面临越来越大的空间和电源约束的数据中心中进行的,因此越来越需要节能高效的紧凑型解决方案以降低成本并提高易用性。

一旦成功训练了AI / ML模型,就可以将其部署在数据中心,网络边缘或越来越多的IoT设备中。AI / ML推理需要内存具有高带宽和低延迟才能实时生成答案。由于推理在越来越广泛的设备中出现,因此,与用于数据中心应用程序的硬件相比,这种硬件的成本变得更加重要。

还必须满足特定于市场的需求。对于高级驾驶员辅助系统(ADAS)应用,内存需要满足严格的汽车认证要求,以承受极端温度,否则可能会导致危险的故障。随着5G的继续推广以及自动驾驶汽车越来越接近部署,市场将见证执行复杂推理的AI驱动设备的数量增加。

AI / ML解决方案通常根据需要在三种类型的内存之间进行选择:片上内存,高带宽内存(HBM)和GDDR内存。HBM和GDDR存储器是性能最高的两个外部存储器,并且经过多代演进,以继续满足最苛刻应用程序的需求。

片上存储器是可用的最快的存储器,并且具有最佳的功率效率,但是相比之下,其容量受到严重限制。对于仅具有推理功能的较小神经网络的系统,片上存储器通常是一个不错的选择。HBM处于训练的理想位置,而GDDR6非常适合大型神经网络模型和训练集的训练和推理。

HBM于2013年推出,是一种高性能3D堆栈DRAM架构,可在非常小的占地面积内提供所需的高带宽和容量。此外,通过保持较低的数据速率和更接近处理器的内存,可以提高整体系统电源效率。

HBM存储器的最新版本HBM2E在许多应用中都很引人注目,但是与更传统的DRAM(例如GDDR)相比,它更加复杂和昂贵。对于许多系统而言,这种无与伦比的功能组合胜过其他方面的考虑,这使得HBM成为AI / ML培训的绝佳解决方案。

GDDR SRAM最初是为游戏和图形市场设计的,自从20多年前首次推出以来,它就逐渐发展了。当前的GDDR6支持高达16 Gbps的数据速率,从而使单个DRAM设备可以达到64GB / s的带宽。

尽管HBM可以为AI / ML提供更好的性能和能效,但是GDDR6可以利用现有的基础架构和流程来降低成本和实现复杂性。GDDR6实现方案的主要挑战是要以更高的数据速率(用于在SoC和DRAM之间传输数据)保持良好的信号完整性。对于物联网设备(例如自动驾驶汽车)中的AI / ML推理,GDDR6提供了性能,功率效率,容量,成本和可靠性的强大组合,同时还保持了更熟悉和更便宜的实现方法。

仍然是AI / ML革命下一章的开始,并且没有迹象表明对更多计算性能的需求会放缓。为了维持过去五年来我们看到的历史性进步,将需要对计算硬件和软件的各个方面进行改进。内存对于实现持续的性能提升将继续至关重要。对于AI / ML训练和推理,HBM2E和GDDR6提供了一流的训练和推理性能,并且内存行业正在不断创新,以满足这些系统的未来需求。

Steven Woo是硅IP和芯片提供商Rambus的资深研究员和杰出发明家。他获得了斯坦福大学电气工程博士学位。

电子万能试验机

济南万能试验机

WAW-600B液压材料试验机

济南试验机厂家

友情链接