AMD重磅发布256GB MI325X AI加速器,挑战Nvidia的H200

在刚刚结束的推进人工智能(AdvancingAI)大会上,AMD正式推出了其新一代MI325X人工智能加速器,这款全新的加速器以256GB的HBM3e显存设定,将AMD的Instinct系列推向了一个新的高度。此举无疑是对Nvidia H200的有力挑战,尤其是在当前AI训练需求日益增长的背景下。

MI325X相比于其前身MI300,显著提升了显存容量,从192GB升级为256GB,且使用速度更快的HBM3e,这一变更不仅是数值的提升,更是为了满足大型AI模型对内存和带宽的极致需求。数据显示,在大多数AI工作负载中,内存的容量和速度直接关系到整体性能,额外的内存能够有效支持更复杂的模型,提升计算效率。

AMD的数据中心GPU部门副总裁Andrew Dieckmann和AMD GPU平台副总裁Brad McCredie在发布会上表示,虽然MI325X的显存密度可能未达到最初预期,但其6TB/s的内存带宽相比前代产品有了显著提升,而这对于更大型的AI模型训练则至关重要。尤其是在运行诸如Llama3等大型模型时,MI325X的推理性能在实际测试中领先于Nvidia的H200,优势达到20%-40%。这样的表现使得MI325X在服务器市场上成为了包括微软等云提供商的理想选择,这些公司希望部署万亿次参数的大型模型以提升其服务能力。

虽然MI325X在显存方面有所优化,但功耗却也上升至1000瓦。这与Nvidia即将推出的B200保持了一致,而在浮点计算性能方面,MI325X的FP16性能为1.3petaFLOPS,FP8性能为2.6petaFLOPS,虽然这一指标没有显著提升,但AMD依旧对其在Llama270B模型的训练性能保持乐观。

从技术层面来看,AMD今后的MI355X将在CDNA4架构的基础上提供更高的浮点性能,有望达成9.2petaFLOPS的水平。这一成就将使其与Nvidia的B200形成直接竞争。随着AI技术的不断演进,对显存和内存带宽的需求只会愈演愈烈。AMD希望借此机会落地更高性能的加速器,满足不同行业在AI应用中的需求。

除此之外,AMD还在这次大会上展示了新的网络产品Pensando Pollara400,这是对Nvidia InfiniBand和Spectrum-X计算架构的响应,预计将成为支持超以太网联盟规范的首款网卡。这种高性能网络产品将优化AI集群中的数据传输,极大提高训练效率。据AMD数据,当前平均有30%的训练时间耗费在等待网络响应上,因此,Pensando团队的可编程P4引擎设计,将为用户带来灵活的网络解决方案。

随着AI技术的不断突破,市场对AI硬件的需求将继续上升。MI325X的发布不仅体现了AMD在AI硬件领域日益增强的竞争力,也为整个行业注入了新的活力。未来的AI应用,不仅依靠软件算法的优化,更依赖于强大、能适应大规模计算的硬件支撑。

总的来看,MP325X作为一款高性能AI加速器,正处于当前AI蓬勃发展的前沿,许多行业正在寻求如何利用这些新技术来提升工作效率和创新能力。AI的未来已经来临,掌握AI技术将成为推动各行各业进步的重要动力。特别是在日常工作中,了解和使用这些AI工具,将对个人的职业生涯带来极大助益。

最后,强烈建议大家,日常一定要学习使用先进生产力,要把AI用起来。不管任何人,不论你是多熟悉你的业务,也不要排斥AI。如今,聪明的人已经将像chatgpt这样的AI工具用得风生水起,而大部分职场人还只知道埋头苦干,结果就是吃了信息闭塞的亏。会用AI和不会用AI的人,工作效率真的是天壤之别!

其实,只要愿意花点时间学学怎么用,简单的操作就能让工作效率翻个好几倍,省下大把时间做自己的事情。比如我常用的AI工具——简单AI,就是一个全能型AI创作助手,功能包括AI绘画、文生图、图生图、AI文案、AI头像、AI素材、AI设计等。可以一键生成创意美图、动漫头像、种草笔记、爆款标题、活动方案等。

工具链接(免费,长按复制链接致浏览器体验):https://ai.sohu.com/pc/generate?trans=030001_yljdaikj

解放周末!用AI写周报又被老板夸了!点击这里,一键生成周报总结,无脑直接抄 → https://ai.sohu.com/pc/generate?trans=030001_yljdaikj

点击查看新手教程及变现案例 →返回搜狐,查看更多

责任编辑:

平台声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
作者声明:本文包含人工智能生成内容
阅读 ()