周一,半导体行业巨头英伟达(NVDA.US)发布了新一代人工智能(AI)芯片H200,这款芯片旨在针对各种AI模型进行训练和部署。
H200芯片是目前用于训练最先进的大型语言模型H100芯片的升级版,配备了141GB的内存,特别擅长执行“推理”任务。在执行推理或生成问题答案时,H200的性能比H100提升了60%至90%。
根据英伟达官网的消息,基于英伟达的“Hopper”架构,H200是该公司首款采用HBM3e内存的芯片。这种内存速度更快,容量更大,使其更适用于大型语言模型。
英伟达表示,H200使用HBM3e内存能够以每秒4.8TB的速度提供141GB的容量,相比于A100,其容量几乎翻了一倍,带宽提高了2.4倍。
预计H200将于2024年第二季度上市,届时将与AMD的MI300X GPU展开竞争。与H200相似,AMD的新芯片相比前代产品拥有更多内存,这对运行大型语言模型的推理计算有帮助。
英伟达还表示,H200将与H100兼容,这意味着那些已经在使用H100进行训练的AI公司无需更改他们的服务器系统或软件即可适应H200。
英伟达副总裁Ian Buck称:“为了训练生成式AI和高性能计算应用,必须使用高性能GPU。有了H200,行业领先的AI超级计算平台可以更快地解决一些世界上最重要的挑战。”
英伟达的加速计算首席产品经理Dion Harris表示:“观察市场上的动态,可以看到大型模型的尺寸正在迅速扩大。这是我们继续引领最新、最伟大技术的又一例证。”
据美国金融机构Raymond James透露,H100芯片的成本仅为3320美元,但英伟达对其客户的批量价格却高达2.5万至4万美元。这使得H100的利润率可能高达1000%,成为有史以来最赚钱的芯片之一。
在训练大型语言模型时,通常需要数千个H100集群协同工作,因此科技巨头、初创公司和政府机构都在争夺英伟达有限的芯片供应。
由于对其产品的需求看似无穷无尽,英伟达今年的销售额大幅增长,股价上涨了230%,市值突破了1.2万亿美元大关。截至周一收盘,该股收涨0.59%,报486.2美元。