据媒体报道,近日,特斯拉推出了新的超级计算机,据称是全球第五大超级计算机,也是特斯拉即将推出的新超级计算机Dojo的“先行版本”。
在过去几年中,特斯拉一直将重点放在汽车内外部的计算能力上。在内部,运行自动驾驶软件需要足够强大的计算机能力,在外部,需要超级计算机训练由神经网络支持的自动驾驶软件,这些神经网络会接收来自车队的大量数据。
特斯拉的Dojo项目由计算速度达每秒百万万亿次(exaFLOP)的超级计算机组成,使其成为全球最强大的计算机之一。
此前,特斯拉一直在研究Dojo,特斯拉首席执行官埃隆·马斯克(Elon Musk)曾暗示Dojo应于今年年底准备好。
日前,在2021年计算机视觉与模式识别大会上,特斯拉AI主管Andrej Karpath介绍了该公司的最新超级计算机。
Karpathy展示了特斯拉的第三个超级计算机集群,特斯拉声称该新集群具有一些相当疯狂的参数,应该会使其成为全球第五的计算机:
720个80GB 8x A100 节点(共5760 个GPU);
1.8 EFLOPS(720节点* 312 TFLOPS-FP16-A100 * 8 gpu/节点);
10 PB“热层”NVME存储@ 1.6 TBps;
总交换容量为640 Tbps。
Karpathy表示,“我们有一个神经网络架构网络和一个1.5 pb的数据集,需要大量的计算。
对我们而言,计算机视觉是使自动驾驶成为可能的基本要素。为了让其更好地工作,我们需要掌握来自车队的数据,训练大量的神经网络,并进行大量实验,因此,我们在计算上投入了很多。
在本例中,我们展示的是使用720个80GB版本的8x A100节点构建的集群。
这是一台巨大的超级计算机,就每秒浮点运算次数而言,我认为它可能是全球第五的超级计算机。”
Karpathy不愿详细介绍Dojo项目,但他表示,与特斯拉目前的集群相比,Dojo将是一台更适合神经网络训练的超级计算机。
马斯克此前还表示,特斯拉计划最终将其超级计算机提供给其他公司,以便这些公司训练自己的神经网络。