英特尔AuroragenAI预测模型在大模型领域崭露头角

自从ChatGPT诞生以来，越来越多的科技公司加入了生成式AI的开发领域。微软、谷歌、Meta之后，英特尔在德国汉堡举行的国际超级计算大会高性能会议上宣布与阿贡国家实验室合作，共同使用Aurora超级计算机开发了一个名为AuroragenAI的生成式AI模型。该模型的参数量将达到1万亿，比ChatGPT的1750亿参数增长了约570%。

英特尔AuroragenAI模型以NVIDIA的Megatron和微软的DeepSpeed两个框架为基础。Megatron专门用于分布式训练大规模语言模型，对Transformer进行了优化，不仅支持传统的数据并行训练，还支持模型并行训练。DeepSpeed则专注于优化大型深度学习模型的训练，通过提高规模、速度、成本和可用性，使训练1000亿参数模型成为可能。

为了支持AuroragenAI这样大规模参数的训练，英特尔与阿贡国家实验室和HPT合作开发了名为Aurora的百万兆级超级计算机。Aurora超级计算机采用了英特尔Xeon CPU和Xeon GPU，拥有大量的计算和内存资源，提供了百万兆级的性能。该计算机的浮点运算能力达到2exaFLOPS，超过了目前世界上最强的超级计算机Frontier。

AuroragenAI将应用于各种科学领域，包括分子和材料设计、综合知识素材的整合等。它可以加速癌症和其他疾病相关生物过程的识别，并为药物设计提供靶点建议。除了科研领域，AuroragenAI还具有在商业领域中应用于自然语言处理、机器翻译、图像识别、语音识别和金融建模等方面的潜力。

AuroragenAI的发布标志着生成式AI大模型领域中的重要进展，未来它有可能对各种科学领域产生重大影响，成为ChatGPT的有力竞争对手。