[克里斯]"Nvidia、Hugging Face 和 ServiceNow 发布新代码生成工具StarCoder2 LLM"

Nvidia、Hugging Face 和 ServiceNow 正在通过 StarCoder2（一个新的开放访问大型语言模型 (LLM) 系列）推动 AI 代码生成的标准。

这些模型现已提供三种不同的规模，已经接受了 600 多种编程语言（包括低资源语言）的培训，以帮助企业加速其开发工作流程中的各种与代码相关的任务。

它们是在开放的 BigCode 项目下开发的，该项目是 ServiceNow 和 Hugging Face 的共同努力，旨在确保负责任地开发和使用大型代码语言模型。

它们根据开放负责任的人工智能许可证 (OpenRAIL) 免版税提供。

“StarCoder2 证明了开放科学合作和负责任的人工智能实践与道德数据供应链的综合力量。

最先进的开放访问模型改进了先前的生成式人工智能性能，以提高开发人员的工作效率，并使开发人员能够平等地享受代码生成人工智能的好处，从而使任何规模的组织都能更轻松地满足其全部业务需求ServiceNow 的 StarCoder2 开发团队负责人兼 BigCode 联合负责人 Harm de Vries 在一份声明中表示。

StarCoder2：三种模型满足三种不同需求

虽然 BigCode 最初的 StarCoder LLM 以一种 15B 参数大小首次亮相，并接受了大约 80 种编程语言的训练，但最新一代的模型超越了它，具有三种不同大小（3B、7B 和 15B）的模型，并接受了 619 种编程语言的训练。

据 BigCode 称，新模型的训练数据（称为 The Stack）比上次使用的数据大七倍多。

更重要的是，BigCode 社区为最新一代使用了新的训练技术，以确保模型能够理解并生成 COBOL、数学和程序源代码讨论等低资源编程语言。

最小的 30 亿参数模型是使用 ServiceNow 的 Fast LLM 框架进行训练的，而 7B 模型是使用 Hugging Face 的 nanotron 框架开发的。

两者都旨在提供高性能的文本到代码和文本到工作流生成，同时需要更少的计算。

与此同时，最大的 150 亿参数模型已使用端到端 Nvidia NeMo 云原生框架和 Nvidia TensorRT-LLM 软件进行了训练和优化。

虽然这些模型在不同编码场景中的表现如何还有待观察，但这些公司确实注意到，最小的 3B 模型的性能与原始 15B StarCoder LLM 的性能相当。

根据需要，企业团队可以使用这些模型中的任何一个，并根据不同用例的组织数据进一步微调它们。

这可以是从应用程序源代码生成、工作流生成和文本摘要等专门任务到代码完成、高级代码摘要和代码片段检索的任何任务。

两家公司强调，这些模型经过更广泛、更深入的训练，提供存储库上下文，从而实现准确和上下文感知的预测。

最终，所有这些都为加速开发铺平了道路，同时节省了工程师和开发人员的时间来专注于更关键的任务。

Nvidia 应用研究副总裁乔纳森·科恩 (Jonathan Cohen) 在新闻声明中表示：“由于每个软件生态系统都有专有的编程语言，因此代码法学硕士可以推动每个行业在效率和创新方面取得突破。”

“Nvidia 与 ServiceNow 和 Hugging Face 的合作引入了安全、负责任地开发的模型，并支持更广泛地使用负责任的生成式人工智能，我们希望这将使全球社区受益，”他补充道。

如何开始使用 StarCoder2？

如前所述，StarCoder2 系列中的所有型号均在 Open RAIL-M 许可下提供，可免版税访问和使用。

支持代码可在 BigCode 项目的 GitHub 存储库中找到。

作为替代方案，团队还可以下载并使用 Hugging Face 的所有三个模型。

也就是说，由 Nvidia 训练的 15B 模型也将出现在 Nvidia AI Foundation 上，使开发人员能够直接从浏览器或通过 API 端点进行试验。

虽然 StarCoder 并不是人工智能驱动的代码生成领域的第一个进入者，但该项目最新一代带来的多种选项无疑使企业能够在应用程序开发中利用法学硕士，同时节省计算资源。

该领域的其他著名参与者包括 OpenAI 和亚马逊。

前者提供 Codex，为 GitHub 副驾驶服务提供支持，而后者则提供 CodeWhisper 工具。

还有来自 Replit 和 Codenium 的激烈竞争，Replit 在 Hugging Face 上拥有一些小型人工智能编码模型，Codenium 最近以 5 亿美元的估值获得了 6500 万美元的 B 轮融资。