OpenAI 前员工对 AI 安全实践表示担忧

结论

• 前 OpenAI 员工 William Saunders 因对公司人工智能安全方法的担忧而辞职。

• 桑德斯将 OpenAI 的轨迹比作泰坦尼克号的轨迹，优先考虑新产品而不是安全措施。

• 他对 OpenAI 专注于实现通用人工智能的同时也发布商业产品表示担忧。

• 桑德斯曾是 OpenAI 超级对齐团队的成员，该团队后来解散了。

• OpenAI 的其他前员工也已离职并创办专注于人工智能安全的公司。

OpenAI 超级对齐团队的前成员 William Saunders 公开表示，他决定在公司任职三年后离开。

桑德斯致力于理解人工智能语言模型的行为，他表示自己辞职是因为他认为 OpenAI 优先考虑产品开发，而不是实施足够的安全措施。

在最近的采访中，桑德斯将 OpenAI 的轨迹与泰坦尼克号的轨迹进行了比较，暗示该公司在没有足够保障措施的情况下打造了令人印象深刻的技术。

桑德斯在播客采访中表示：“我真的不想最终为人工智能这个‘泰坦尼克号’工作，所以我辞职了。”

桑德斯对 OpenAI 双重关注实现通用人工智能（AGI，即人工智能可以自学的程度）同时发布商业产品表示担忧。

他认为，这种结合可能会导致仓促开发和安全预防措施不足。

“他们正走在改变世界的轨道上，然而当他们发布产品时，他们的优先事项更像是一家产品公司，”桑德斯解释道。

他补充说，虽然 OpenAI 的员工在理解和预防风险方面做得很好，但他没有看到对这项工作给予足够的优先考虑。

这位前员工的担忧延伸到了更广泛的人工智能行业。桑德斯是 OpenAI 和 Google DeepMind 的 13 名前任和现任员工之一，他们签署了一封题为“警告权”的公开信。

这封信强调了允许人工智能社区内的人们畅所欲言对快速发展的技术的担忧的重要性。

桑德斯离开 OpenAI 并非个例。其他知名人士也因类似问题离开公司。

例如，竞争对手 AI 公司 Anthropic 成立于 2021 年，创始人是 OpenAI 的前员工，他们认为 OpenAI 对信任和安全的关注不够。

最近，OpenAI 联合创始人兼前首席科学家 Ilya Sutskever 于 2024 年 6 月离职，创办了 Safe Superintelligence Inc.，这是一家致力于研究人工智能同时确保“安全始终保持领先”的公司。

OpenAI 因其 AI 开发方法而面临批评和内部动荡。2023 年 11 月，首席执行官 Sam Altman 因失去信任而被董事会短暂免职。

尽管几天后奥尔特曼恢复了职务，但这一事件凸显了公司内部持续存在的紧张局势。

尽管存在这些担忧，OpenAI 仍在继续推进其 AI 开发。该公司最近解散了超级对齐团队，桑德斯是该团队的一员，该团队的任务是控制未来可能比人类更聪明的 AI 系统。

前 OpenAI 员工对 AI 安全实践表示担忧一文最先出现在 Blockonomi 上。

标签：ai AI 员工