10月27日消息，OpenAI宣布成立一支专门团队，旨在降低与人工智能(AI)相关的“灾难性风险”，并致力于追踪、评估、预测和保护免受AI可能引发的重大问题。
据了解，OpenAI相信前沿AI模型的潜力将超越目前最先进的现有模型，为全人类带来福祉，但同时也带来了日益严重的潜在风险。这一新成立的团队将努力应对AI可能引发的重大风险，包括核威胁、生物、化学和放射性威胁等，以及AI“自我复制”等行为可能带来的潜在风险。
OpenAI强调，他们必须确保具备足够的理解和基础设施，以确保高能力AI系统的安全性。这支团队将由前麻省理工学院可部署机器学习中心的主任Aleksander Madry领导，并将制定和维护一项名为“风险知情开发政策”的措施，旨在总结公司在评估和监控AI大模型方面的工作。
此前，非营利组织AI安全中心发表简短声明，将减轻AI引发的绝灭风险视为与流行病、核战等社会问题同等重要的全球优先事项。这一倡议得到了包括OpenAI首席执行官山姆・阿尔特曼在内的多位AI行业领袖的支持。
