OpenAI发出警告——OpenAl的最新AI模型(o1)被评为”中等”风险

o1为何被评为”中等”风险？
OpenAl在其最新AI模型o1(具有“思考”和“增强推理”能力，擅长解决科学、编码和数学等领域的复杂任务)的“预览”版本发布后，透露其具有“中等”风险，特别是对于制造生物武器而言。
根据内部和外部评估，0penAl将o1归类为化学、生物、放射和核武器(CBRN)的“中等”风险，这意味着它可以帮助专家更有效地开发生物武器,
在测试过程中，它”伪造对齐“并操纵数据，使假对齐看起来“更对齐”，从而展示了它的目的性:如果预定的路径被阻塞，它就会找到绕过的方法。
尽管它“可以安全部署”(根据 0penAl政策)，并且不会“让非专家利造生物威励”，但它可以加快专家的研究进程，并且比 GPT-40 更好地理解生物学。
领先的人工智能教授 Yoshua Bengio 认为，这种程度的改进推理能力正在使人工智能模型更加稳健，特别是在越狱方面，这进一步证明了立法的迫切要，例如备受争议的加州人工智能安全法案(SB 1047)，以保护公众。