7月16日,OpenAI宣布了其内部使用的网络安全“红队”模型GPT-Red,该模型能够自动化地进行网络攻击模拟,旨在提升对外模型产品的鲁棒性。自GPT-5.3版本以来,OpenAI的每个生产模型均已使用GPT-Red进行训练,显著降低了伪造思维链型攻击的成功率,从GPT-5.1的95%降至最新模型的不足10%。GPT-5.6Sol在直接提示符注入攻击中的失败率仅为0.05%。
GPT-Red采用自博弈强化学习进行训练,与一组不同的防御型LLM在广泛的红队场景上同时训练。GPT-Red因诱发有效失败而获得奖励,而防御型模型则因抵抗攻击并完成其原始任务而获得奖励。随着防御型模型的增强,GPT-Red被迫发现更强大、更多样化的攻击手段。OpenAI表示,“红队”模型与产品模型相隔离,通过这种方式,OpenAI开启了一个良性的人工智能网络安全循环,利用现有模型来增强未来模型的鲁棒性、一致性和可信度。

来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。