AgentPolicyForge:从可执行环境到策略基准与自适应防护
AgentPolicyForge: From Executable Environments to Policy Benchmarks and Adaptive Guards
AI 导读
AgentPolicyForge 是一个利用可执行环境构建策略基准并迭代训练策略防护器的框架,配套构建了覆盖 10 个策略族的 PolicyGym 数据集,含 698 个训练场景和 254 个人工审核的测试场景。通过攻击方生成请求、防护器在环境验证样本上微调的方式,最终防护器方案在 PolicyGym 上将攻击成功率相对降低 40-44%,且良性误拒少于仅靠策略提示词。
来源:arXiv cs.AI · arxiv.org