研究者提出AI“灾难性性能”的形式化定义
热点事件持续更新
研究者提出AI“灾难性性能”的形式化定义
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Henrik Marklund、Alex Infanger 和 Benjamin Van Roy 在 arXiv 论文（arXiv:2611.06219）中提出“灾难性性能”的形式化定义，旨在为分析 AI 目标错设导致的灾难性风险提供严格基础，区分一般的次优结果与灾难性后果。 该定义基于两个参照值：baseline value 表示不部署智能体时能达到的价值；orthogonal value 表示与人类偏好无关的轨迹的价值，论文称后者通常远差于前者。作者以人类活动改善环境状态为例说明，灾难性性能即 AI 智能体抵消人类活动所带来的收益。
AI 根据报道生成 · 54 分钟前更新
最新进展11月5日 13:00
AI 对齐研究新论文：给出“灾难性性能”的形式化定义报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.AIAI 对齐研究新论文：给出“灾难性性能”的形式化定义
arXiv 论文提出“灾难性性能”的正式定义，以区分 AI 目标错设导致的次优结果与灾难性后果。该定义基于两个参考值：baseline value 表示不部署智能体时的价值，orthogonal value 表示与人类偏好无关轨迹的价值，后者通常远差于前者。作者以人类活动改善环境状态的例子说明，灾难性性能即 AI 智能体抵消人类活动所带来的收益。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。