研究者提出SPARK持续学习隐私保护方法
热点事件持续更新
研究者提出SPARK持续学习隐私保护方法
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Shengtao Wen 等在 arXiv 发布论文,提出面向大语言模型持续学习的隐私保护方法 SPARK,核心是把持续学习拆为“保留”与“校正”两步,在学习新任务的同时降低已标注个人身份信息(PII)的生成概率。 具体做法是:先用 Self-Distillation Replay(自蒸馏回放)在学习当前任务时蒸馏先前任务行为并冻结任务后分布;再用 Post-Task Privacy Correction(任务后隐私校正)以该稳定参考为基础,选择性降低已标注 PII 的生成概率,同时锚定当前与旧任务的非 PII 行为,以尽量不损害模型原有的任务能力。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 13:00
SPARK:面向 LLM 持续学习的任务后自蒸馏回放方法,解耦知识与隐私报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- arXiv cs.AISPARK:面向 LLM 持续学习的任务后自蒸馏回放方法,解耦知识与隐私
论文提出 SPARK,将隐私保护持续学习拆分为保留与校正两步:先用 Self-Distillation Replay 在学习当前任务的同时蒸馏先前任务行为并冻结任务后分布,再用 Post-Task Privacy Correction 在稳定参考上选择性降低已标注 PII 的生成概率,同时锚定当前与旧任务的非 PII 行为。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。