arXiv cs.AI· Wonsup Shin, Jingu Kim·· 1 天前AI 评分40
重复数据下随机 token 替换的收益与成本：基于已知熵的分解及十个真实语料证据
Benefit and Cost of Random-Token Replacement under Repeated Data: A Known-Entropy Decomposition and Evidence from Ten Real Corpora
AI 导读
arXiv 论文提出一种将验证损失分解为近似、估计与记忆三项的方法，并在熵率闭式已知的受控数据源上分析随机 token 替换这一数据增强手段。结果显示，替换把预测向语料均值收缩，在有助之处可减少损失过最小点后约 60% 的上升；在韩文和日文网页文本上约消除三分之一。在十个真实语料中，替换降低其中九个的最终损失，仅在最冗余的程序生成 JSON 人口普查语料上有害。
来源：arXiv cs.AI · arxiv.org