arXiv cs.AI· Bruce Changlong Xu, Muhammed Shahir Abdurrahman, Hashem Elezabi·· 1 天前AI 评分29
Typhoon：面向 Masked Language Model 的基于梯度的任务特定 Masking 方法
Typhoon: Gradient-Based Task-Specific Masking for Masked Language Models
AI 导读
论文提出 Typhoon，一种利用 MLM 损失对 one-hot token 输入的梯度来在线估计各 token 显著性的动态 masking 策略。作者在 MRPC 和 CoLA 两个 GLUE 任务、三种 BERT 系骨干（TinyBERT、DistilBERT、BERT-base）上共进行 90 次训练对比随机 masking 和 whole-word masking。
来源：arXiv cs.AI · arxiv.org