跳到正文
arXiv cs.AI· Mahendra Roopa, Srikanth Roopa·· 1 天前AI 评分37

在托管模型上实现隐私保护推理:针对冻结 Qwen3.8-27B 的学习型输入嵌入变换

Privacy-preserving inference on hosted models: a learned input-embedding transform for frozen Qwen3.8-27B

AI 导读

一项 arXiv 研究提出在客户端本地将提示词转换为向量,经 55.6M 参数的训练网络变换后交由托管方运行冻结的 Qwen3.8-27B 模型,主机全程不接触文本或 token id。在留出的 1,490 道 MMLU 问题上,该方法准确率仅下降 1.5 个百分点(80.7% vs. 82.3%),同时 30.1% 的内容 token 在最近邻查找下不再还原为原始 token。

来源:arXiv cs.AI · arxiv.org