跳到正文
热点事件持续更新

研究检验表格基础模型缩放律外推可靠性

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Johannes Hud 等研究者发布论文,检验 TabPFNv2 类表格基础模型的 scaling laws 能否可靠外推到更大算力并泛化到真实数据集。 分析发现合成数据与真实数据的 scaling 行为存在差异,仅用过少的评测数据集做模型选型会带来系统性高估。研究提出算力最优的扩展方式:随模型规模同步扩大合成预训练数据集的行数与特征数范围,并借助开源的 nanoTabPFN 训练管线训练更高效的模型。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    面向表格基础模型的可靠 Scaling Laws 研究

    一项 arXiv 研究检验 TabPFNv2 类表格基础模型的 scaling laws 能否可靠外推到更大算力并泛化到真实数据集。分析发现合成与真实数据的 scaling 行为存在差异,仅用过少评测数据集选型会带来系统性高估。研究表明算力最优扩展需随模型规模同步扩大合成预训练数据集的行数与特征数范围,以借助开源的 nanoTabPFN 训练管线训练更高效的模型。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。