跳到正文
热点事件持续更新

Hugging Face 用272条微调日志预测训练时长

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Hugging Face 基于 272 次生产环境 SFT 微调任务(约 7,382 GPU 小时、均在 NVIDIA H200 上运行)训练了一个 CatCatBoost 预测器,用调度前已知的特征预测微调端到端时长,达到 R²=0.98、平均绝对误差 1.71 小时。该研究以预览形式发布,完整论文 Predicting End-to-End Fine-Tuning Time for Generative Language Models 即将发布于 arXiv。 研究指出现有按 FLOPs 估算的方法会低估实际耗时,因此其分析涵盖了端到端时长。结果有明显适用范围:仅覆盖 SFT,不含 RLHF、DPO 或 RLVR 等其他训练与对齐策略;所有运行均使用 H200 单一 GPU 类型;且任务时长超过 60 小时后预测误差会明显扩大。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. Hugging Face Blog
    Hugging Face 解析微调任务为何比 FLOPs 估算更耗时:基于 272 次生产运行的研究

    Hugging Face 基于 272 次生产环境 SFT 微调任务(共约 7,382 GPU 小时,NVIDIA H200 集群)分析端到端微调时长预测,论文即将发布于 arXiv。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。