Hugging Face Blog·· 6 天前AI 评分55
NVIDIA 与 AI4Bharat 发布 2.8 万亿 token 印度语言预训练语料 Nemotron-pretraining-Indic-v1 及开放数据生成管线
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI 导读
NVIDIA 与 IIT Madras 的 AI4Bharat 推出 Nemotron-pretraining-Indic-v1，包含约 2.8 万亿 token，覆盖印度宪法 22 种语言，将随开源的 GPU 加速数据生成管线一同发布。
来源：Hugging Face Blog · huggingface.co