HuggingFace 上 Reddit 历年数据集体量惊人：最小 109G，最大 292G 下载不易
还真是，但这两个Reddit 数据集太大了。 最小的 109g，高的 292 g，光下载都要很久，现在硬盘又那么贵 哈哈哈。 https://huggingface.co/datasets/fddemarco/pus...
AI 导读
HuggingFace 上的两个 Reddit 数据集体量巨大，最小的有 109G，最大的达 292G，下载耗时且硬盘成本高。有网友顺着向量的思路发现，除 HackerNews 数据外，其中还包含 Reddit 自 2005 年以来的全部数据。
来源：Vista8 (@vista8) · x.com