研究者发布大模型巴西葡萄牙语评测基准Brasilidade

Silva等研究者推出Brasilidade基准，用于评估大语言模型在巴西葡萄牙语上的表现，目前已开放首个领域的标准化任务，覆盖巴西葡语的语言、语法及变体。该基准整体包含四个领域的任务。 初步结果显示，模型规模本身不决定成绩，多个中等规模模型超过了更大的模型，而专门针对葡萄牙语训练的模型整体并未高于平均水平。不同任务难度差异显著，部分任务对多数模型很容易，另一些则构成极大挑战。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。