论文提出用LLM评分者小组测量数据稀疏地区政治立场

Tarek Gara在arXiv发布论文，提出把大语言模型当作专家小组中单个可犯错评分者，用于测量缺乏政党宣言和竞争性选举数据的地区政治立场。八家实验室九个模型之间Krippendorff's alpha达到0.86（区间）和0.87（顺序）；书面维度定义会使21分制得分平均移动1.8分。方法还包含区分“不适用”与“零分”的适用性规则，以及区分行为者言与行的分析视角。 示例聚焦中东与北非，评分标准、提示词和数据已全部开源。论文作者称，上述一致性只说明可靠性而非有效性——各模型若在重叠数据上训练，可能共享任何基于模型统计都无法检出的偏差。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。