自对弈强化学习训练出仅 52 万参数的 Polytopia 游戏模型

一名开发者用纯自对弈强化学习训练了一个能玩回合制对战游戏 The Battle of Polytopia 的模型，参数仅 52 万。作者最初采用 RL 课程学习，后改用纯自对弈并取得好效果，关键在于价值函数可看双方完整状态、回合级折扣加 GAE、以及三级自回归动作头。项目共花费 7000 美元云计算资源，主要来自 Modal 平台。