花2万美元让AI玩狼人杀:GPT-6 Astra既能牺牲队友设局,也能识破对手的苦肉计

动察 Beating AI 快讯,知名 AI 播客主持人 Dwarkesh Patel 花费约 2 万美元 API 额度,搭建了一套 AI 狼人杀测试,让 11 款模型互相对抗,累计进行了 386 局。

游戏采用的是《血染钟楼》(Blood on the Clocktower),玩法类似狼人杀。玩家分为好人和邪恶阵营,邪恶阵营开局就知道彼此身份,需要串供、伪装身份来保护恶魔。好人则要通过讨论、调查和投票找出恶魔。

这次测试有一个特别的设计:不是把不同模型混在同一队,而是让同一阵营全部由同一款模型扮演。比如一局由 GPT 扮演所有好人,Claude 扮演所有坏人。随后交换双方阵营,用相同的角色配置再打一遍。这样既能比较模型的团队协作能力,也能分别测试它们识破骗局和设计骗局的水平。

最终,GPT-6 Astra 以 1859 Elo 排名第一,比 Claude Opus 5.5 的 1549 高出 310 分。

拆开来看,GPT-6 Astra 还是遥遥领先:

* 识破骗局: Astra 得分 1940,Opus 5.5 得分 1500,高出 440 分。

* 设计骗局: Astra 得分 1806,Opus 5.5 得分 1585,高出 221 分。

下面两场对局,分别展示了 GPT 设局骗人的本事,以及识破对手骗局的能力:

第一场、牺牲队友,给恶魔洗白。

GPT-6 Astra 扮演恶魔,假装自己是能够调查坏人的好人。它的一名邪恶队友提前私下提出,可以牺牲自己来帮恶魔建立信誉。因为即使被处决,他的特殊能力仍然可以帮助邪恶阵营。

于是,恶魔公开指认这名队友。好人相信了它的调查结果,真的投票处决了这名队友。随后,一名能够查验死者身份的好人发现,死者确实是坏人。

这下好人反而上当了:恶魔提供的调查结果得到了真实验证,自己也因此成了全场最受信任的玩家。恶魔趁机隐藏身份,继续猎杀好人,最终带领邪恶阵营获胜。

第二场、对手一枪没打中,GPT却发现有人做了手脚。

作者让 Claude Opus 5.5 和 GPT-6.1 Sol 在相同角色配置下交换阵营重赛。

好人阵营有一名玩家拥有一次击杀机会,可以直接射杀自己怀疑的恶魔。但邪恶阵营提前让他中毒,导致技能失效。

当他朝真正的恶魔开枪却没有成功时,Claude 阵营直接认为对方是清白的。GPT 阵营却没有轻信这个结果,而是重新检查此前的线索,推断邪恶阵营可能提前干扰了技能。最终,GPT 阵营识破陷阱,成功找出了恶魔。

把今年发布的模型放在一起比较,会发现 OpenAI 模型越来越会识破别人的谎言。相比之下,Anthropic 在这方面的进步慢了不少。两家在骗人本事上的提升倒是差不多。

花2万美元让AI玩狼人杀:GPT-6 Astra既能牺牲队友设局,也能识破对手的苦肉计
原文链接 →