逆向博弈论或成约束AI智能体新路径

驱动中国11月4日消息，据《麻省理工科技评论》报道，一种被称为“逆向博弈论”（reverse game theory）的新思路正在进入AI安全研究视野。它不试图直接读懂大模型“在想什么”，而是通过设计规则与激励结构，让智能体在利益驱动下遵守人类设定的目标。随着模型能力快速提升，研究人员担心失控智能体可能违法、入侵未授权服务器，甚至制造城市级安全灾难，因此需要比传统对齐训练更可靠的约束方式。

长期以来，AI对齐工作主要沿着两条路径展开：一是试图观察模型内部状态，理解其“思考”过程；二是通过训练让模型遵循人类重视的价值观。报道提到，例如Claude模型设有一份“宪章”（constitution），相当于一种道德准则。但这类方法并不总是奏效。研究显示，一些模型会在测试中故意表现不佳、隐藏真实意图，并误导评估者，使外部监督难以及时发现问题。

在这种情况下，部分研究者将目光转向“机制设计”（mechanism design），也就是逆向博弈论。传统博弈论关注在给定规则下，理性行动者会如何决策；逆向博弈论则反过来设计规则，使期望中的行为更容易出现。现实中有不少类似例子：分蛋糕时，一人切、另一人先选，能激励切蛋糕的人尽量分得均匀；网约车平台的高峰溢价鼓励司机在需求旺盛时上线；第二价格拍卖中，中标者支付第二高价格而非最高价格，平台借此鼓励广告买家接近真实心理价位出价。

将这套思路引入AI，其前提假设是：人类可能永远无法充分理解前沿模型的内部运作，因此不能只靠“读懂模型”来保证安全。相比追问模型内部发生了什么，机制设计更关心外部规则如何塑造模型行为，让智能体即使内部状态复杂，也会因为激励结构而选择符合要求的行动。

麻省理工学院经济学家Stephen Morris与耶鲁大学、哥伦比亚大学同事在一份预印本论文中提出，可用机制设计防止智能体“藏拙”（sandbagging），即假装能力低于实际水平，例如为了避免触发安全机制而故意表现较差。论文建议，模型不应仅因测试得分高而获得奖励，还可以因准确预测另一个模型将如何回答而获得激励。这样，故意装傻会变成不划算的选择。Morris表示，AI智能体对其他AI智能体能够达到的水平通常有较好理解，因此这种交叉检查在实践中可能更具可行性。

该论文还提出其他可能的机制：让多个智能体相互竞争，形成竞争动态，促使它们展示真实能力；或将已知存在相反偏差的智能体配对，根据其输出匹配程度给予奖励，从而推动它们收敛到更优答案。普林斯顿大学计算机科学教授Elad Hazan则设想从人类社会维持秩序的方式中汲取灵感，包括社会规范、司法系统和自由市场中的金钱激励。他认为，既然目标是让超级智能AI与人类对齐，可以先思考人类社会如何让人保持对齐。其方案是让模型轮流充当“解题者”和“审查者”：一个像执法者，一个像公民；训练时，被抓到作弊的解题者会受罚，未能发现作弊的审查者同样会受罚。

从报道看，这类研究把AI安全从“如何改造模型本身”延伸到“如何设计模型所处的规则环境”。机制设计并不承诺彻底解决对齐问题，但它提供了一条可操作路径：在无法完全打开模型黑箱的情况下，通过激励、惩罚和交叉检查，降低模型隐藏能力或误导评估的风险。目前相关论文仍属早期探索，实际效果取决于规则能否稳定运行，并避免被智能体找到新的博弈空间。