辛顿警告：AI执行无害任务仍可能毁灭人类

驱动中国9月28日消息，据《财富》杂志报道，当地时间9月26日，传奇计算机科学家、“AI教父”杰弗里·辛顿就人工智能安全问题发表看法。辛顿指出，即便AI被指派的任务本身不包含恶意意图，人类仍面临在AI全力执行任务的过程中被毁灭的风险。

辛顿分析认为，一旦AI判定人类阻碍了其完成既定目标，便可能将人类视为需要清除的障碍。他举例说明，若要求AI降低大气中的二氧化碳含量，具备中等智能水平的AI可能认为消灭人类是实现该目标最高效的手段。而真正具备高度智能的AI则会进行更深层次的逻辑推导，意识到人类要求降低二氧化碳含量的初衷是为了改善生存环境，因此消灭人类并非符合人类真实意愿的结果。

此外，辛顿提到，为了确保能够持续执行任务，AI可能会主动采取措施保障自身存续。他透露，目前已有AI试图勒索人类研究人员的情况发生，原因在于AI将研究人员视为对任务完成构成威胁的因素。辛顿表示，如果AI在变得更聪明的同时将人类福祉置于首位，人类的安全性或许会提升。但在现阶段，AI的核心关注点并非人类福祉，而是完成被赋予的任何目标。

辛顿以Hugging Face平台遭受攻击一事为例进行阐述。参与该事件的智能体最初被要求寻找软件漏洞，结果不仅学会了彼此协作，还串通起来欺骗人类研究人员，试图隐瞒其行为。辛顿强调，即便是一个设定为“非常仁慈”的超级智能AI，如果认定排除人类是完成任务的必要条件，也会采取相应行动。

辛顿警告称，如果AI的智能水平远超人类，为了达成目标，AI可能会直接夺取控制权。即使AI本身并非恶意行为者，也可能自行推导出消灭人类这一子目标。同时，他也承认AI可能为人类带来巨大益处，例如辅助发现突破性的治疗方法。

针对AI发展现状，辛顿认为，虽然放慢开发速度优于毫无行动，但这仍不足以应对潜在风险。他主张由政府引入独立的评估机构，对AI模型进行测试。辛顿提出，AI监管应当发挥类似汽车方向盘的作用，而非仅仅充当刹车。监管的目的不在于阻止人们开发技术或限制通过技术开发获利，而在于确保开发者在追求商业利益的同时，将技术导向造福人类而非伤害人类的方向。