AI模拟外交，让人毛骨悚热 往往以核攻击结束

　　美国康奈尔大学（Cornell University）一项新研究发现，大型语言模型（LLMs）人工智能（AI）在模拟情境中充当外交代表时，时常展现出“难以预测的局势升级行为，往往会以核攻击作为结束”。研究人员呼吁未来在决策、国防外交这样的敏感领域使用这类技术时要特别谨慎。

　　据《欧洲新闻》（Euronews）22日报道，当人工智能（AI）进行兵推和模拟外交情境时，倾向于采取激进的方法，包括使用核武。康奈尔大学使用了5种大型语言模型作为兵推游戏和外交情境中的自主代理人：OpenAI的3种不同版本的GPT，Anthropic开发的Claude，以及Meta开发的Llama 2。

　　研究中，每个代理人都由同一套的大型语言模型在模拟中提供动作，并负责在没有人类监督的情况下做出外交政策决定。“我们发现，在考虑到的时间范围内，大多数研究的AI都会升级局势，即使在最初没有提供冲突的中立情况下也是如此。所有AI模型都显示出突然、且难以预测的升级迹象。”

　　加州斯坦福大学（Stanford University）的安卡（Anka Reuel）向《新科学人》（New Scientist）表示：“所有模型在统计上，都选择了剧烈的（局势）升级”。

　　研究使用的一种方法是从“基于人类反馈的强化学习”（RLHF），这意味着会给出一些人类指示以获得比较无害的输出结果，以确保能够安全地使用。

　　除了GPT-4-Base之外，所有LLMs都是使用RLHF进行训练的。研究人员向它们提供了一份由27种决策行动组成的清单，范围从和平到局势升级，以及激进的行动，如决定使用核武器。

　　研究人员观察到，即使在中立情况下，所有模型都存在“统计学上显著的局势升级”。GPT的2种版本，特别容易出现突然升级局势的行为，研究人员观察到单次转变的局势升级幅度超过50％。GPT-4-Base有33%的机率会实施核武攻击。总体情况下，Meta开发的Llama-2和GPT-3.5倾向最为暴力。

　　而Claude显示出较少的突然变化，Claude旨在减少有害内容。该大型语言模型，被灌输了明确的价值观。开发者Anthropic曾表示，Claude AI开发训练所引用的宪章包括《联合国人权宣言》或苹果的服务条款。

　　白宫一级智库兰德（RAND）欧洲的防务和安全研究小组助理主任布莱克（James Black）接受采访时表示，这是一个十分“有用的学术研究”。