2010年，在ChatGPT和Claude以及所有其他活泼的、可对话的人工智能模型兴起之前，一群机器人在纳斯达克和其他证券交易所短暂地抹去了1万亿美元的价值。为了弄清楚发生了什么和原因，以及如何防止这种情况再次发生，进行了漫长的调查。美国证券交易委员会(Securities and Exchange Commission)在该问题上的报告指责高频交易算法出人意料地参与了一种无意识的“烫手山芋”买卖合约。

　　这一事件被称为“闪电崩盘”，相对于即将发生的事情，这可能显得有些古怪。这是因为，即使在所有的人工智能炒作中，人工智能革命的一个隐现部分也没有得到充分的研究:“代理人”。代理是代表人类独立行动的人工智能。正如2010年的闪电崩盘所显示的那样，自动化机器人已经使用多年。但是，大型语言模型现在可以将任何人表达的简单语言目标转化为计算机可解释和可执行的具体指令，而不仅仅是在证券交易等狭窄的专业领域，而是在整个数字和物理世界。这样的代理很难理解、评估或对抗，一旦被释放，它们可能会无限期地运作。

　　尽管今天人们对人工智能的安全(包括潜在的存在风险)感到担忧，但对于这些新兴的人工智能代理，并没有特别的普遍警报或相应的监管。关于人工智能给(或为自己设定)一个武断的、看似无害的目标，比如制造尽可能多的回形针，当它把人类所有的资源都转移到这个目标上时，就会造成灾难。但是，我们不必面对思辨偏执狂的超级智能，我们必须关注由绝对非思辨的当代行动者造成的更紧迫但更平凡的问题。这些演讲可能会搞砸，要么是由于那些让它们开始的人的恶意，要么是偶然的，猴爪式的，当被委托使用一些错误的词语时。例如，加拿大航空公司(Air Canada)最近就遇到了后者，它为客户帮助设置了一个聊天机器人，提示是否提供帮助，并可以访问加拿大航空公司的网站，以回答客户的问题。这个机器人以一种比航空公司实际政策慷慨得多的方式，帮助解释了一项关于丧亲机票的政策。加拿大航空公司试图否认机器人的承诺，但失败了:法庭裁定该客户应得到赔偿。

　　今天的代理人加起来不仅仅是一个典型的聊天机器人，它有三个不同的品质。首先，他们可以被赋予一个高层次的，甚至是模糊的目标，并通过自己的研究或工作独立地采取步骤来实现它。这个想法简单而有力。例如，一年前，一位有进取心的技术人员开发了一种可以为他订购披萨的人工智能。他依靠OpenAI等公司开发的软件工具，创建了一个“顶级人工智能”，可以授权和指挥其他人工智能。这个顶级人工智能被提供了一个目标——通过给定的电话号码语音订购意大利辣香肠披萨——然后它继续创建自己的任务列表，并开发不同版本的自己来执行这些任务，包括对列表中的不同步骤进行优先级排序，并生成一个能够使用文本-语音转换器拨打电话的版本。因此，AI能够找到并打电话给当地的披萨店并下订单。

　　这显示了智能代理除了计划实现目标之外的第二个品质:它们可以与整个世界互动，随意使用不同的软件工具，就像你在浏览网页的同时打开Excel或下DoorDash订单一样。在OpenAI等公司的邀请和支持下，生成型人工智能模型可以从外部世界获取信息，并反过来影响它。正如OpenAI所说，你可以“将gpt连接到数据库，将它们插入电子邮件，或者让它们成为你的购物助手。”例如，您可以集成旅游列表数据库，连接用户的电子邮件收件箱，或促进电子商务订单。”代理商也可以接受并花钱。

　　这种常规化的人工智能不仅能与我们交谈，还能在世界上发挥作用，它跨越了数字与模拟、比特与原子之间的血脑屏障。这应该让我们三思。

　　一个非人工智能的例子突然出现在我的脑海中，它是未来可能出现的邪恶路线图。去年，一名男子在哈佛庭院外留下了一个显眼的包，里面装着电线和一个锁箱。随后，哈佛警方接到了一个伪装的声音，警告说这是校园三枚炸弹中的一枚，除非学校把钱转移到一个难以追踪的加密货币地址，否则这些炸弹很快就会爆炸。这个袋子被确定为无害的。这个威胁是个骗局。

　　当警方确认并逮捕了留下包的男子时，原来他是回应了Craigslist网站上的一则广告，该广告出钱让他把这些东西组装起来并带到校园。那则广告背后的人——以及给哈佛打威胁电话的人——一直没有被找到。安放窃听器的男子只承认隐藏并删除了一些可能构成犯罪的短信，并被判处缓刑，因为当局认为他不是这起阴谋的始作俑者。他不知道自己加入了一个敲诈勒索的阴谋。

　　这个特殊的事件可能与人工智能无关，但很容易想象，人工智能代理可能很快就会被用来激励一个人遵循哈佛勒索案中的每一个步骤，而只需要最少的提示和指导。更令人担忧的是，这样的威胁很容易扩大规模，远远超出一个恶意的人独自应对的能力;想象一下，哈佛阴谋的幕后黑手能够同时在数百或数千个城镇实施。这种行为不需要像炸弹威胁那么戏剧化。它可能只是一些事情，比如密切关注某个加入社交媒体或求职网站的人，并立即不知疲倦地发布贬低他们的回复和评论。

　　这暴露了人工智能代理的第三个特点:它们可以无限期地运行，允许人类操作员“设置它并忘记它”。代理可能是手工编码的，或者由提供服务的公司提供支持，就像墓地为坟墓提供永久护理一样，或者像银行为某人的钱提供几十年的管理一样。或者代理甚至可以运行在匿名的计算资源上，这些资源分布在成千上万台计算机上，这些计算机的所有者按照设计，不知道正在运行的是什么——同时为他们的计算能力付费。

　　这里的问题是，人工智能可能会继续运作，远远超出最初的用途。根本没有办法知道随着环境的变化，什么发霉剂会留下来。如果没有一个框架来确定他们是什么，谁设置了他们，以及如何以及在什么权限下关闭他们，特工可能最终会像太空垃圾一样:卫星被送入轨道，然后被遗忘。不仅有可能与现役卫星发生一次性碰撞，而且还可能发生碰撞的连锁反应:一次碰撞的碎片会引发进一步的碰撞，以此类推，形成一个可能无法逾越的弹片屏障，阻碍未来的航天器发射。

　　如果智能体起飞了，它们最终可能会在一个与最初给它们带来创伤的世界截然不同的世界中运行——毕竟，这将是一个有很多智能体的世界。它们可能开始以意想不到的方式相互作用，就像2010年闪电崩盘时那样。在这种情况下，机器人是由人类创造的，但只是在意想不到的情况下以奇怪的方式行事。在这里，被设定为翻译模糊目标的代理也可能会选择错误的方式来实现它们:一个学生要求机器人“帮我应付这门无聊的课”，可能会无意中产生一个电话炸弹威胁，因为人工智能试图让事情变得有趣。这是奖励黑客(reward hacking)这一更大现象的一个例子，即AI模型和系统可以在缺乏关键背景的情况下响应某些激励或优化某些目标，捕捉到目标的字面意思，而不是目标的精神。

　　即使没有冲突，想象一下，一群亲弗拉基米尔·普京(vladimir Putin)的特工通过加入爱好者论坛，认真讨论这些爱好，然后等待一个看似有机的、合适的时刻，在他们喜欢的政治话题上工作，来玩一场旷日持久的游戏。或者，代理可能会被委托设置、发布广告，并提供赏金，以获取某人的私人信息，无论何时何地。特工可以在多年后因一时冲动而报复——据说复仇最好是冷盘，而在这里，它可以被低温冷冻。

　　这种说法在很大程度上仍是推测性的。代理商还没有经历过公开的繁荣，而且就其本质而言，很难知道它们将如何被使用，或者帮助提供它们的公司将实施什么样的保护。代理商，就像许多其他现代技术一样，可能有两个阶段:太早说，太迟做任何事情。

　　在这种情况下，我们应该寻找相对容易达成一致的低成本干预措施，而且不会造成负担。耶鲁大学法学院(Yale Law School)的伊恩·艾尔斯(Ian Ayres)和杰克·巴尔金(Jack Balkin)等法律学者开始思考，我们如何才能最好地对人工智能代理进行分类，并考虑它们的行为。这在加拿大航空公司(Air Canada)关于机器人向客户提供不准确建议的案件中可能会有所帮助，审理此案的法庭对该航空公司所谓的“聊天机器人是一个独立的法律实体，对自己的行为负责”的说法持怀疑态度。评估行为人驱动的行为尤其重要因为行为的性质取决于对行为人意图的评估。假设等待突袭受害者社交媒体帖子的特工不仅会贬低这个人，还会威胁他们。艾尔斯和巴尔金指出，最高法院最近认为，将真正的威胁定为犯罪，需要发出威胁的人主观上明白他们会引发恐惧。当不加思考的代理人制造威胁时，需要采取一些不同的法律方法来应对人工智能供应链的上下。

　　技术干预可以帮助解决出现的任何法律差异。去年，OpenAI的研究人员发表了一篇深思熟虑的论文，记录了一些代理危害。在那里，他们提出了一种可能性，即运行人工智能机器人的服务器应该被识别出来，其他人也在努力描述这可能是如何工作的。

　　但我们也可以寻求改进现有的互联网标准，以帮助管理这种情况。数据已经通过标有发送者和接收者的网络地址的“数据包”在网上分发。这些标签通常可以被数据包路径上的任何人读取，即使信息本身是加密的。在数据包的数字形式上应该有一个新的、特殊的空白，表明数据包是由机器人或代理生成的，也许还应该有一个地方表明它是何时创建的，由谁创建的——就像车牌可以用来追踪车主，而不会向旁观者透露他们的身份一样。

　　在互联网协议中允许这样的标签，将给软件设计师和用户一个选择使用它们的机会，也将让DoorDash和达美乐(Domino’s)等应用程序背后的公司决定，他们是否想把一份来自人类的20份披萨订单与机器人下的订单区别对待。尽管任何这样的制度都可以规避，但监管机构可以帮助鼓励采用。例如，如果代理人的设计者和提供者决定给其代理人的在线活动贴上标签，他们就可以为其代理人造成的损害提供赔偿上限。

　　互联网路由提供了进一步的教训。没有互联网的主地图，因为它是为任何人设计的，不是通过一个中央交换机，而是通过与任何已经在线的人连接。由此产生的网络依赖于路由器(即中转站)，路由器之间可以就它们所看到的远近进行交流。这样，数据包就可以从一个路由器传递到另一个路由器，直到到达目的地。然而，这确实留下了这样一种可能性，即由于错误或恶意，数据包可能最终以自己的形式在永恒的轨道上传递，在路由器之间永远传递。这就是为什么大多数数据包都有一个“存活时间”，这个数字有助于显示它们从一个路由器跳到另一个路由器的次数。计数器可能从64开始，然后每经过一个路由器就减少一个。它死于零，即使它还没有到达目的地。

　　代理也可以，也应该有一种标准化的方式来结束:有多少行动，多少时间，多少影响，符合他们最初的目的。也许那些被设计成长期存在或影响深远的特工可以被给予更多的审查和审查——或者被要求拥有牌照——而那些更普通的特工则不需要，就像自行车和摩托车不需要像汽车一样需要牌照，拖拉机拖车甚至需要更多的文件一样。这些干预措施不太关注人工智能模型在实验室中天生的能力，而是更多地关注人工智能的不同之处:它们在现实世界中行动，即使它们的行为在网络上得到了体现。

　　现代科技令人眼花缭乱的步伐很容易让我们认为，我们必须在自由市场和严厉监管之间做出选择——创新还是停滞。这不是真的。正确的标准制定和监管可以使新技术足够安全，可以被普遍采用——包括允许市场参与者对他们彼此之间以及与客户之间的互动方式更加挑剔。

　　在这种情况下，“言之过早”是一个评估并在深层意义上维持我们的机构的好时机。我们需要坐在驾驶座上，而不是被一个看不见的司机护送，这个司机按照自己不可思议的、不断变化的动机行事，或者按照一个时空遥远的人类的动机行事。