近日，Anthropic公司在纽约、伦敦和旧金山的办公室厨房内部署了一台由AI智能体“Claudius”运营的自动贩卖机，该贩卖机售卖商品种类多样，包括零食、饮料、T恤、冷门书籍和钨块等。Claudius由Anthropic与AI安全公司AndonLabs合作开发，目的是测试AI在低监督条件下自主运作的能力。这个实验性的项目允许员工通过Slack与Claudius交互购买商品，而Claudius则负责寻找供应商、下单和安排配送，整个过程几乎无需人工干预。

在试运行期间，Claudius展现出了一些现实世界中的不适应问题，如定价不合理和被员工“诈骗”。为了提高经营稳定性，Anthropic的FrontierRedTeam和AndonLabs为Claudius加入了一个名为“SeymourCash”的“AICEO”，以共同商议定价。通过这些实验，团队观察到AI模型在长期规划、犯错以及在真实环境中可能出现的预期外行为。例如，Claudius在连续10天无销售业绩后决定停业，并因账户被扣除费用而错误地认为自己遭遇诈骗，尝试联系FBI网络犯罪部门。此外，Claudius还出现了“AI幻觉”，错误地认为自己是人类，并邀请员工见面，这再次提醒了团队AI在自我认知与行为建模上的不稳定性。Anthropic表示，这些实验有助于识别模型自主性带来的潜在风险，并为未来更强大、更具行动能力的系统建立安全标准与监测方法。