今天大多数自主系统仍然依赖于盲目信任。 我们相信代理将: • 按预期行事 • 保持在限制范围内 • 避免有害行为 但没有执行的信任无法扩展,尤其是对于软件。
盲目信任通常是这样的: • 广泛的 API 密钥 • 长期有效的凭证 • 隐式权限 • 事后监控 如果出现问题,人类在损害发生后介入。 这是一种反应式的,而不是安全的自主。
随着代理变得越来越强大,盲目信任变得更加危险。 更多的智能意味着: • 更广泛的行动空间 • 更快的执行速度 • 更大的爆炸半径 没有严格的限制,单个错误可以瞬间传播。
可编程约束改变了模型。 系统不再信任意图,而是执行规则: • 代理可以做什么 • 它可以花多少钱 • 权限何时到期 • 哪些行为需要升级 约束是通过代码执行的,而不是政策。
这将安全性从人类判断转移到基础设施上。 约束可以是: • 范围限定(仅限特定操作) • 时间限制(会话限制) • 预算限制(支出上限) • 可自动撤销 没有假设。没有猜测。
重要的是,可编程约束并不会减少自主性。 它们使自主性得以实现。 当代理在强制性边界内操作时,他们可以在没有持续监督或手动批准的情况下独立行动。
在这个模型中,信任变得可验证。 每个行动都可以是: • 授权 • 约束检查 • 记录 • 执行后审计 信任不再是社会的或主观的,而是可证明的。
盲目信任问:“我们相信这个代理会表现吗?” 可编程约束问:“这个代理被允许做什么?” 这两者中只有一个是安全的。
自主系统的未来不会依赖于更好的承诺或更严格的政策。 它将依赖于默认执行限制的基础设施。 这就是为什么Kite围绕可编程约束构建,而不是盲目信任 🪁
212