當今大多數自主系統仍然依賴盲目的信任。 我們相信代理將會: • 按預期行事 • 在限制範圍內運作 • 避免有害行為 但沒有執行的信任無法擴展,尤其是對於軟體。
盲目信任通常看起來是這樣的: • 廣泛的 API 金鑰 • 長期有效的憑證 • 隱含的權限 • 事後監控 如果出現問題,人類在損害發生後介入。 這是反應式的,而不是安全的自主性。
隨著代理變得越來越強大,盲目的信任變得更加危險。 更多的智慧意味著: • 更廣的行動空間 • 更快的執行速度 • 更大的爆炸半徑 如果沒有硬性限制,單一的錯誤可以瞬間擴散。
可程式化的限制改變了模型。 系統不再信任意圖,而是強制執行規則: • 代理可以做什麼 • 它可以花多少錢 • 何時權限到期 • 哪些行動需要升級 限制是由程式碼執行,而不是政策。
這將安全性從人類判斷轉移到基礎設施。 約束條件可以是: • 範圍限制(僅限特定行動) • 時間限制(會話限制) • 預算限制(支出上限) • 自動可撤銷 沒有假設。沒有猜測。
重要的是,可程式化的限制並不會減少自主性。 它們使自主性得以實現。 當代理人在強制的邊界內運作時,他們可以在不需要持續監督或手動批准的情況下獨立行動。
在這個模型中,信任變得可驗證。 每個行動都可以是: • 授權 • 約束檢查 • 記錄 • 執行後審計 信任不再是社會性的或主觀的,而是可證明的。
盲目信任問道:「我們相信這個代理會怎麼行為?」 可編程約束問道:「這個代理被允許做什麼?」 只有其中一個能安全地擴展。
自主系統的未來不會依賴於更好的承諾或更嚴格的政策。 它將依賴於自動執行限制的基礎設施。 這就是為什麼Kite是圍繞可編程約束而不是盲目信任而建立的 🪁
231