Günümüzde çoğu otonom sistem hâlâ kör güvene dayanır. Temsilcilerin şunları yapacağına güveniyoruz: • Amaçlandığı gibi hareket etmek • Sınırlar içinde kalın • Zararlı davranışlardan kaçının Ancak denetim olmadan güven, özellikle yazılım için ölçeklenmez.

Kör güven genellikle şöyle görünür: • Geniş API anahtarları • Uzun ömürlü yetkinlikler • Örtük izinler • Olay sonrası izleme Bir şeyler ters giderse, insanlar zarar verildikten sonra müdahale eder. Bu tepkisel, güvenli özerklik değil.

Ajanlar daha yetenekli hale geldikçe, kör güven daha riskli hale gelir. Daha fazla zeka demektir: • Daha geniş aksiyon alanı • Daha hızlı uygulama • Daha büyük patlama yarıçapı Kesin sınırlar olmadan, tek bir hata anında yayılabilir.

Programlanabilir kısıtlamalar modeli değiştirir. Niyete güvenmek yerine, sistemler kuralları uygular: • Bir ajanın neler yapabileceği • Ne kadar harcayabileceği • Yetki süresi dolduğunda • Hangi eylemlerin tırmandırılması gerektiği Kısıtlamalar politika değil, kod tarafından yürütülür.

Bu, güvenliği insan yargısından altyapıya kaydırır. Kısıtlamalar şunlar olabilir: • Kapsamlı (sadece belirli eylemler) • Zaman sınırlı (oturum sınırlı) • Bütçe sınırlı (harcama sınırı) • Otomatik olarak geri alınabilir Varsayım yok. Tahmin yok.

Önemli olarak, programlanabilir kısıtlamalar özerkliği azaltmaz. Bunu mümkün kılar. Temsilciler zorunlu sınırlar içinde çalıştığında, sürekli denetim veya manuel onaylar olmadan bağımsız hareket edebilirler.

Bu modelde güven doğrulanabilir hale gelir. Her eylem şu olabilir: • Yetkilendirildi • Kısıtlama kontrolü • Kayıtlı • Uygulamadan sonra denetlendi Güven artık sosyal ya da öznel değil, kanıtlanabilir.

Kör güven şöyle soruyor: "Bu ajanın iyi davranacağına inanıyor muyuz?" Programlanabilir kısıtlamalar şöyle soruyor: "Bu ajan ne yapabilir?" Bu ölçeklerden sadece biri güvenle.

Otonom sistemlerin geleceği daha iyi vaatlere veya daha sıkı politikalara bağlı olmayacak. Bu, varsayılan olarak sınırları uygulayan altyapıya bağlı olacak. Bu yüzden Kite, programlanabilir kısıtlamalar etrafında inşa edilmiş, kör güven 🪁 değil