Majoritatea sistemelor autonome de astăzi încă se bazează pe încredere oarbă. Avem încredere că agenții vor: • Acționează conform intenției • Să rămână în limite • Evitarea comportamentului dăunător Dar încrederea fără aplicare nu scalează, mai ales pentru software.
Încrederea oarbă arată de obicei așa: • Chei API largi • Acreditări de lungă durată • Permisiuni implicite • Monitorizare ulterioară Dacă ceva merge prost, oamenii intervin după ce s-a produs daune. Asta este reactiv, nu autonomie sigură.
Pe măsură ce agenții devin mai capabili, încrederea oarbă devine mai riscantă. Mai multă inteligență înseamnă: • Spațiu de acțiune mai larg • Execuție mai rapidă • Rază de explozie mai mare Fără limite stricte, o singură greșeală se poate propaga instantaneu.
Constrângerile programabile schimbă modelul. În loc să aibă încredere în intenție, sistemele aplică reguli: • Ce poate face un agent • Cât poate cheltui • Când autoritatea expiră • Ce acțiuni necesită escaladare Constrângerile sunt executate prin cod, nu prin politică.
Acest lucru mută siguranța de la judecata umană la infrastructură. Constrângerile pot fi: • Scop (doar acțiuni specifice) • Timp limitat (sesiune limitată) • Limitat de buget (limite de cheltuieli) • Revocabil automat Fără presupuneri. Fără presupuneri.
Este important că constrângerile programabile nu reduc autonomia. Ei îl susțin. Când agenții operează în limitele impuse, pot acționa independent, fără supraveghere constantă sau aprobări manuale.
Încrederea, în acest model, devine verificabilă. Fiecare acțiune poate fi: • Autorizat • Constrângeri controlate • Înregistrat • Auditat după execuție Încrederea nu mai este socială sau subiectivă, este demonstrabilă.
Blind Trust întreabă: "Credem că acest agent se va comporta?" Constrângerile programabile întreabă: "Ce are voie să facă acest agent?" Doar unul dintre acești cântarzi este în siguranță.
Viitorul sistemelor autonome nu va depinde de promisiuni mai bune sau politici mai stricte. Va depinde de infrastructura care impune limitele în mod implicit. De aceea Kite este construit în jurul constrângerilor programabile, nu a încrederii 🪁 oarbe
215