Більшість автономних систем сьогодні все ще покладаються на сліпу довіру. Ми довіряємо, що агенти будуть: • Діяти відповідно до призначення • Залишатися в межах • Уникати шкідливої поведінки Але довіра без застосування не масштабується, особливо для програмного забезпечення.

Сліпа довіра зазвичай виглядає так: • Широкі ключі API • Довготривалі заслуги • Неявні дозволи • Моніторинг після факту Якщо щось іде не так, люди втручаються після завданої шкоди. Це реактивна, а не безпечна автономія.

Зі зростанням здібності агентів сліпа довіра стає більш ризикованою. Більше інтелекту означає: • Ширший простір дій • Швидше виконання • Більший радіус вибуху Без жорстких обмежень одна помилка може миттєво поширюватися.

Програмовані обмеження змінюють модель. Замість того, щоб довіряти намірам, системи застосовують правила: • Що може зробити агент • Скільки він може витратити • Коли закінчується повноваження • Які дії потребують ескалації Обмеження виконуються кодом, а не політикою.

Це зміщує безпеку з людського судження на інфраструктуру. Обмеження можуть бути такими: • Scoped (лише конкретні дії) • Обмежений за часом (сесія обмежена) • Обмежений бюджет (обмеження витрат) • Автоматично відкликаний Без припущень. Без здогадок.

Важливо, що програмовані обмеження не зменшують автономію. Вони це підтримують. Коли агенти працюють у межах встановлених кордонів, вони можуть діяти незалежно без постійного контролю чи ручного затвердження.

Довіра в цій моделі стає перевіреною. Кожна дія може бути: • Уповноважений • Перевірено обмеження • Записано • Аудит після виконання Довіра більше не є соціальною чи суб'єктивною, її можна довести.

Blind Trust запитує: «Чи віримо ми, що цей агент поводитиметься добре?» Програмовані обмеження запитують: «Що дозволено цьому агенту робити?» Лише одна з цих лусок безпечно.

Майбутнє автономних систем не залежатиме від кращих обіцянок чи жорсткіших політик. Це залежатиме від інфраструктури, яка за замовчуванням встановлює обмеження. Ось чому Kite побудований навколо програмованих обмежень, а не сліпої довіри 🪁