A maioria dos sistemas autónomos hoje ainda depende de confiança cega. Confiamos que os agentes irão: • Agir como pretendido • Manter-se dentro dos limites • Evitar comportamentos prejudiciais Mas a confiança sem fiscalização não escala, especialmente para software.

A confiança cega geralmente se parece com isto: • Chaves de API amplas • Credenciais de longa duração • Permissões implícitas • Monitoramento posterior ao fato Se algo der errado, os humanos intervêm depois que o dano é feito. Isso é reativo, não é uma autonomia segura.

À medida que os agentes se tornam mais capazes, a confiança cega torna-se mais arriscada. Mais inteligência significa: • Espaço de ação mais amplo • Execução mais rápida • Maior raio de explosão Sem limites rígidos, um único erro pode propagar-se instantaneamente.

Restrições programáveis mudam o modelo. Em vez de confiar na intenção, os sistemas impõem regras: • O que um agente pode fazer • Quanto pode gastar • Quando a autoridade expira • Quais ações requerem escalonamento As restrições são executadas por código, não por política.

Isto transfere a segurança do julgamento humano para a infraestrutura. As restrições podem ser: • Limitadas (apenas ações específicas) • Limitadas no tempo (sessão limitada) • Limitadas no orçamento (limites de gasto) • Revogáveis automaticamente Sem suposições. Sem adivinhações.

É importante notar que as restrições programáveis não reduzem a autonomia. Elas a possibilitam. Quando os agentes operam dentro de limites impostos, podem agir de forma independente sem supervisão constante ou aprovações manuais.

A confiança, neste modelo, torna-se verificável. Cada ação pode ser: • Autorizada • Verificada quanto a restrições • Registada • Auditada após a execução A confiança já não é social ou subjetiva, é comprovável.

A confiança cega pergunta: "Acreditamos que este agente se comportará?" As restrições programáveis perguntam: "O que este agente está autorizado a fazer?" Apenas uma dessas escalas é segura.

O futuro dos sistemas autónomos não dependerá de promessas melhores ou de políticas mais rigorosas. Dependerá de uma infraestrutura que imponha limites por padrão. É por isso que o Kite é construído em torno de restrições programáveis, não de confiança cega 🪁