Un agente que puede equivocarse caro

Hay una variable que ordena todo el diseño de software con IA y que casi nunca aparece en las demos: cuánto cuesta equivocarse. Un chatbot que alucina una respuesta te hace perder diez segundos y algo de paciencia. Un agente que escribe una propiedad equivocada en tu PDM puede dañar una liberación completa, con planos que ya salieron y un ERP esperando datos que dejaron de ser ciertos. Construyendo VaultPilot junto a Avant Leap, el agente de IA nativo para Autodesk Vault Professional, esa diferencia dejó de ser teórica y se volvió el criterio central de diseño.

El costo del error define la arquitectura

Cuando el error es barato, puedes permitirte iterar: el usuario reintenta, corrige, sigue. Cuando el error es caro, el diseño cambia de naturaleza. Ya no estás optimizando la respuesta del modelo: estás construyendo el sistema que decide qué puede y qué no puede pasar, sin importar lo que el modelo proponga. Por eso digo que la compuerta se construye antes que el agente. Si defines primero los límites, el agente hereda un terreno seguro. Si construyes primero el agente, los límites llegan tarde y de reacción en reacción.

Lo que dice el log

En dos meses de log de desarrollo, con una instancia contra Vault Professional 2026, las compuertas de VaultPilot detuvieron 80 escrituras antes de que tocaran datos: 45 por anclaje de identidad (el agente iba a operar sobre un archivo distinto del que el usuario tenía en mente) y 35 por el interruptor de solo lectura. Y hubo un dato que me marcó más que ningún otro: 23 veces la API de Vault devolvió un código de éxito que la relectura posterior desmintió. Es un log de desarrollo, no una tasa de éxito en producción, pero la lección es general: el éxito de una API es una afirmación, no una prueba.

Cuatro reglas que me llevo

Primera: dry-run siempre. El agente muestra exactamente qué va a cambiar antes de cambiarlo, y una persona autoriza. Autónomo significa que el agente ejecuta el flujo, no que nadie mira.

Segunda: toda escritura se verifica releyendo. Sin relectura, esos 23 falsos éxitos serían hoy datos corruptos con apariencia de datos correctos, el peor error posible: el que no sabes que tienes.

Tercera: los límites duros no se negocian con el modelo. Hay operaciones que el agente rechaza siempre, sin importar cómo se le pida. Esa negativa no es una limitación: es una feature.

Cuarta: auditoría completa. Cada operación queda registrada con quién, qué y cuándo. Cuando algo se ve raro, el log responde en minutos lo que de otra forma sería una investigación.

Más control, no menos

La conclusión incómoda para quien espera magia: un agente que puede equivocarse caro necesita más ingeniería de control que un script tradicional, no menos. El script automatiza la regla; el agente maneja la excepción, y opera justo donde las reglas se acaban. Ahí el control no es burocracia: es lo que hace posible confiarle trabajo real.