El problema del Airbus A320: por qué el piloto importa

El 8 de junio de 1988, un Airbus A320 realizó su vuelo de demostración inaugural en un show aéreo en Habsheim, Francia. El avión era la aeronave comercial más avanzada del mundo, la primera en usar controles fly-by-wire completos donde las computadoras mediaban cada input del piloto a las superficies de control. El piloto planeó un dramático paso rasante sobre la pista. Las computadoras, al detectar que el avión estaba demasiado bajo y demasiado lento, comenzaron a anular los inputs del piloto para prevenir lo que calcularon como una condición peligrosa. El resultado fue un accidente al borde del aeródromo.

El incidente lanzó décadas de debate sobre la relación entre la autoridad humana y los sistemas automatizados. También produjo uno de los frameworks más importantes en el diseño de automatización: la idea de que el objetivo no es remover al humano del proceso, sino definir claramente qué controla el humano y qué controla la máquina, y asegurar que el humano siempre tenga la información necesaria para intervenir.

El desarrollo de software está entrando en la misma conversación.

Lo que fly-by-wire realmente cambió

Antes de fly-by-wire, los pilotos tenían conexiones mecánicas directas a las superficies de control de la aeronave. Jalar el stick, y cables físicamente movían los alerones. El piloto sentía la aeronave a través de los controles. Cada input era directo, inmediato y físico.

Fly-by-wire reemplazó ese enlace mecánico con computadoras. Los inputs del piloto se convirtieron en solicitudes que la computadora de vuelo interpretaba, modificaba por seguridad y luego ejecutaba. El piloto aún volaba el avión, pero la computadora podía rechazar inputs peligrosos, suavizar la turbulencia y optimizar el consumo de combustible de formas que ningún humano podría manejar manualmente.

El resultado fue transformador. Las aeronaves fly-by-wire son más seguras, más eficientes en combustible y más fáciles de volar que sus predecesoras mecánicas. Pero introdujeron una nueva categoría de riesgo: el piloto que deja de prestar atención porque la computadora “se encarga.”

Complacencia con la automatización

Los investigadores de aviación lo llaman complacencia con la automatización: la tendencia de los humanos a reducir su vigilancia cuando creen que un sistema automatizado está funcionando bien. Los pilotos que dependen demasiado del piloto automático pierden consciencia situacional. Dejan de monitorear activamente el estado de la aeronave porque la computadora ha sido confiable durante horas. Cuando algo inusual sucede, el piloto que no estaba prestando atención tarda más en diagnosticar y responder que el piloto que estaba volando activamente.

Esto no es una debilidad de pilotos individuales. Es una consecuencia predecible de cómo funciona la atención humana. Estamos programados para conservar esfuerzo cognitivo. Cuando un sistema realiza una tarea confiablemente, redirigimos la atención a otra parte. Esto es adaptativo en muchos contextos, pero es peligroso cuando el sistema automatizado encuentra una situación para la que no fue diseñado.

El paralelo con los agentes de código es incómodo pero importante. Un desarrollador que ejecuta agentes todo el día y fusiona la producción sin revisión cuidadosa está experimentando complacencia con la automatización. El agente ha estado produciendo buen código durante semanas, así que el desarrollador deja de leer cada línea. Cuando el agente comete un error arquitectónico sutil, el desarrollador lo pasa por alto porque su atención estaba en otra parte.

Por qué el piloto automático total falla

La aviación aprendió temprano que el piloto automático total, donde el humano es removido completamente, falla precisamente en las situaciones donde el juicio humano más importa: escenarios novedosos, señales conflictivas y casos límite que caen fuera de los datos de entrenamiento del sistema.

Un sistema de piloto automático es excelente para mantener altitud, seguir un plan de vuelo y gestionar operaciones rutinarias. Es pobre para manejar un impacto de ave, un fallo repentino de instrumentos o un patrón climático inesperado que requiere toma de decisiones creativa. Estas situaciones demandan el tipo de razonamiento contextual, intuición basada en experiencia y resolución adaptativa de problemas en que los humanos son buenos y los sistemas automatizados no.

Los agentes de código enfrentan el mismo límite. Son excelentes en tareas bien definidas: escribir pruebas para código existente, refactorizar módulos según patrones claros, implementar funcionalidades a partir de especificaciones detalladas. Tienen dificultades con requisitos ambiguos, decisiones arquitectónicas entre equipos y el tipo de juicio de producto que requiere entender la intención del usuario, el contexto del negocio y la política organizacional simultáneamente.

La lección de la aviación no es que los sistemas automatizados no sean confiables. Es que su confiabilidad tiene límites, y esos límites son exactamente donde el juicio humano se vuelve crítico.

El modelo de cabina

La aviación moderna resolvió esta tensión con un modelo que ni remueve al piloto ni ignora las capacidades de la automatización. El piloto es el capitán. Las computadoras son la tripulación. Cada uno tiene responsabilidades definidas, y cada uno tiene mecanismos para comunicarse con el otro.

Los instrumentos de cabina existen específicamente para mantener la consciencia del piloto. Muestran lo que el piloto automático está haciendo, por qué está tomando ciertas decisiones y cuándo está llegando al borde de su envolvente operativa. El piloto no necesita volar cada segundo, pero siempre necesita saber lo que el avión está haciendo.

Este es el modelo que los equipos de software deberían adoptar para los agentes de código. El desarrollador es el capitán. El agente es la tripulación. El agente maneja el trabajo rutinario, las tareas que están bien definidas y donde la ejecución automatizada es más consistente que el esfuerzo manual. El desarrollador maneja la arquitectura, las decisiones de juicio, los casos límite y la revisión.

Pero el modelo solo funciona si el desarrollador sabe lo que el agente está haciendo. Y eso requiere instrumentos.

Construyendo la cabina para agentes de código

En la aviación, los instrumentos de cabina no son negociables. Ningún piloto volaría un avión con los instrumentos apagados, sin importar qué tan bueno sea el piloto automático. Los instrumentos no son algo deseable; son el mecanismo a través del cual el piloto mantiene la consciencia necesaria para intervenir cuando importa.

La mayoría de los agentes de código hoy se entregan sin instrumentos. El desarrollador lanza un agente, el agente trabaja en relativo silencio, y el desarrollador ve la producción solo cuando está completa. No hay consciencia en tiempo real de lo que el agente está haciendo, no hay reporte estructurado de decisiones tomadas, y no hay alertas cuando el agente encuentra condiciones que podrían justificar intervención humana.

Este es el vacío que Dailybot llena. Al capturar reportes de progreso de agentes y presentarlos en la línea de tiempo compartida del equipo, Dailybot proporciona los instrumentos de cabina para equipos de desarrollo humano-agente. Managers y desarrolladores ven lo que los agentes están haciendo, pueden evaluar si el agente va por buen camino, y pueden intervenir cuando se necesita juicio, todo sin estar encima de cada tecla presionada.

El piloto todavía importa

El Airbus A320 se convirtió en una de las aeronaves comerciales más exitosas de la historia. No porque removieron al piloto, sino porque redefinieron el rol del piloto: menos ejecución manual, más supervisión estratégica, mejor información y autoridad más clara sobre las decisiones que importan.

La era agéntica en el desarrollo de software seguirá el mismo arco. Los desarrolladores que prosperen no serán los que escriban cada línea de código manualmente. Serán los que sepan cuándo dejar que el agente vuele, cuándo tomar los controles, y cómo mantener la consciencia situacional que hace posibles esas decisiones.

El piloto importa. Los instrumentos que mantienen informado al piloto importan igual.