70 por ciento hecho, 26 correcto: El agujero del código con IA

El lunes empieza con un informe de error: el nuevo filtro parece funcionar, pero ofrece resultados incorrectos para ciertos registros. Un agente de programación preparó el cambio. Ahora alguien tiene que averiguar qué falta y comprobar si afecta a otras funciones. Un benchmark con tareas de desarrollo reales pone de manifiesto la distancia entre «parece terminado» y «funciona por completo». El mejor modelo probado cumplió, de media, alrededor del 70 por ciento de los requisitos. Los resultados totalmente correctos fueron mucho menos frecuentes. ¿Cómo puede saber si, aun así, un agente le ahorra trabajo a su equipo?
El 70 por ciento suena mejor de lo que es
La cifra parece tranquilizadora a primera vista: GPT-6 Astra, el mejor de los diez modelos probados, cumplió de media alrededor del 70 por ciento de los requisitos de cada tarea. Sin embargo, el resultado fue totalmente correcto en solo el 26,4 por ciento de las tareas. Para un equipo de desarrollo, la diferencia importa. Una propuesta a medio hacer puede facilitar el comienzo, pero todavía no significa que el trabajo esté terminado.
Co-Design Bench evalúa si un agente puede modificar una aplicación web existente a partir de una petición de usuario. Las tareas proceden de sesiones reales de programación. En algunos casos, los usuarios tuvieron que reformular sus peticiones varias veces o deshacer cambios. Se parece más al día a día, donde una solicitud no está clara y una corrección plantea nuevas dudas, que a una prueba limpia con una única respuesta correcta.
Los investigadores también incluyeron entradas como imágenes, grabaciones de audio, vídeos y documentos. Así se refleja algo que muchos equipos ya conocen por experiencia: no siempre está toda la información en una tarea del sistema. Pero ¿qué significa «cumplir» si la interfaz tiene buena pinta y, aun así, un proceso importante no funciona?
Una pantalla bonita no es una prueba de aceptación
Una marca verde en la lista de tareas no demuestra gran cosa si nadie ha probado el resultado. En el benchmark, un evaluador de IA comprueba la aplicación final en el navegador. Un segundo evaluador revisa de nuevo las valoraciones positivas y busca, entre otras cosas, maquetas o resultados codificados a mano. Solo se conceden puntos por funciones que realmente operan.
Para su equipo, la lección práctica es clara: formule los criterios de aceptación de manera que puedan observarse. Si se modifica una búsqueda, «mejorar la función de búsqueda» no basta. Lo importante es que el usuario pueda introducir el término esperado y obtener un resultado adecuado. La implementación técnica puede parecer correcta y, aun así, no cumplir el propósito real.
Incluso una prueba con IA sigue siendo una evaluación que hay que entender y controlar. Por eso el benchmark incorpora una segunda revisión. En su empresa, puede ser una prueba automatizada, complementada con una comprobación humana de los casos en los que un error tendría un coste elevado. ¿Qué casos deberían revisar primero?
Las peticiones complejas son la prueba de fuego
Una tarea no suele consistir en un único cambio pequeño. Puede que haya que adaptar un formulario para móviles, asignar una acción nueva a un botón y modificar a la vez el texto explicativo. El benchmark muestra que el rendimiento de todos los modelos probados baja cuando las tareas combinan varios tipos de cambio.
No es un problema exclusivo de los grandes departamentos de desarrollo. Una pyme puede encontrarse con la misma complejidad en su portal de clientes, sus herramientas internas o el proceso de pedidos. Al pedir un cambio visual, puede descubrir durante la revisión que también se ven afectados un flujo de trabajo, un contenido o una función existente. El agente tiene que gestionar varias dependencias, aunque la solicitud ocupe una sola línea en el sistema de tareas.
GitHub recomienda describir las tareas como incidencias, con contexto y criterios de aceptación, y dividirlas si hace falta. Es más fácil revisar pull requests pequeños y concretos que un cambio grande que mezcle interfaz, lógica y textos. Si varias modificaciones forman parte de una misma tarea, deben seguir tratándose como tal. Pero ¿cómo evitar que dividirlas genere más gestión de la necesaria?
Qué necesita una prueba justa en su empresa
Un agente puede obtener buenos resultados en un benchmark general y, aun así, tener problemas con las convenciones, las pruebas o las estructuras de datos de su equipo. Evalúe a los candidatos con su propio código y sus propios criterios de aceptación antes de encargarles tareas de producción. La prueba será menos vistosa, pero se parecerá mucho más a la decisión que tiene que tomar.
Elija tareas del trabajo habitual. Busque casos cuyo resultado se conozca y en los que alguien pueda valorar si funcionan por completo. Registre también qué indicaciones necesitó el agente, cuántas correcciones hicieron falta y si el cambio superó la revisión. Una propuesta sencilla puede ser útil aunque no resuelva una tarea de principio a fin. Lo importante es saber qué tipo de ayuda está obteniendo.
GitHub recomienda documentar las convenciones del equipo y los comandos de validación en las instrucciones del repositorio. Así, el agente y las personas del equipo cuentan con las mismas pautas, por ejemplo sobre cómo comprobar el código. Para una primera prueba, puede pedir al agente que repita una pequeña selección de tareas ya completadas y comparar los resultados sin saber quién ha hecho cada propuesta. ¿Qué métrica le indicará si esto supone una ventaja?
- Elija tareas habituales en su equipo cuyo resultado esperado se pueda comprobar.
- Antes de empezar, anote qué funciones y condiciones de calidad deben cumplirse.
- Compruebe el resultado con pruebas y durante la revisión, no solo a partir del código generado.
- Registre el trabajo de corrección humana y los errores, junto con el tiempo empleado y el coste de la IA.
Cuente los cambios fusionados, no solo el código
El número de líneas de código generadas resulta tentador, pero no responde a la pregunta de si el equipo puede entregar antes. Una medida más útil es el coste por pull request fusionada. Se calcula dividiendo el coste total del desarrollo asistido por IA entre el número de cambios revisados que finalmente se incorporan.
Esta métrica necesita otros indicadores que la acompañen. Registre también las correcciones y los errores, para que un cambio aparentemente más barato no salga adelante a costa de la calidad. Un borrador rápido puede trasladar el trabajo: de la escritura a la revisión, las correcciones y la búsqueda de errores. En el día a día, eso suele notarse cuando la pull request lleva más tiempo abierta y la desarrolladora tiene que repetir el mismo flujo por tercera vez.
GitHub cita un estudio de Faros AI según el cual las pull requests tardaban un 441 por ciento más en revisarse al pasar de un uso bajo a uno alto de IA. Esto no demuestra que la IA alargue las revisiones por sistema. Sí muestra por qué el porcentaje de uso o el número de tokens dicen poco sobre la utilidad real. Si la revisión tarda más, ¿qué tendría que mejorar para que su equipo considerase que ha ganado algo?
Qué significa esto para su empresa
El próximo lunes, un agente podría encargarse de un error pequeño y bien delimitado. La incidencia explica el contexto y las condiciones de aceptación. La pull request propone un cambio concreto que pasa las comprobaciones automatizadas. Después, una persona del equipo verifica que el comportamiento encaja con su proceso. Así, una demostración de IA se convierte en una prueba de trabajo que se puede evaluar.
Empiece con una tarea cuyo resultado pueda comprobarse sin interpretaciones. Anote cuánto se tarda en completarla, incluida la revisión, qué correcciones hacen falta y si el cambio se fusiona. Compárelo con el proceso habitual. Que un agente resuelva solo una parte no implica que la prueba haya fracasado. Lo que necesita saber es si el trabajo humano restante es menor o simplemente se ha repartido de otra manera.
En un equipo pequeño puede bastar una lista breve de comprobaciones. Una pyme debería registrar también las normas del equipo y los errores recurrentes. En una gran empresa, quizá haya que definir una comparación y unos criterios de aceptación comunes para distintos repositorios y responsables. La prueba adecuada no tiene por qué tener el mismo alcance en todas partes. La pregunta sigue siendo la misma: ¿qué considera usted un resultado entregado?
Preguntas frecuentes
¿Cómo puedo probar un agente de programación en mi empresa?
Elija tareas reales de su trabajo diario cuyo resultado esperado se pueda comprobar. Defina antes los criterios de aceptación y deje que el agente trabaje con su código y las reglas del repositorio. Después, compruebe la función, las pruebas, el trabajo de corrección humana y si el cambio supera la revisión. Un benchmark general, por sí solo, no muestra hasta qué punto encaja un agente con su equipo.
¿Qué significa el 26,4 por ciento en las pruebas de agentes de programación?
En Co-Design Bench, GPT-6 Astra obtuvo resultados totalmente correctos en el 26,4 por ciento de las tareas. De media, cumplió alrededor del 70 por ciento de los requisitos. Las cifras miden cosas distintas: un agente puede resolver gran parte de una tarea sin que el resultado funcione por completo o satisfaga todos los requisitos.
¿Cómo puedo medir el beneficio de la IA al programar?
Una métrica posible es el coste por pull request fusionada. Para calcularlo, divida el coste total del desarrollo asistido por IA entre el número de cambios revisados e incorporados. Registre también el trabajo de corrección y los errores. Así podrá comprobar mejor si la IA reduce el esfuerzo o se limita a generar más código o propuestas.
¿Por qué conviene dividir las tareas de programación en pull requests más pequeñas?
Las pull requests pequeñas y concretas son más fáciles de revisar que un cambio grande que afecta a muchas funciones. Así resulta más sencillo detectar errores y desviaciones. GitHub recomienda dividir las tareas si hace falta y documentar los requisitos, el contexto y los criterios de aceptación. Los cambios que forman parte de una misma tarea deben seguir tratándose como un conjunto.
¿Puede un agente de programación sustituir las revisiones de código humanas?
Los datos disponibles no demuestran que los agentes de programación puedan sustituir las revisiones humanas. En Co-Design Bench se comprueba la aplicación final y se vuelven a revisar las valoraciones positivas de la IA. En su empresa, mida los resultados con sus propias pruebas y criterios de aceptación, y prevea una revisión humana en los casos en los que un error pueda tener consecuencias.
¿Le interesa?
¿Quiere saber qué significa esto para su empresa?
Fuentes
- AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test · the-decoder.com, 2026-11-08
- Beyond code generation: A developer’s guide to agentic engineering · github.blog, 2026-11-06
- Stop counting tokens, start counting what ships · technologyreview.com, 2026-11-02
Este artículo se ha investigado y redactado con ayuda de IA y se ha verificado automáticamente con las fuentes citadas antes de publicarse. Más sobre nuestra transparencia en IA
Guía gratuita · PDF
La brújula de IA para pequeñas y medianas empresas
9 tareas que su equipo puede delegar desde el lunes.
Solicitar gratis
Klarframe AI Readiness Check
¿Hasta qué punto está preparada su empresa para la IA?
Unos diez minutos, resultado inmediato con su nivel, un plan de 90 días, soluciones adecuadas y notas sobre el AI Act.


