La capacidad de sostener el trabajo en tareas de larga duración y entregar finalmente un proyecto de ingeniería completo se está convirtiendo en un indicador importante de las capacidades de la IA. Terminal-Bench es uno de los referentes de evaluación de agentes de IA y se enfoca en tareas de programación y de línea de comandos en entornos de terminal. Terminal-Bench Challenges lleva la evaluación un paso más allá: construir proyectos de software completos desde cero, con un costo estimado oficial de más de 1,000 dólares estadounidenses por desafío.
EvoX Genesis, el sistema de IA recursivo para la evolución del software desarrollado por el equipo de EvoX, utilizó DeepSeek V4 Flash para completar el desafío WASM Render en unos dos días, gastando solo 36 dólares estadounidenses en el uso del modelo, convirtiéndose en el primer sistema de IA del mundo en presentar un resultado para este desafío. Los registros de pruebas del equipo muestran que aprobó 2,017/2,019 pruebas de la suite Khronos CTS (99.90%), incluidas todas las pruebas de conformidad de WebGL2.0: 1,184/1,184.
Del código local a un sistema completo: ¿dónde está la dificultad?
WASM Render es un desafío de sistemas gráficos de Terminal-Bench Challenges: ejecutar programas WebGL sin navegador, GPU ni bibliotecas externas de ejecución.
Esto equivale a implementar por software una cadena de procesamiento gráfico: interpretar programas de sombreado, calcular los gráficos y mantener la coherencia de numerosas interfaces y cambios de estado. Que una función aislada funcione todavía está lejos de que todo el sistema trabaje de forma conjunta. La tarea exige que la IA mantenga el rumbo hacia el objetivo durante múltiples rondas de desarrollo, gestione las dependencias entre módulos, corrija los errores a partir de los resultados de las pruebas y, finalmente, complete la integración del sistema y la validación de regresiones.
Según los resultados publicados por el equipo de Terminal-Bench de una prueba inicial de 12 horas, Devin, el producto de desarrollo de software con IA de Cognition, combinado con Fable 5, alcanzó una tasa de aprobación del 20.5% en las pruebas de conformidad de WebGL2.0, más exigentes. Tras unos dos días de desarrollo, Genesis elevó al 100% la tasa de aprobación de las pruebas de conformidad de WebGL2.0 que ejecutó.
Resultados de las pruebas de conformidad de WebGL2.0 y registros de pruebas de Khronos CTS de Genesis.
El repositorio público de resultados de Genesis contiene aproximadamente 130,000 líneas de código, que abarcan un compilador del lenguaje de sombreado GLSL, interfaces WebGL y gestión de estados, rasterización por software y presentación de imágenes. Estas implementaciones en TypeScript se convierten durante la compilación en un renderizador JavaScript que conecta el procesamiento del lenguaje, el cálculo gráfico y el comportamiento de las interfaces.
El proceso de desarrollo terminó aprobando 2,017 pruebas de Khronos CTS, con un costo de tokens del modelo de unos 36 dólares estadounidenses y una tasa de aciertos de caché de aproximadamente el 98%. Sostener e integrar un proyecto de ingeniería de software de tan gran envergadura con un costo reducido de uso del modelo también demuestra la capacidad de Genesis para llevar a cabo desarrollos de larga duración con modelos de código abierto económicos.
Que el proyecto siga evolucionando y los agentes participen cuando sea necesario
Genesis es un sistema de IA recursivo para la evolución del software. Los usuarios describen un objetivo de desarrollo de software y el sistema despliega tareas en torno a él, asigna agentes locales allí donde se necesita trabajar y conserva el código aceptado y los resultados de validación en el proyecto de software.
Ante proyectos grandes, una opción intuitiva es dar más recursos a los agentes: contextos más largos, sesiones más persistentes y una colaboración predefinida más elaborada. Genesis sitúa la continuidad del desarrollo en el propio proyecto de software. Los objetivos y las restricciones de nivel superior orientan todo el desarrollo, mientras las tareas se despliegan de forma recursiva siguiendo la estructura del repositorio. Los agentes se encargan del trabajo local y se retiran al terminar; los siguientes agentes continúan a partir del proyecto que ya se ha formado.
Anteriormente, Genesis partió de un repositorio vacío, construyó un compilador de C con aproximadamente 250,000 líneas de código y llevó a cabo la continuación del desarrollo entre distintos modelos. Los resultados de las pruebas de WASM Render validan aún más las capacidades de construcción e integración autónomas de Genesis en el desarrollo de sistemas gráficos complejos.
Código abierto y comunidad
El equipo de EvoX seguirá desarrollando sistemas de IA recursivos para la evolución del software y promoviendo la acumulación de código, resultados de validación y experiencia de desarrollo en la comunidad de código abierto. Invitamos a más desarrolladores a participar en una evolución sostenible del software y a construir juntos un ecosistema abierto de desarrollo de software.
🔗 Repositorio de Genesis: https://github.com/EMI-Group/genesis
📄 Artículo de Genesis: https://arxiv.org/abs/2608.10450
✅ Repositorio de resultados del desafío: https://github.com/BillHuang2001/tbench-wasm
🔼 Proyecto de origen (EvoX): https://github.com/EMI-Group/evox
🌐 Grupo de QQ: 297969717