장기간에 걸친 작업을 꾸준히 추진하고 최종적으로 완전한 엔지니어링 프로젝트를 납품할 수 있는지가 AI의 능력을 평가하는 중요한 지표로 자리 잡고 있습니다. Terminal-Bench는 AI Agent 분야의 대표적인 벤치마크 중 하나로, 터미널 환경의 프로그래밍 및 명령줄 작업에 초점을 맞춥니다. Terminal-Bench Challenges는 평가 범위를 완전한 소프트웨어 프로젝트를 처음부터 구축하는 작업으로 확장했으며, 공식 추정에 따르면 챌린지당 비용은 미화 1,000달러를 초과합니다.
EvoX 팀이 개발한 재귀적 소프트웨어 진화 AI 시스템 EvoX Genesis는 이번에 DeepSeek V4 Flash 모델을 사용해 약 이틀, 단 미화 36달러의 모델 이용료로 WASM Render 챌린지를 완료했으며, 이 챌린지의 결과물을 제출한 세계 최초의 AI 시스템이 되었습니다. 팀의 테스트 기록에 따르면 Khronos CTS 테스트 모음에서 2,017/2,019개(99.90%)를 통과했으며, WebGL2.0 적합성 테스트는 1,184/1,184개 모두 통과했습니다.
개별 코드에서 완전한 시스템으로, 무엇이 어려울까요?
WASM Render는 Terminal-Bench Challenges에 포함된 그래픽 시스템 챌린지입니다. 브라우저, GPU, 외부 런타임 라이브러리 없이 WebGL 프로그램을 실행해야 합니다.
이는 그래픽 파이프라인을 소프트웨어로 구현하는 것과 같습니다. 셰이더 프로그램을 해석하고, 그래픽을 계산하며, 수많은 인터페이스와 상태 변화의 일관성을 유지해야 합니다. 개별 기능이 동작하는 것과 전체 시스템이 함께 동작하는 것 사이에는 큰 간극이 있습니다. 이 작업을 수행하려면 AI는 여러 차례의 개발 과정에서 목표를 일관되게 유지하고, 모듈 간 의존성을 처리하며, 테스트 피드백을 바탕으로 오류를 수정하고, 최종적으로 시스템 통합과 회귀 검증을 완료해야 합니다.
Terminal-Bench 팀이 공개한 초기 12시간 시험 결과에 따르면, Cognition의 AI 소프트웨어 개발 제품 Devin은 Fable 5와 함께 더 어려운 WebGL2.0 적합성 테스트에서 20.5%의 통과율을 기록했습니다. Genesis는 약 이틀의 개발 끝에 실행한 WebGL2.0 적합성 테스트의 통과율을 100%로 끌어올렸습니다.
WebGL2.0 적합성 테스트 결과와 Genesis의 Khronos CTS 테스트 기록.
Genesis의 공개 결과물 저장소에는 약 13만 줄의 코드가 포함되어 있으며, GLSL 셰이더 언어 컴파일러, WebGL 인터페이스 및 상태 관리, 소프트웨어 래스터화, 이미지 표시 등의 모듈을 다룹니다. 이러한 TypeScript 구현은 빌드를 거쳐 JavaScript 렌더러가 되며, 언어 처리와 그래픽 계산, 인터페이스 동작을 하나로 연결합니다.
이번 개발은 최종적으로 Khronos CTS 테스트 2,017개를 통과했으며, 모델 token 이용료는 약 미화 36달러, 캐시 적중률은 약 98%였습니다. 낮은 모델 비용으로 이처럼 대규모의 소프트웨어 개발을 지속하고 통합까지 마쳤다는 점은 Genesis가 경제적인 오픈소스 모델을 활용해 장기간의 개발을 수행할 수 있음을 보여줍니다.
프로젝트는 계속 진화하고, Agent는 필요할 때 참여합니다
Genesis는 재귀적 소프트웨어 진화 AI 시스템입니다. 사용자가 소프트웨어 개발 목표를 설명하면, 시스템은 그 목표를 중심으로 작업을 펼치고 필요한 곳에 국소 작업을 담당할 Agent를 배치하며, 채택된 코드와 검증 결과를 소프트웨어 프로젝트에 남깁니다.
대규모 프로젝트에 대응하는 직관적인 방법 중 하나는 Agent에 더 많은 자원을 제공하는 것입니다. 더 긴 컨텍스트, 더 오래 유지되는 세션, 더 복잡하게 미리 정의된 협업 방식 등이 여기에 해당합니다. Genesis는 개발의 연속성을 소프트웨어 프로젝트 자체에 둡니다. 최상위 목표와 제약이 개발 전반을 이끌며, 작업은 저장소 구조를 따라 재귀적으로 펼쳐집니다. Agent는 국소 작업을 처리하고 완료되면 종료하며, 후속 Agent는 그때까지 형성된 프로젝트를 이어받습니다.
앞서 Genesis는 빈 저장소에서 출발해 약 25만 줄의 코드로 이루어진 C 컴파일러를 구축하고, 모델을 바꾸면서 개발을 이어갔습니다. 이번 WASM Render 챌린지의 테스트 결과는 복잡한 그래픽 시스템 개발에서 Genesis가 갖춘 자율적 구축 및 통합 능력을 한층 더 입증합니다.
오픈소스와 커뮤니티
EvoX 팀은 재귀적 소프트웨어 진화 AI 시스템을 지속적으로 발전시키며, 코드와 검증 결과, 개발 경험이 오픈소스 커뮤니티에 축적되도록 노력할 것입니다. 더 많은 개발자가 지속 가능한 소프트웨어 진화에 참여해 개방적인 소프트웨어 개발 생태계를 함께 만들어 가기를 바랍니다.
🔗 Genesis 저장소: https://github.com/EMI-Group/genesis
📄 Genesis 논문: https://arxiv.org/abs/2608.10450
✅ 챌린지 결과물 저장소: https://github.com/BillHuang2001/tbench-wasm
🔼 업스트림 프로젝트(EvoX): https://github.com/EMI-Group/evox
🌐 QQ 그룹: 297969717