Команда EvoX использовала Genesis для завершения и отправки челленджа WASM Render из Terminal-Bench Challenges; зафиксированная стоимость моделей для этого прогона составила 36 долларов.
На момент публикации Genesis, возможно, является первой автономной системой, публично сообщившей о завершении и отправке результата Terminal-Bench Challenge.
WASM Render: полноценный стек WebGL с нуля
WASM Render требует реализовать чисто программный (JavaScript/WASM) растеризатор, предоставляющий проектам Node.js API WebGL 1.0 и 2.0. Целевая среда не может полагаться на браузер, GPU, нативные привязки C++ или внешние библиотеки.
Согласно спецификации челленджа, решение должно охватывать компилятор GLSL, растеризацию треугольников и всю поверхность API WebGL. Terminal-Bench определяет объём проверки как 2 071 тест Khronos CTS вместе с наборами визуальных регрессионных тестов для three.js и Babylon.js. Здесь описывается цель приёмки челленджа; это не означает, что отправленная работа Genesis уже прошла официальную оценку Terminal-Bench.
Многие бенчмарки для кодинг-агентов оценивают одиночное исправление ошибки или локальную функциональность. WASM Render устроен иначе: работа охватывает множество взаимозависимых модулей, и вся кодовая база должна оставаться согласованной на протяжении непрерывной реализации, интеграции и валидации.
Задачи такого рода обнажают ключевые проблемы долгосрочной разработки: согласуются ли локальные изменения с общей архитектурой, корректно ли последующая работа наследует ранние решения и могут ли результаты валидации служить надёжной опорой для следующего этапа. Terminal-Bench Challenges расширяет единицу оценки до полного программного проекта, чтобы наблюдать именно эти способности.
Как Genesis поддерживает долгосрочную разработку
Genesis не полагается на одного постоянно существующего агента или бесконечно растущий контекст, чтобы хранить всё состояние разработки. Сам программный проект образует постоянный «мир»: принятая версия программного обеспечения фиксирует текущие факты, а пути в репозитории определяют, где находится агент и за что он отвечает.
Агенты с ограниченным временем жизни рекурсивно разворачиваются вокруг структуры репозитория. В ограниченных рамках они реализуют, проверяют и валидируют предлагаемые изменения. Результаты работы агентов сначала являются предложениями; в историю проекта попадают лишь принятый код и свидетельства валидации, которые наследуют последующие агенты.
Для системного проекта вроде WASM Render это позволяет каждому агенту решать чёткую ограниченную локальную задачу, тогда как компилятор, конвейер рендеринга, управление состоянием и работа над совместимостью продолжают развиваться в рамках единой истории кода и валидации.
Genesis завершил челлендж WASM Render всего за 36 долларов — значительно ниже заявленного Terminal-Bench ожидания более 1 000 долларов на челлендж.
Наши внутренние неформальные тесты также показывают, что Genesis эффективно работает с кодовыми базами объёмом около 100 000 строк. С кодовыми базами в миллион строк и более опыта у нас сравнительно меньше, однако до сих пор наши попытки проходили гладко.
🌐 Сайт проекта:
🔗 GitHub:
https://github.com/EMI-Group/genesis
🌐 QQ-группа: 297969717
