長期にわたるタスクを継続して進め、最終的に完全なエンジニアリングプロジェクトを納品できるかどうかが、AI の能力を測る重要な指標になりつつあります。Terminal-Bench は AI Agent 分野を代表するベンチマークの一つで、ターミナル環境でのプログラミングやコマンドラインのタスクを対象としています。Terminal-Bench Challenges は評価対象をさらに広げ、完全なソフトウェアプロジェクトをゼロから構築する課題を設けています。公式の推定では、チャレンジ 1 件あたりの費用は 1,000 米ドルを超えます。
EvoX チームが開発した再帰的にソフトウェアを進化させる AI システム EvoX Genesis は、今回 DeepSeek V4 Flash モデルを使用し、約 2 日、わずか 36 米ドルのモデル利用料で WASM Render チャレンジを完了し、このチャレンジの成果を提出した世界初の AI システムとなりました。 チームのテスト記録では、Khronos CTS スイートの 2,017/2,019 件（99.90%）に合格し、WebGL2.0 適合性テストは 1,184/1,184 件すべてに合格しています。
個別のコードから完全なシステムへ、何が難しいのか？
WASM Render は Terminal-Bench Challenges に含まれるグラフィックスシステムの課題です。ブラウザー、GPU、外部ランタイムライブラリを使わずに WebGL プログラムを動作させることが求められます。
これは、グラフィックスパイプラインをソフトウェアで実装することに相当します。シェーダープログラムを解釈し、グラフィックスを計算し、多数のインターフェースと状態変化の整合性を保たなければなりません。個別の機能が動くことと、システム全体が連携して動くことの間には、大きな隔たりがあります。この課題では、AI が何度も開発を重ねながら目標との整合性を維持し、モジュール間の依存関係を扱い、テストのフィードバックに基づいて誤りを修正し、最終的にシステム統合と回帰検証を完了する必要があります。
Terminal-Bench チームが公表した初期の 12 時間試行の結果によると、Cognition の AI ソフトウェア開発製品 Devin と Fable 5 の組み合わせは、より難度の高い WebGL2.0 適合性テストで 20.5% の合格率を達成しました。Genesis は約 2 日の開発後、実行した WebGL2.0 適合性テストの合格率を 100% に引き上げました。
WebGL2.0 適合性テストの結果と Genesis の Khronos CTS テスト記録。
Genesis の公開成果リポジトリには約 13 万行のコードが含まれています。GLSL シェーダー言語コンパイラ、WebGL インターフェースと状態管理、ソフトウェアラスタライズ、画像表示などのモジュールを網羅しています。これらの TypeScript 実装はビルドによって JavaScript レンダラーとなり、言語処理、グラフィックス計算、インターフェースの動作を結び付けています。
今回の開発では最終的に 2,017 件の Khronos CTS テストに合格し、モデルの token 利用料は約 36 米ドル、キャッシュヒット率は約 98% でした。これほど大規模なソフトウェア開発を低いモデル利用コストで継続し、統合まで進めたことは、Genesis が低コストのオープンソースモデルを用いて長期的な開発を遂行できることも示しています。
プロジェクトを継続的に進化させ、Agent は必要に応じて参加する
Genesis は、ソフトウェアを再帰的に進化させる AI システムです。ユーザーがソフトウェア開発の目標を記述すると、システムはその目標を中心にタスクを展開し、必要な箇所に局所的な Agent を割り当て、採用されたコードと検証結果をソフトウェアプロジェクトに残します。
大規模なプロジェクトに取り組む際、直感的な方法の一つは Agent により多くを与えることです。コンテキストを長くし、セッションを長く維持し、事前に定めた協調の仕組みをより複雑にする、といった方法です。Genesis は開発の連続性をソフトウェアプロジェクト自体に持たせます。最上位の目標と制約が開発全体を導き、タスクはリポジトリ構造に沿って再帰的に展開されます。Agent は局所的な作業を担当し、完了すると終了します。後続の Agent は、それまでに形作られたプロジェクトを引き継ぎます。
Genesis は以前にも、空のリポジトリから出発して約 25 万行のコードからなる C コンパイラを構築し、モデルを切り替えながら開発を継続しました。今回の WASM Render チャレンジのテスト結果は、複雑なグラフィックスシステムの開発における Genesis の自律的な構築・統合能力をさらに裏付けるものです。
オープンソースとコミュニティ
EvoX チームは、ソフトウェアを再帰的に進化させる AI システムの開発を今後も深め、コード、検証結果、開発経験をオープンソースコミュニティに蓄積していきます。より多くの開発者が持続可能なソフトウェアの進化に参加し、オープンなソフトウェア開発エコシステムを共に築いていくことを目指しています。
🔗 Genesis リポジトリ：https://github.com/EMI-Group/genesis
📄 Genesis 論文：https://arxiv.org/abs/2608.10450
✅ チャレンジ成果リポジトリ：https://github.com/BillHuang2001/tbench-wasm
🔼 上流プロジェクト（EvoX）：https://github.com/EMI-Group/evox
🌐 QQ グループ：297969717