ニューラルネットワークの集団を大きくすると、通常は保存する重みのコピーも増えます。EvoX の2026年7月7〜8日の変更は別の方法を採ります。VirtualES は共有する中心パラメータと候補ごとの乱数シードを保存し、評価時に差分を再構成します。パラメータ保存でメモリを使い切る前に、どれほど多様な探索を扱えるでしょうか。
概念イラスト：一つの共有中心から複数の候補を再構成。
候補の生成方法を保存する
各 D パラメータの候補が P 個ある場合、明示的な保存量は P × D に比例します。中心とシードによる表現は約 D + P 要素です。これは集団のパラメータ表現の比較であり、活性値、最適化器の状態、評価バッファも総メモリ量に含まれます。VirtualES の実装
VirtualES は (center, seeds, sigma) をワークフローに渡します。VirtualProblem は融合 Triton 演算を使い、基礎の線形計算とシードからの重み・バイアス摂動を各層で評価します。適応度は中心の次の更新に使われます。以前の低ランク LoRA 方式に代わり、完全なガウス摂動を用います。評価の実装
候補ごとのフィードバックを保つ
出発点は、線形層と文書化された活性化関数を含む nn.Sequential です。損失関数を reduction='none' に設定すると、VirtualProblem が候補ごとに損失を集約できます。スカラー損失は集団全体に展開され、候補間の区別を失います。この小さなインターフェースの選択が探索に影響します。
仮想集団の経路では分散評価と解変換を省略し、VirtualProblem は HPO ラッパーにも対応しません。既存の実験を移す前に確認してください。ワークフローへの統合
新しい表現で可能になる実験を測る
対応するネットワークから始め、評価予算を固定して集団サイズを変え、ピークメモリ、評価時間、適応度を記録します。保存量の利点と、ノイズ再生成や活性値処理のコストを区別できます。7月の変更にはノイズ補助関数の Triton コンパイル修正 も含まれます。
EvoX の実験構造はクイックスタートで確認できます。候補すべての重み保存が前提でなくなったとき、大きな探索集団は実験をどう変えるでしょうか。VirtualES で検証できる具体的な問いです。