進化計算におけるコアアルゴリズムの一つである差分進化法（Differential Evolution: DE）は、その単純さと高い効率性から、ブラックボックス最適化問題に広く採用されています。しかしながら、その性能はハイパーパラメータや戦略の選択に大きく依存しており、これは研究者にとって長年の課題でした。この課題に対処するため、EvoXチームは最近、IEEE Transactions on Evolutionary Computation (IEEE TEVC) において「MetaDE: Evolving Differential Evolution by Differential Evolution（MetaDE: 差分進化法による差分進化法の進化）」と題する研究を発表しました。DEを活用して独自のハイパーパラメータと戦略を進化させるメタ進化手法として、MetaDEはパラメータと戦略の動的な調整を可能にすると同時に、GPU加速並列計算を取り入れています。この設計により、最適化性能とともに計算効率が大幅に向上します。実験結果は、MetaDEがCEC2022ベンチマークスイートおよびロボット制御タスクの両方において、卓越したパフォーマンスを発揮することを実証しています。MetaDEのソースコードはGitHub上の https://github.com/EMI-Group/metade でオープンソースとして公開されています。
背景
進化計算の分野において、アルゴリズムの性能はハイパーパラメータの選択に大きく影響されることがよくあります。特定の問題に対して最適なパラメータ設定を決定することは、長年の研究課題でした。差分進化法（DE）は、古典的な進化アルゴリズムとして、その単純さと堅牢な大域的探索能力により広く支持されています。それにもかかわらず、その性能はハイパーパラメータの選択に非常に敏感です。従来の手法は通常、性能を向上させるために経験に基づく調整か、適応メカニズムのいずれかに依存しています。しかし、多様な問題シナリオに直面した場合、これらのアプローチは効率と広範な適用性のバランスを取るのに苦労することがよくあります。
「メタ進化（Meta-Evolution）」の概念は前世紀には既に導入されており、進化アルゴリズム自体を使用して、それらのアルゴリズムのハイパーパラメータ構成を最適化することを目指していました。メタ進化は長年存在していましたが、その実用化は高い計算要求によって制約されていました。近年のGPUコンピューティングの進歩によりこれらの制約が緩和され、進化アルゴリズムに対する強力なハードウェアサポートが提供されるようになりました。特に、分散GPU加速EvoXフレームワークの導入は、GPUベースの進化アルゴリズムの開発を大きく促進しました。このような背景の中、私たちの研究チームは、DEを活用して独自のハイパーパラメータと戦略を進化させる新しいメタ進化アプローチを提案し、進化アルゴリズムにおける長年のパラメータ調整問題を解決する新たな道を提供しました。
メタ進化とは何か？
メタ進化の核心となるアイデアは、「進化アルゴリズムを用いて自分自身を進化させる」（Evolving an Evolutionary Algorithm by an Evolutionary Algorithm）と要約できます。この概念は、進化アルゴリズムを用いて問題の最適解を探索するだけでなく、独自の進化プロセスを通じてアルゴリズムのハイパーパラメータや戦略をも適応させることで、従来の進化計算手法を超越しています。
言い換えれば、メタ進化は「自己進化」パラダイムを導入し、アルゴリズムが問題解決のための探索空間を探索しながら、自分自身を最適化することを可能にします。進化の過程で継続的に自身を洗練させることで、アルゴリズムはより適応的になり、様々な問題シナリオにおいて高い効率を維持できるようになります。
MetaDEを例にとると、その設計はこの哲学に基づいています。2層構造において、下層（「executor（実行者）」）はパラメータ化されたDEを使用して与えられた最適化問題を解きます。上層（「evolver（進化者）」）は同時にDEを使用してexecutorのハイパーパラメータ構成を最適化します。このフレームワークにより、DEはソルバーとして機能するだけでなく、異なる問題をより効果的に解決するために自身のパラメータや戦略をどのように調整するのが最善かを「探索」することもできます。このようなプロセスは、システムが段階的に自身を理解し洗練させていくことに似ており、**「受動的に問題を解く」ことから「能動的に自己進化する」**ことへの変革です。その結果、多様なタスクにより良く適応できるようになります。DEを複雑なシステムと見なすならば、MetaDEはこのシステム内での自己理解と自己改善の「再帰的」な方法を効果的に可能にします。
コンピュータサイエンスにおける「再帰（recursion）」という用語は、通常、自分自身を呼び出す関数や手続きを表します。MetaDEにおいて、この概念は新しい意味を持ちます。それは、DEを用いてDEのハイパーパラメータを進化させる内部再帰的な最適化メカニズムです。この自己言及的なスキームは、強力な適応性を具現化するだけでなく、「ノーフリーランチ」定理に対する新しい視点も提供します。すべての問題に対して普遍的に最適な単一のパラメータセットは存在しないため、アルゴリズムが自律的に自身を進化させることを可能にすることが、与えられたタスクに対して最適なパラメータ構成を見つける鍵となります。
この再帰的なメタ進化アプローチを通じて、MetaDEはいくつかの利点を実現しています：
1. 自動パラメータ調整
労力を要する手動調整プロセスが排除されます。アルゴリズム自体がハイパーパラメータの調整方法を学習するため、人間の介入が減り、効率が向上します。2. 適応性の向上
MetaDEは変化する問題の特性や条件に動的に反応し、リアルタイムで戦略を変更してパフォーマンスを向上させます。これにより、アルゴリズムの柔軟性が大幅に高まります。3. 効率的な探索 固有の並列性を活用することで、MetaDEは大規模最適化問題における探索を大幅に加速させます。高次元で複雑な問題に対しても、妥当な時間枠内で実行可能な解を提供します。
アルゴリズムの実装
MetaDEは、テンソルベースの技術とGPUアクセラレーションを採用し、効率的な並列計算を可能にしています。多数の個体を同時に処理することで、全体的な計算効率が著しく向上し、特に単目的ブラックボックス最適化や大規模最適化問題において有利になります。主要なパラメータやデータ構造（例：個体群、適応度、戦略パラメータ）のテンソル化を通じて、MetaDEは高い計算効率を達成するだけでなく、複雑な最適化課題に取り組む能力も強化しています。古典的なDEや他の進化アルゴリズム（EAs）と比較して、MetaDEは大規模問題を解決する際に優れたパフォーマンスを示します。テンソルベースのアプローチにより、MetaDEは計算リソースをより効果的に活用し、従来の手法よりも高速な解とより精密な最適化結果をもたらします。
PDEアーキテクチャ
研究チームはまず、パラメータと戦略の変更を完全にサポートするパラメータ化されたDEアルゴリズムフレームワーク（PDE）を提案しました。このフレームワークでは、FとCRは連続パラメータであり、その他のパラメータは離散的です。破線のボックスは、許容されるパラメータ値の範囲を示しています。変異関数は、左右の基底ベクトルと、差分ベクトルの数を制御するパラメータから導出されます。
MetaDEアーキテクチャ
MetaDEは、evolver（上層）と複数のexecutor（下層）から構成される2層構造を採用しています。evolverはDE（または潜在的に他の進化アルゴリズム）であり、PDEのパラメータを最適化する責任を負います。evolverの個体群内の各個体
x_i は、一意のパラメータ構成 θ_i に対応します。これらの構成はPDEに渡され、異なるDEバリアントをインスタンス化します。各バリアントは、与えられた最適化タスク上で独立して実行されるexecutorによって管理されます。各executorは最良の適応度 y^* をevolverに返し、evolverはその適応度 y_i を対応する個体 x_i に割り当てます。
実験パフォーマンス
MetaDEの有効性を包括的に評価するために、研究チームは複数のベンチマークテストと実世界のシナリオにわたる体系的な実験を行いました。各実験では、evolver（rand/1/bin戦略を持つDE）とexecutor（個体群サイズ100のPDE）を使用しました。主な実験内容は以下の通りです：
CEC2022ベンチマーク
単目的最適化タスクにおいて、MetaDEを様々なDEバリアントと比較。
CEC2022の上位4アルゴリズムとの比較
同一の関数評価回数（FEs）予算の下で、CEC2022コンペティションで最も優れた成績を収めた4つのアルゴリズムとMetaDEを評価。
固定実時間（Wall-Clock Time）での関数評価回数（FEs）
GPUアクセラレーション下でのMetaDEの計算効率を分析。
ロボット制御タスク
MetaDEをBraxプラットフォーム環境のロボット制御タスクに適用し、その実用性を検証。
CEC2022ベンチマーク：主流DEバリアントとの比較
チームは、CEC2022ベンチマークスイートにおいて、MetaDEをいくつかの代表的なDEバリアントと比較しました。これには以下が含まれます：
- 標準DE (rand/1/bin)
- SaDE および JaDE (適応型DEアルゴリズム)
- CoDE (戦略統合型DE)
- SHADE および LSHADE-RSP (成功履歴に基づく適応型DE)
- EDEV (統合型DEバリアント)
すべてのアルゴリズムはEvoXプラットフォーム上で実装され、公平性を期すために個体群サイズ100でGPUアクセラレーションを利用しました。実験は、異なる次元数（10Dおよび20D）において、**同一の計算時間制約（60秒）**の下で実施されました。
10D CEC2022 最適化結果
20D CEC2022 最適化結果
MetaDEは一般的に、ほとんどのテスト関数において、より迅速かつ安定した収束を達成しています。パラメータ化されたDE（PDE）と上層の最適化を組み合わせることで、異なる問題空間への動的な適応が可能になり、全体的な堅牢性と探索性能が向上しています。
CEC2022の上位4アルゴリズムとの比較（同一FEs条件下）
MetaDEの最適化能力をさらに評価するために、同一の関数評価予算内で、CEC2022コンペティションの上位4アルゴリズムと比較しました：
- EA4eig: 複数のEAを統合したハイブリッド手法
- NL-SHADE-LBC: 改良された適応型DE
- NL-SHADE-RSP-MID: 中点推定を用いた強化版SHADE
- S-LSHADE-DP: 動的摂動により個体群の多様性を維持するDEバリアント
これらの各アルゴリズムは、同一のFE制約の下、公式のパラメータ設定とソースコードを使用して実行されました。MetaDEと各ベースラインとの間で、CEC2022テストスイートにおける統計的比較（ウィルコクソンの順位和検定、有意水準0.05）が行われました。表の最後の行は、異なるテスト関数におけるMetaDEと比較した各アルゴリズムのパフォーマンスを示しています：+（有意に優れている）、≈（有意差なし）、−（有意に劣っている）。
10D CEC2022 コンペティションアルゴリズムの比較（同一FEs）
20D CEC2022 コンペティションアルゴリズムの比較（同一FEs）
MetaDEは一貫して強力なパフォーマンスを示しており、特に堅牢な収束を必要とする複雑な問題において顕著です。その自己適応メカニズムにより、MetaDEは異なる探索ランドスケープに対して戦略を効果的に調整し、それによって探索効率と大域的最適化能力を向上させています。これらの結果は、MetaDEが主流のDEバリアントを凌駕するだけでなく、トップクラスのコンペティションアルゴリズムに対しても強力な競争力を発揮することを示しています。
計算効率：固定時間（60秒）内のFEs
研究チームはさらに、**同一の固定実行時間（60秒）内に異なるアルゴリズムによって完了された関数評価回数（FEs）**を記録しました。
60秒間に各アルゴリズムが達成したFEsGPU加速並列計算を備えた同一のEvoXフレームワークの下で、MetaDEは平均して10****⁹レベルのFEsを達成したのに対し、従来のDEバリアントは約10^6 FEsにとどまりました。この優位性は、個体の大規模並列評価を行い、より効率的なハードウェアリソース利用を可能にするMetaDEのパラメータ化されたアプローチに起因します。その結果、アルゴリズムは同じ時間枠内でより多くの解を探索し、解の品質と安定性の両方を向上させます。
進化強化学習：ロボット制御タスク
強化学習（RL）において、方策最適化の効率と安定性は極めて重要です。PPOやSACなどの勾配ベースの手法は、高次元環境において勾配消失や勾配爆発に苦しむ可能性があります。対照的に、進化強化学習（EvoRL）は、勾配フリー探索を使用して方策パラメータを直接最適化することで、これらの問題を回避します。
進化強化学習プロセス
EvoRLフレームワーク内で、MetaDEは以下のことを行います：
- ニューラルネットワークパラメータを自動的に最適化し、方策モデルの適応性を高める。
- ハイパーパラメータを動的に調整し、トレーニングの安定性を向上させる。
- GPUアクセラレーションを活用して、方策最適化を高速化する。
複雑な最適化タスクにおけるMetaDEのパフォーマンスを評価するために、BraxシミュレーションプラットフォームでのGPU加速最適化を使用したロボット制御問題に適用しました。この研究には、Swimmer、Hopper、Reacherの3つのタスクが含まれており、それぞれが報酬の最大化を目的とした3層全結合ニューラルネットワーク（MLP）によってモデル化されています。注目すべきは、各MLPが約1,500個のパラメータを含んでおり、進化アルゴリズム（EAs）にとって1,500次元の最適化課題となっている点です。これは、探索能力と計算効率の両方に厳しい要件を課します。
3つのBrax環境における収束曲線
図に示されるように、MetaDEはBraxベースのロボット制御タスクにおいて強力なパフォーマンスを示し、Swimmerタスクで最良の結果を、HopperとReacherで最適に近い結果を達成しました。その主な利点は初期個体群の質の高さにあり、初期段階での急速な収束と高品質な解の生成を可能にしています。これらの知見は、MetaDEがニューラルネットワーク方策を効率的に最適化できることを示唆しており、複雑な物理シミュレーションを伴うロボット制御タスクに適しており、実用的なアプリケーションに幅広い可能性を提供することを示しています。
結論と今後の方向性
MetaDEは、最適化タスクの解決に優れているだけでなく、独自の戦略を自律的に調整・洗練させる革新的なメタ進化アプローチです。差分進化法の強みを活かし、MetaDEは適応的なパラメータ構成と戦略進化において強力な可能性を示しています。実験結果は、一連のベンチマークテストにおいて優れた堅牢性を示しており、進化強化学習を通じたロボット制御タスクでの成功によって、その実世界での適用可能性が強調されています。中心的な課題は、汎化と特化の最適なバランスを維持すること、つまりアルゴリズムが多様なタスクに適応しつつ、特定の問題に対しても効果的に最適化できるようにすることです。この研究は、自己適応型進化アルゴリズムに対する新しい視点を提供し、複雑なシステムのためのメタ進化のさらなる進歩を促進する可能性があります。
オープンソースコードとコミュニティ
論文: https://arxiv.org/abs/2502.10470
GitHub: https://github.com/EMI-Group/metade
アップストリームプロジェクト (EvoX): https://github.com/EMI-Group/evox
QQグループ: 297969717
QQグループ | Evolving Machine Intelligence
MetaDEはEvoXフレームワーク上に構築されています。EvoXに興味がある方は、詳細についてEvoX 1.0の記事をご覧ください。
(https://mp.weixin.qq.com/s/uT6qSqiWiqevPRRTAVIusQ)