適應既可以發生在解的層面，也可以發生在系統尋找解的方式上。MetaDE 透過兩個相互連線的演化層次，將這一思路帶入 EvoX：內層解決目標問題，外層評價哪些 DE 配置能夠讓搜尋更有效。 MetaDE
背景
在演化計算領域，演算法的效能往往受到超參數選擇的顯著影響。確定特定問題的最合適參數設定一直是一個長期的研究挑戰。差分演化（DE）作為一種經典的演化演算法，因其簡單性和強大的全域搜尋能力而廣受青睞；然而，其效能對超參數的選擇高度敏感。傳統方法通常依賴基於經驗的調整或自適應機制來提升效能。然而，面對多樣化的問題場景，這些方法往往難以在效率和廣泛適用性之間取得平衡。
「元演化」（Meta-Evolution）的概念早在上個世紀就已提出，旨在利用演化演算法本身來最佳化這些演算法的超參數配置。雖然元演化已存在多年，但其實際應用一直受到高運算需求的限制。近年來 GPU 運算的進步緩解了這些限制，為演化演算法提供了強大的硬體支援。特別是分散式 GPU 加速 EvoX 框架的推出，極大地促進了基於 GPU 的演化演算法的發展。在此背景下，我們的研究團隊提出了一種新穎的元演化方法，利用 DE 來演化其自身的超參數和策略，從而為解決演化演算法中長期存在的參數調整問題提供了一條新途徑。
什麼是元演化？
元演化的核心思想可以概括為「利用演化演算法來演化其自身」（Evolving an Evolutionary Algorithm by an Evolutionary Algorithm）。這個概念超越了傳統的演化計算方法，不僅利用演化演算法來搜尋問題的最佳解，還通過其自身的演化過程來調整演算法的超參數和策略。
換句話說，元演化引入了一種「自我演化」範式，使演算法在探索問題解的搜尋空間時能夠自我最佳化。通過在演化過程中不斷自我完善，演算法變得更具適應性，並能在各種問題場景中保持高效率。
以 MetaDE 為例，其設計植根於這一理念。在雙層結構中，下層（「執行者」，executor）使用參數化的 DE 解決給定的最佳化問題。上層（「演化者」，evolver）同時使用 DE 來最佳化執行者的超參數配置。這個框架讓 DE 不僅作為求解器，還能「探索」如何最好地調整自身的參數和策略，以更有效地解決不同問題。這樣過程類似於一個系統逐步理解和完善自身——從**「被動解決問題」轉變為「主動自我演化」**。因此，它可以更好地適應多樣化的任務。如果我們將 DE 視為一個複雜系統，MetaDE 實際上在這個系統內實現了一種「遞迴」式的自我理解和自我改進。
電腦科學中的「遞迴」（recursion）一詞通常描述一個呼叫自身的函數或過程。在 MetaDE 中，這個概念有了新的含義：它是一種內部遞迴的最佳化機制，利用 DE 來演化 DE 的超參數。這種自我參照方案不僅體現了強大的適應性，也為「沒有免費午餐」定理提供了一個新穎的視角。因為對於所有問題來說，不存在單一、通用的最佳參數集，允許演算法自主演化是找到特定任務最佳參數配置的關鍵。
通過這種遞迴元演化方法，MetaDE 實現了多項優勢：
1. 自動化參數調整
消除了勞力密集的依賴人工調整過程。演算法自身學習如何調整其超參數，減少了人為干預並提高了效率。
2. 增強的適應性
MetaDE 能動態回應不斷變化的問題特徵和條件，即時修改策略以提升效能。這顯著增加了演算法的靈活性。
3. 高效搜尋 利用內在的平行性，MetaDE 大幅加速了大規模最佳化問題的搜尋。它能在合理的時間範圍內為高維度、複雜問題提供可行的解決方案。
演算法實作
MetaDE 採用基於張量的技術和 GPU 加速來實現高效的平行運算。通過同時處理族群中的許多個體，整體運算效率顯著提高，使其在單目標黑盒最佳化和大規模最佳化問題中特別具優勢。通過對關鍵參數和資料結構（例如族群、適應度、策略參數）進行張量化，MetaDE 不僅實現了更高的運算效率，還增強了解決複雜最佳化挑戰的能力。與經典 DE 和其他演化演算法（EAs）相比，MetaDE 在解決大規模問題時表現出卓越的效能。歸功於基於張量的方法，MetaDE 能更有效地利用運算資源，產生比傳統方法更快的解決方案和更精確的最佳化結果。
PDE 架構
研究團隊首先提出了一個參數化的 DE 演算法框架（PDE），完全支援參數和策略的修改。在這個框架中，F 和 CR 是連續參數，而其他參數是離散的。虛線框表示允許的參數值範圍。突變函數源自左側和右側的基向量，以及控制差分向量數量的參數。
MetaDE 架構
MetaDE 採用雙層結構，包含一個演化者（上層）和多個執行者（下層）。演化者是一個 DE（或可能是其他演化演算法），負責最佳化 PDE 的參數。演化者族群中的每個個體 x_i 對應一個唯一的參數配置 θ_i。這些配置被傳遞給 PDE 以實例化不同的 DE 變體，每個變體由一個執行者管理，並在給定的最佳化任務上獨立運行。每個執行者將其最佳適應度值 y^* 返回給演化者，演化者將該適應度值 y_i 分配給相應的個體 x_i。
實驗效能
為了全面評估 MetaDE 的有效性，研究團隊進行了涵蓋多個基準測試和現實世界場景的系統性實驗。每個實驗使用一個演化者（採用 rand/1/bin 策略的 DE）和執行者（族群大小為 100 的 PDE）。關鍵實驗部分包括：
CEC2022 基準測試
在單目標最佳化任務中將 MetaDE 與各種 DE 變體進行比較。
與 CEC2022 前四名演算法的比較
在相同的函數評估次數（FEs）預算下，評估 MetaDE 與 CEC2022 競賽中表現最好的四種演算法的效能。
固定實際執行時間下的函數評估次數（FEs）
分析 MetaDE 在 GPU 加速下的運算效率。
機器人控制任務
將 MetaDE 應用於 Brax 平台環境中的機器人控制任務，以驗證其實際效用。
CEC2022 基準測試：與主流 DE 變體的比較
團隊在 CEC2022 基準測試套件上將 MetaDE 與幾種具代表性的 DE 變體進行了比較，包括：
- 標準 DE (rand/1/bin)
- SaDE 和 JaDE (自適應 DE 演算法)
- CoDE (策略整合 DE)
- SHADE 和 LSHADE-RSP (基於成功歷史的自適應 DE)
- EDEV (整合 DE 變體)
所有演算法均在 EvoX 平台上實作，利用 GPU 加速，族群大小為 100 以確保公平性。實驗在不同維度（10D 和 20D）下進行，並受到相同的運算時間限制（60 秒）。
10D CEC2022 最佳化結果
20D CEC2022 最佳化結果
MetaDE 在大多數測試函數上通常能實現更快速且穩定的收斂。其參數化 DE（PDE）結合上層最佳化，使其能夠動態適應不同的問題空間，從而提高整體的穩健性和搜尋效能。
與 CEC2022 前四名演算法的比較（在相同 FEs 下）
為了進一步評估 MetaDE 的最佳化能力，我們在相同的函數評估預算內，將其與 CEC2022 競賽的前四名演算法進行了比較：
- EA4eig：一種整合多種 EA 的混合方法
- NL-SHADE-LBC：一種改進的自適應 DE
- NL-SHADE-RSP-MID：一種帶有中點估計的增強型 SHADE
- S-LSHADE-DP：一種通過動態擾動維持族群多樣性的 DE 變體
這些演算法均使用其官方參數設定和原始碼在相同的 FE 限制下運行。我們在 CEC2022 測試套件上對 MetaDE 和每個基準演算法進行了統計比較（Wilcoxon 秩和檢定，顯著水準 0.05）。
表格的最後一行顯示了每種演算法在不同測試函數上與 MetaDE 相比的表現：+（顯著較好），≈（無顯著差異），和 −（顯著較差）。
10D CEC2022 競賽演算法比較（相同 FEs）
20D CEC2022 競賽演算法比較（相同 FEs）
MetaDE 持續展現出強大的效能，特別是在需要穩健收斂的複雜問題上。歸功於其自適應機制，MetaDE 能針對不同的搜尋地貌有效地調整其策略，從而提高搜尋效率和全域最佳化能力。這些結果表明，MetaDE 不僅優於主流 DE 變體，而且與頂級競賽演算法相比也表現出強大的競爭力。
運算效率：固定時間（60 秒）內的 FEs
研究團隊進一步記錄了不同演算法在相同固定執行時間（60 秒）內完成的函數評估次數（FEs）。
各演算法在 60 秒內達到的 FEs
在相同的 EvoX 框架下，利用 GPU 加速平行運算，MetaDE 平均達到了 10⁹ 等級的 FEs，而傳統 DE 變體僅達到約 10^6 FEs。這一優勢源於 MetaDE 的參數化方法，該方法對個體進行大規模平行評估，實現了更高效的硬體資源利用。因此，該演算法能在相同的時間視窗內探索更多解，同時提高了解的品質和穩定性。
演化強化學習：機器人控制任務
MetaDE 的機器人控制實驗對神經網路策略引數進行無梯度搜尋，這一路線不透過策略目標反向傳播。演化強化學習是更廣泛的方法家族，也包含梯度學習與混合方法，不能概括為普遍消除了 PPO 或 SAC 面臨的學習困難。
實驗使用 Brax 的 Swimmer、Hopper 和 Reacher，以約 1,500 個引數的三層 MLP 表示策略。內層搜尋最佳化策略權重，外層搜尋調整 DE 執行器的引數與策略。這裡驗證的是模擬控制任務，不能據此宣稱已完成真實機器人部署，或普遍改善了強化學習訓練穩定性。
三個 Brax 環境的收斂曲線
如圖所示，MetaDE 在基於 Brax 的機器人控制任務中表現出強大的效能，在 Swimmer 任務上取得了最佳結果，在 Hopper 和 Reacher 上也取得了接近最佳的結果。其主要優勢在於初始族群的高品質，能夠實現快速的早期收斂並產生高品質的解。這些發現表明 MetaDE 可以高效地最佳化神經網路策略，使其非常適合具有複雜物理模擬的機器人控制任務，並具有廣泛的實際應用潛力。
結論與未來方向
同時核算兩層搜尋：記錄外層設定嘗試次數與內層目標評估次數。比較方法時，結合總預算與實際耗時。 iStratDE：以種群多樣性組織並行搜尋