과학과 공학의 탐색은 다음에 어떤 실험을 할지 반복해서 결정합니다. EvoGO는 이 질문을 계산적으로 다룹니다. 평가 결과가 생성기에게 더 나은 제안을 가르칠 수 있을까요? 이는 EvoX의 진화형 AI를 이미 시험한 후보에서 배우는 탐색 과정으로 연결합니다. EvoGO
당면 과제: 데이터 구동형 최적화는 아직 마지막 단계를 내딛지 못했습니다
최근 데이터 구동형 진화 최적화 방법은 빠르게 발전했습니다. 대리 모델 지원 방법과 생성 모델 기반 방법은 이미 진화 최적화를 고정 연산자 구동 탐색에서 학습 구동 탐색으로 밀어 올렸습니다. 이는 학습 모델이 평가, 모델링 및 생성까지 포함하여 파이프라인의 여러 단계에 진입하기 시작했음을 의미합니다.
그러나 이 변환은 아직 불완전합니다. 기존 방법은 다양한 수준에서 “평가”하거나 “생성”하는 방법은 학습했을 수 있지만, 진정으로 “최적화”하는 방법은 학습하지 못했습니다. 한편으로 다음 세대의 후보 솔루션 생성은 여전히 조정을 위해 수동으로 설계된 휴리스틱 규칙에 의존하는 경우가 많습니다. 다른 한편으로 생성 목표와 최적화 목표가 충분히 일치하지 않는 경우가 많습니다. 동시에 블랙박스 최적화에서 얻을 수 있는 매우 제한된 온라인 샘플은 학습 가능하고 전이 가능한 최적화 경험으로 아직 체계적으로 변환되지 않았습니다.
따라서 오늘날 진정으로 누락된 것은 더 많은 모델 그 자체가 아니라, 최적화 알고리즘이 과거 데이터로부터 더 나쁜 솔루션에서 더 나은 솔루션으로 나아가는 과정을 직접 학습할 수 있도록 하는 마지막 단계입니다. 이것이 바로 EvoGO가 추진하고자 하는 단계입니다.
돌파구: EvoGO가 최적화 파이프라인을 다시 쓰는 방법
위의 문제를 해결하기 위해 EvoGO는 교차 및 변이와 같은 국부적 연산자를 개선하는 전통적인 방식을 따르지 않습니다. 대신 보다 전체적인 수준에서 최적화 파이프라인을 다시 작성하려고 시도합니다. 핵심 아이디어는 “다음 세대의 후보 솔루션을 어떻게 생성할 것인가”라는 과정을 수동으로 작성된 규칙에서 제거하고 데이터 구동형 생성 메커니즘에 넘겨 학습하게 하는 것입니다. 구체적으로, EvoGO는 경험 구성, 방향성 학습 및 개체군 업데이트가 더 이상 파편화되지 않고 단일 최적화 루프로 통합되도록 전체 최적화 과정을 데이터 준비, 모델 훈련 및 개체군 생성의 세 가지 통합된 단계로 구성합니다.
데이터 준비 단계에서 EvoGO는 먼저 과거 개체군에서 고품질 샘플을 필터링하여 보다 신뢰할 수 있는 훈련 기반을 구축합니다. 샘플이 부족할 때 학습된 증강(learned augmentation)을 사용하여 데이터 부족을 완화할 수도 있습니다. 더 중요한 것은 샘플이 우수한 솔루션과 열등한 솔루션으로 더 나뉘고 쌍을 이루는 관계로 구성된다는 것입니다. 결과적으로 모델이 학습하는 것은 더 이상 후보 솔루션의 정적인 분포가 아니라 열등한 솔루션에서 우수한 솔루션으로 나아가는 방향성 관계입니다.
모델 훈련 단계에서 EvoGO는 대리 모델(surrogate model), 순방향 생성기(forward generator) 및 유사 역방향 생성기(pseudo-inverse generator)로 구성된 쌍을 이루는 구조를 채택합니다. 대리 모델은 목적 함수 지형에 대한 근사적 특성을 제공하고, 순방향 생성기는 열등한 솔루션에서 우수한 솔루션으로의 매핑을 학습하며, 유사 역방향 생성기는 재구성 일관성 제약을 통해 훈련 안정성을 유지합니다. 일반적인 생성 작업과 달리 여기서의 훈련 목표는 단순히 데이터 분포에 맞추는 것이 아니라 생성 과정이 목적 함수 지형의 안내에 따라 더 나은 영역으로 이동하도록 보장하는 것입니다.
개체군 생성 단계에서는 훈련된 생성 모델이 현재 개체군에 직접 작용하여 병렬로 새로운 세대의 후보 솔루션을 생성합니다. 그런 다음 이러한 솔루션은 실제 목적 함수에 의해 평가되고, 다음 반복으로 들어가기 전에 그에 따라 개체군 상태가 업데이트됩니다. 이 시점에서 개체군 업데이트가 수행되는 방식은 근본적으로 변경됩니다. 기존 진화 최적화는 탐색 공간을 점진적으로 탐색하기 위해 수동으로 지정된 교차, 변이 및 선택 규칙에 주로 의존하는 반면, EvoGO는 이 과정을 과거 데이터에 의해 구동되고 생성 모델에 의해 구현되는 병렬 업데이트 메커니즘으로 전환합니다.
EvoGO의 병렬 처리는 두 가지 수준에서 작동합니다. 한편으로 개체군은 텐서화된 형태로 표현될 수 있어 GPU에서 개체의 생성과 평가를 병렬로 실행할 수 있습니다. 다른 한편으로 EvoGO는 단일 GPU에서 동시에 여러 생성 모델을 실행할 수 있어 서로 다른 무작위 시드나 서로 다른 문제 인스턴스에 걸쳐 병렬 최적화를 가능하게 합니다. 따라서 병렬 능력은 개체군 내부는 물론 여러 개체군에 걸쳐 모두 존재합니다.
이러한 관점에서 볼 때 EvoGO의 핵심 기여는 단순히 생성 모델을 도입한 것이 아니라, 단일 방법론적 프레임워크 내에서 샘플 구성, 목표 정렬 및 개체군 업데이트를 통합한 것입니다. 기존 진화 최적화가 미리 작성된 규칙에 의한 탐색을 강조하는 반면, EvoGO는 한 걸음 더 나아가 시스템이 과거 데이터로부터 탐색 과정 자체를 직접 학습하도록 시도합니다.
검증: 성능 및 메커니즘 분석
이 새로운 완전한 데이터 구동 패러다임의 효과를 엄격하게 평가하기 위해 논문은 세 가지 주요 질문에 중점을 둡니다. EvoGO가 충분히 강력하고 효율적인가? 성공의 이면에 있는 중요한 설계 선택은 무엇인가? 어떤 지능적인 탐색 동작을 보여주는가?
1. 성능 비교: 벤치마크를 선도하는 “10세대 수렴”
이 논문은 수치 최적화, 고전 제어, 고차원 로봇 제어의 세 가지 작업 범주에 대해 문제 차원이 10에서 1000에 이르는 25개의 벤치마크 테스트를 포괄하는 체계적인 평가를 수행합니다. EvoGO는 베이즈 최적화, 고전적 진화 전략, 휴리스틱 방법 및 고급 대리 모델 지원 방법과 포괄적으로 비교됩니다.
전반적으로 EvoGO는 대부분의 작업에서 명확한 이점을 보여줍니다. 특히 이러한 이점은 저차원이나 비교적 규칙적인 문제에 국한되지 않습니다. 반대로 문제 차원과 작업 복잡성이 증가함에 따라 EvoGO의 이점은 종종 더욱 두드러집니다. 저차원 및 소규모 샘플 조건에서는 가장 강력한 대리 모델 지원 방법 중 일부가 여전히 높은 경쟁력을 유지합니다. 그러나 문제가 고차원적이고 복잡해지며 병렬 계산에 의존하게 되면 EvoGO의 생성 메커니즘이 더 완전하게 펼쳐질 수 있으며, 대부분의 대규모 작업에서 대략 10세대 만에 수렴할 수 있습니다. 이는 EvoGO의 가치가 단일 유형의 문제에서 국부적인 우위를 달성하는 데 있는 것이 아니라, 복잡한 블랙박스 최적화에 필요한 대규모 경험 활용 및 병렬 탐색에 더 적합하다는 것을 시사합니다.
이는 Brax의 고차원 로봇 제어 환경 Hopper에서 특히 잘 나타납니다. 동일한 함수 평가 예산과 실행 시간 예산 하에서 EvoGO는 CMA-ES 및 TPE와 같은 기존 최적화 알고리즘을 크게 능가하며, 환경과의 온라인 상호 작용이 필요한 PPO 강화 학습 알고리즘도 능가합니다. 더 중요한 것은 GPU와 같은 최신 하드웨어의 병렬 컴퓨팅 성능 덕분에 EvoGO가 약 500초 만에 높은 보상 수준에 도달할 수 있다는 것입니다. CMA-ES가 마침내 최상의 성능 수준으로 수렴할 때, EvoGO가 동일한 성능에 도달하는 데 필요한 실제 소요 시간은 최대 134배 더 빠릅니다. 이 결과는 EvoGO의 장점이 단순히 세대 수를 줄이는 데 있는 것이 아니라, 탐색 과정 자체가 병렬 컴퓨팅 리소스와 더 잘 일치하여 그렇지 않으면 여러 세대에 분산되었을 최적화 작업을 처리량이 높은 생성 업데이트 과정으로 압축한다는 사실을 보여줍니다.
2. 절제 연구(Ablation Study): 성공의 열쇠 해부
EvoGO의 “완전한 데이터 구동형” 설계에서 핵심 구성 요소의 필요성을 검증하기 위해 연구팀은 쌍을 이루는 생성 아키텍처, 대리 모델 안내 메커니즘, 최적화 지향 목표 설계에 초점을 맞춘 체계적인 절제 연구를 수행했습니다. 5가지 변형이 구성되었습니다. 단일 생성기 버전, 대리 모델 없는 버전, 적대적 목표 버전, MLP 대리 모델 버전 및 휴리스틱 대리 모델 버전입니다.
실험 결과에 따르면 쌍을 이루는 생성 아키텍처, 대리 모델 안내 메커니즘, 최적화 지향 목표 설계가 모두 EvoGO의 효과에 매우 중요합니다. 유사 역방향 생성기를 제거하면 수렴 안정성이 눈에 띄게 악화되고 개체군 다양성이 감소합니다. 이는 순방향 생성과 역방향 제약에 의해 형성된 쌍을 이루는 구조가 훈련 안정성을 유지하고 모드 붕괴를 피하는 데 필요함을 나타냅니다. 대리 모델을 제거하거나 원래 최적화 목표를 일반적인 적대적 목표로 대체하는 것도 상당한 성능 저하를 유발하며, 이는 대리 모델의 안내와 목표 정렬이 이 방법의 이점에 중심이 됨을 보여줍니다. 가우스 프로세스를 다층 퍼셉트론(MLP)이나 휴리스틱 규칙으로 대체하면 메서드는 여전히 기능하지만 전반적으로 약간 저하됩니다. 이는 EvoGO가 명시적인 불확실성 모델링이 성능에 더 유리하긴 하지만 특정 대리 모델 형태에 의존하지 않음을 나타냅니다. 전반적으로 EvoGO의 성능 향상은 단일 모듈에서 오는 것이 아니라 쌍을 이루는 생성 아키텍처, 대리 모델 안내 메커니즘, 최적화 지향 목표 설계 간의 시너지 효과에서 비롯됩니다.
3. 동작 시각화: 데이터 구동형 동적 과정 공개
EvoGO의 탐색 역학을 보다 직관적으로 분석하기 위해 이 논문은 개체군 크기를 100으로 설정한 2차원 Ackley 함수에 대한 시각화 실험을 제시합니다. 구체적으로, 서로 다른 진화 세대에서 훈련된 순방향 생성기가 입력 솔루션을 변환한 결과, 즉 입력 솔루션에서 출력 솔루션으로의 매핑 과정을 추적합니다. 그림에서 화살표는 입력 솔루션에서 출력 솔루션으로의 벡터를 나타내며 색상은 벡터 길이에 해당합니다. 별은 전역 최적값을 표시하고 파선 상자는 서로 다른 세대에서 생성된 솔루션이 포함된 영역을 나타냅니다. 명확성을 위해 함수 지형의 평행 이동 및 회전 설정은 이 시각화에서 생략되었습니다.
시각화 결과는 EvoGO가 학습하는 것이 방향 없는 무작위 섭동이 아니라 탐색 단계에 적응하는 업데이트 패턴임을 보여줍니다. 초기 단계에서 생성된 벡터는 일반적으로 더 길며, 이는 알고리즘이 진폭이 큰 전역 탐색에 경향이 있음을 나타냅니다. 진화가 진행됨에 따라 벡터 길이는 점차 감소하고 생성된 영역은 계속 축소되어 탐색이 더 미세한 국부 탐색(exploitation)으로 이동함을 보여줍니다. 동시에 벡터는 전체적으로 최적의 영역을 향해 모여 순방향 생성기가 과거 샘플에서 실질적으로 의미 있는 탐색 방향을 이미 추출했음을 나타냅니다. 행동적 수준에서 이 현상은 EvoGO의 중심 속성을 뒷받침합니다. 단순히 후보 솔루션의 분포만 학습하는 것이 아니라 현재 상태에서 더 나은 상태로 이동하는 업데이트 법칙을 학습합니다.
벤치마크에서 과학 워크플로로
생성 탐색은 설계 응용 방향이지만 벤치마크만으로 익형 정확도나 항공기 적용을 입증하지 못합니다. 데이터셋, 독립 테스트, 제약 확인, 별도 시뮬레이션 또는 실험이 필요합니다. 연결된 논문은 수치·제어·로봇 벤치마크를 보고하므로 익형 설계의 정량적 성과를 뒷받침하지는 않습니다.
결론 및 전망
하나의 벤치마크와 평가 이력을 보관합니다. 같은 평가 예산에서 학습된 제안을 기준선과 비교하고 모델 훈련 시간은 별도로 기록합니다. EvoGM: 재훈련 없이 집단 진화로 대규모 모델 자율 병합
관련 자료
논문 제목 및 저자
