신경망 집단이 커지면 보통 저장해야 할 가중치 사본도 늘어납니다. EvoX의 2026년 7월 7~8일 변경은 다른 경로를 택합니다. VirtualES는 공유 중심 파라미터 하나와 후보별 난수 시드를 저장하고 평가 중에 차이를 재구성합니다. 파라미터 저장이 메모리를 소진하기 전에 얼마나 다양한 탐색을 담을 수 있는지 다시 살펴볼 수 있습니다.
개념 일러스트: 하나의 공유 중심에서 여러 후보를 재구성합니다.
후보를 만드는 방법을 저장하기
각각 D개의 파라미터를 가진 후보가 P개라면 명시적인 저장량은 P × D에 비례합니다. 중심과 시드 표현은 약 D + P개의 항목을 사용합니다. 이는 집단 파라미터 표현의 비교이며 활성값, 옵티마이저 상태와 평가 버퍼도 총 메모리에 포함됩니다. VirtualES 구현
VirtualES는 (center, seeds, sigma)를 워크플로에 전달합니다. VirtualProblem은 기본 선형 계산과 시드 기반 가중치·편향 섭동을 결합한 융합 Triton 연산으로 각 층을 평가합니다. 적합도는 중심의 다음 갱신을 이끕니다. 이전 저랭크 LoRA 방식 대신 완전한 가우시안 섭동을 사용합니다. 평가 구현
후보마다 고유한 피드백 유지하기
선형층과 문서에 명시된 활성화 함수를 포함하는 nn.Sequential이 지원되는 출발점입니다. 손실 함수에 reduction='none'을 설정하면 VirtualProblem이 후보별 손실을 각각 집계합니다. 스칼라 손실은 전체 집단에 복제되어 후보 간 차이를 잃습니다. 이 작은 인터페이스 선택이 탐색 자체에 영향을 줍니다.
가상 경로는 분산 평가와 해 변환을 건너뛰며 VirtualProblem은 HPO 래퍼도 지원하지 않습니다. 기존 실험을 옮기기 전에 이 범위를 확인하세요. 워크플로 통합
표현 방식이 여는 실험 가능성 측정하기
지원되는 네트워크에서 시작해 평가 예산을 고정하고 집단 크기를 바꾸며 최대 메모리, 평가 시간과 적합도를 기록하세요. 저장의 이점과 노이즈 재생성·활성값 처리 비용을 구분할 수 있습니다. 7월 변경에는 노이즈 보조 함수의 Triton 컴파일 수정도 포함됩니다.
EvoX 실험 구조는 빠른 시작에서 확인할 수 있습니다. 모든 후보의 가중치 저장이 더 이상 전제가 아니라면, 더 큰 탐색 집단은 실험을 어떻게 바꿀까요? VirtualES로 검증할 수 있는 구체적인 질문입니다.