Большая популяция нейросетей обычно требует хранить больше копий весов. Изменения EvoX от 7–8 июля 2026 года предлагают другой путь: VirtualES сохраняет общий центр параметров и случайное зерно каждого кандидата, восстанавливая различия при оценке. Это позволяет заново поставить вопрос: сколько разнообразия поиска поместится в памяти до того, как её займут параметры?
Концептуальная иллюстрация: один общий центр, множество восстанавливаемых кандидатов.
Хранить рецепт кандидата
Для P кандидатов с D параметрами явное хранение растёт как P × D. Представление через центр и зёрна использует примерно D + P элементов. Это сравнение относится к параметрам популяции; активации, состояние оптимизатора и буферы оценки также занимают память. Реализация VirtualES
VirtualES передаёт (center, seeds, sigma) рабочему процессу. VirtualProblem оценивает слои объединённой операцией Triton, совмещающей базовое линейное вычисление с возмущениями весов и смещений из зёрен. Приспособленность направляет следующее обновление центра. Полные гауссовские возмущения заменяют прежнюю низкоранговую формулировку LoRA. Реализация оценки
Сохранять отдельную обратную связь для каждого кандидата
Начните с сети nn.Sequential, содержащей линейные слои и документированные активации. Установите для функции потерь reduction='none', чтобы VirtualProblem агрегировал потери каждого кандидата отдельно. Скалярная потеря распространилась бы на всю популяцию, стирая различия. Этот небольшой выбор интерфейса влияет на сам поиск.
Виртуальный путь пропускает распределённую оценку и преобразования решений; VirtualProblem также не поддерживает HPO-обёртку. Проверьте эти ограничения до переноса эксперимента. Интеграция рабочего процесса
Измерить возможности нового представления
На поддерживаемой сети меняйте размер популяции, записывая пиковую память, время оценки и приспособленность при фиксированном бюджете оценок. Это отделит экономию хранения от затрат на восстановление шума и обработку активаций. Июльские изменения включают исправление компиляции Triton для вспомогательной функции шума.
Структура экспериментов EvoX описана в руководстве по началу работы. VirtualES позволяет проверить конкретный вопрос: как большая популяция изменит эксперимент, если хранение весов всех кандидатов больше не является исходным условием?