Научный и инженерный поиск постоянно решает, какой эксперимент провести следующим. EvoGO изучает вычислительную версию вопроса: могут ли оценки научить генератор улучшать предложения? Так направление эволюционного ИИ в EvoX связывается с поиском, который учится на уже проверенных кандидатах. EvoGO
Затруднение: Оптимизация на основе данных все еще не сделала последний шаг
В последние годы методы эволюционной оптимизации на основе данных развивались быстрыми темпами. Методы с использованием суррогатных моделей и методы на основе генеративных моделей уже подтолкнули эволюционную оптимизацию от поиска, управляемого фиксированными операторами, к поиску, управляемому обучением. Это означает, что модели обучения начали проникать на несколько этапов конвейера, включая оценку, моделирование и даже генерацию.
Однако эта трансформация все еще не завершена. Существующие методы, возможно, научились «оценивать» или «генерировать» на разных уровнях, но они еще не научились по-настоящему «оптимизировать». С одной стороны, получение следующего поколения потенциальных решений по-прежнему часто зависит от эвристических правил координации, созданных вручную. С другой стороны, цель генерации и цель оптимизации часто недостаточно согласованы. В то же время крайне ограниченные онлайн-выборки, доступные при оптимизации методом черного ящика, еще не были систематически преобразованы в обучаемый и переносимый опыт оптимизации.
Таким образом, сегодня на самом деле не хватает не дополнительных моделей как таковых, а последнего шага: позволить алгоритмам оптимизации напрямую изучать процесс перехода от худших решений к лучшим на основе исторических данных. Именно этот шаг и стремится сделать EvoGO.
Прорыв: Как EvoGO переписывает конвейер оптимизации
Для решения вышеуказанных проблем EvoGO не продолжает идти по традиционному пути улучшения локальных операторов, таких как скрещивание и мутация. Вместо этого он пытается переписать конвейер оптимизации на более целостном уровне. Его основная идея заключается в том, чтобы изъять процесс «как генерировать следующее поколение потенциальных решений» из написанных вручную правил и передать его генеративному механизму на основе данных для обучения. В частности, EvoGO организует весь процесс оптимизации в три объединенных этапа — подготовка данных, обучение модели и генерация популяции — так что организация опыта, направленное обучение и обновление популяции больше не фрагментированы, а интегрированы в единый цикл оптимизации.
На этапе подготовки данных EvoGO сначала отбирает высококачественные выборки из исторических популяций, чтобы создать более надежную основу для обучения. Когда выборок мало, также может использоваться обученная аугментация для смягчения нехватки данных. Что еще более важно, выборки дополнительно делятся на лучшие и худшие решения и организуются в парные отношения. В результате модель изучает уже не просто статическое распределение потенциальных решений, а скорее направленную связь перехода от худших решений к лучшим.
На этапе обучения модели EvoGO использует парную структуру, состоящую из суррогатной модели, прямого генератора и псевдообратного генератора. Суррогатная модель обеспечивает приблизительную характеристику ландшафта целевой функции; прямой генератор изучает отображение от худших решений к лучшим; а псевдообратный генератор поддерживает стабильность обучения с помощью ограничения согласованности реконструкции. В отличие от общих задач генерации, цель обучения здесь состоит не только в том, чтобы соответствовать распределению данных, но и в том, чтобы процесс генерации двигался в сторону лучших областей под руководством ландшафта целевой функции.
На этапе генерации популяции обученная генеративная модель напрямую воздействует на текущую популяцию для параллельного создания нового поколения потенциальных решений. Затем эти решения оцениваются реальной целевой функцией, и состояние популяции обновляется соответствующим образом перед переходом к следующей итерации. В этот момент способ выполнения обновлений популяции фундаментально меняется. Традиционная эволюционная оптимизация в основном полагается на заданные вручную правила скрещивания, мутации и отбора для постепенного исследования пространства поиска, тогда как EvoGO превращает этот процесс в механизм параллельного обновления, управляемый историческими данными и реализуемый генеративной моделью.
Параллелизм EvoGO работает на двух уровнях. С одной стороны, популяция может быть представлена в тензорном виде, что позволяет параллельно выполнять генерацию и оценку особей на GPU. С другой стороны, EvoGO также может одновременно запускать несколько генеративных моделей на одном GPU, обеспечивая параллельную оптимизацию для разных случайных начальных чисел (seeds) или разных экземпляров проблемы. Таким образом, его возможности параллелизма существуют как внутри популяций, так и между несколькими популяциями.
С этой точки зрения, ключевой вклад EvoGO заключается не просто во внедрении генеративной модели, а в объединении организации выборок, согласования целей и обновления популяции в рамках единой методологической структуры. Традиционная эволюционная оптимизация делает упор на поиск, управляемый заранее написанными правилами, тогда как EvoGO идет на шаг дальше, пытаясь позволить системе изучать сам процесс поиска непосредственно из исторических данных.
Валидация: Оценка производительности и анализ механизмов
Чтобы строго оценить эффективность этой новой парадигмы, полностью основанной на данных, в статье основное внимание уделяется трем ключевым вопросам: Достаточно ли мощен и эффективен EvoGO? Какие ключевые конструктивные решения лежат в основе его успеха? Какое интеллектуальное поведение поиска он демонстрирует?
1. Сравнение производительности: «Сходимость за 10 поколений» лидирует в бенчмарках
В статье проводится систематическая оценка трех категорий задач — численной оптимизации, классическом управлении и многомерном управлении роботами — охватывающая 25 эталонных тестов с размерностью задач от 10 до 1000. EvoGO всесторонне сравнивается с байесовской оптимизацией, классическими эволюционными стратегиями, эвристическими методами и передовыми методами с использованием суррогатных моделей.
В целом, EvoGO демонстрирует явные преимущества в большинстве задач. Примечательно, что это преимущество не ограничивается задачами малой размерности или относительно регулярными проблемами. Напротив, по мере увеличения размерности проблемы и сложности задачи преимущество EvoGO часто становится более выраженным. В условиях малой размерности и небольшой выборки некоторые из сильнейших методов с использованием суррогатных моделей остаются весьма конкурентоспособными. Но как только задачи становятся многомерными, сложными и зависимыми от параллельных вычислений, генеративный механизм EvoGO способен раскрыться в полной мере, и в большинстве крупномасштабных задач он может сойтись примерно за 10 поколений. Это говорит о том, что ценность EvoGO заключается не в достижении локального превосходства в одном типе задач, а в том, что он лучше подходит для крупномасштабного использования опыта и параллельного поиска, требуемых сложной оптимизацией методом черного ящика.
Это особенно очевидно в многомерной среде управления роботами Hopper в Brax. При одинаковом бюджете вычислений функции и бюджете времени выполнения EvoGO значительно превосходит традиционные алгоритмы оптимизации, такие как CMA-ES и TPE, а также превосходит алгоритм обучения с подкреплением PPO, который требует онлайн-взаимодействия со средой. Что еще более важно, благодаря вычислительной мощности параллельных вычислений современного оборудования, такого как GPU, EvoGO может достичь высокого уровня вознаграждения примерно за 500 секунд. Когда CMA-ES наконец сходится к своему лучшему уровню производительности, фактическое астрономическое время, необходимое EvoGO для достижения той же производительности, оказывается намного короче — до 134 раз быстрее. Этот результат показывает, что преимущество EvoGO заключается не только в сокращении количества поколений, но и в том, что сам процесс поиска лучше согласован с параллельными вычислительными ресурсами, сжимая действия по оптимизации, которые в противном случае были бы распределены по многим поколениям, в процесс высокопроизводительного генеративного обновления.
2. Исследование абляции: Анализ ключей к успеху
Чтобы проверить необходимость основных компонентов в «полностью управляемом данными» дизайне EvoGO, исследовательская команда провела систематические исследования абляции, сосредоточенные на парной генеративной архитектуре, механизме суррогатного руководства и дизайне целей, ориентированном на оптимизацию. Были созданы пять вариантов: версия с одним генератором, версия без суррогатной модели, версия с состязательной целью, версия с суррогатной моделью MLP и версия с эвристическим руководством.
Экспериментальные результаты показывают, что парная генеративная архитектура, механизм суррогатного руководства и дизайн целей, ориентированный на оптимизацию, имеют решающее значение для эффективности EvoGO. Удаление псевдообратного генератора приводит к заметно худшей стабильности сходимости и снижению разнообразия популяции, что указывает на то, что парная структура, образованная прямой генерацией и обратными ограничениями, необходима для поддержания стабильности обучения и предотвращения коллапса мод. Удаление суррогатной модели или замена исходной цели оптимизации на общую состязательную цель также вызывает значительное снижение производительности, показывая, что суррогатное руководство и согласование целей занимают центральное место в преимуществе метода. Замена гауссовского процесса многослойным перцептроном или эвристическими правилами по-прежнему оставляет метод функциональным, но с небольшим общим снижением, что указывает на то, что EvoGO не зависит от конкретной суррогатной формы, хотя явное моделирование неопределенности более полезно для производительности. В целом, прирост производительности EvoGO происходит не от какого-либо отдельного модуля, а от синергии между парной генеративной архитектурой, механизмом суррогатного руководства и дизайном целей, ориентированным на оптимизацию.
3. Визуализация поведения: Раскрытие динамического процесса, управляемого данными
Для более интуитивного анализа динамики поиска EvoGO в статье представлен эксперимент по визуализации двумерной функции Экли (Ackley), при этом размер популяции установлен на 100. В частности, в разных эволюционных поколениях фиксируются результаты преобразования обученного прямого генератора над входными решениями — то есть отслеживается процесс отображения входных решений в выходные. На рисунке стрелки представляют векторы от входных решений к выходным, а их цвета соответствуют длине векторов. Звездочка отмечает глобальный оптимум, а пунктирные прямоугольники указывают области, покрываемые сгенерированными решениями в разных поколениях. Для ясности настройки перемещения и вращения ландшафта функции опущены в этой визуализации.
Результаты визуализации показывают, что EvoGO изучает не направленные случайные возмущения, а модель обновления, которая адаптируется к этапу поиска. На раннем этапе сгенерированные векторы, как правило, длиннее, что указывает на то, что алгоритм склоняется к глобальному исследованию большой амплитуды. По мере развития эволюции длины векторов постепенно уменьшаются, а генерируемые области продолжают сжиматься, показывая, что поиск смещается в сторону более точной локальной эксплуатации. В то же время векторы в целом собираются в сторону оптимальной области, что указывает на то, что прямой генератор уже извлек практически значимое направление поиска из исторических выборок. На поведенческом уровне это явление подтверждает центральное свойство EvoGO: он изучает не просто распределение потенциальных решений, а закон обновления, который перемещается от текущего состояния к лучшему состоянию.
От бенчмарков к научным процессам
Генеративный поиск можно исследовать в инженерном проектировании, но бенчмарки не доказывают точность проектирования профиля крыла или применение в авиации. Нужны определённые наборы данных, независимые тестовые случаи, проверка ограничений и независимая валидация симуляцией или экспериментом. Связанная статья EvoGO описывает численные задачи, управление и робототехнику; она не подтверждает процентные показатели аэродинамической эффективности.
Заключение и перспективы
Сохраните один бенчмарк и историю оценок. Сравнивайте обученные предложения с базой при равном бюджете, отдельно учитывая время обучения модели. EvoGM: автономное слияние больших моделей через популяционную эволюцию без переобучения
Ресурсы
Название и авторы исследования
