Обучение может завершиться ошибкой ещё до получения опыта или закончиться с журналом, скрывающим смысл измерений. Изменения main EvoRL от 8 ноября 2026 года касаются JAX и совместимости сред после октябрьских исправлений устройств и метрик. Тег исходников v0.2.0 сохраняет этот этап разработки для воспроизводимой проверки.
Концептуальная иллюстрация: согласованное обучение требует нескольких совместимых контрактов исполнения.
Градиентный путь зависит от версии JAX
Исправление совместимости расширяет локальный обход на JAX 0.12.0.1. В JAX 0.12.0 и 0.12.0.1 производные erf и erfc внутри shard_map могут не проходить VMA-проверки. Затронутый путь Tanh Normal использует альтернативный расчёт логарифма Normal CDF с разложением хвостов.
В непрерывном управлении распределение политики должно давать дифференцируемые вероятности для обновления параметров. Среда может успешно инициализироваться, но последующий градиент завершится ошибкой. Исправление ограничено указанными версиями; остальные сохраняют прежний путь. README тега рекомендует проверенную для этого состояния комбинацию JAX 0.11.0 и CUDA 13.
Явно задать предположения о среде и устройстве
Тот же коммит ограничивает зависимость до playground>=0.2.0,<1, сохраняя интерфейс JAX/MJX адаптера. Если обновление меняет интерфейс, основа эксперимента меняется даже при прежней конфигурации обучения.
Октябрьская работа также пересоздаёт захваченные значения массивов по умолчанию явным копированием, чтобы eager JAX соблюдал активную mesh. При отключённой нормализации наблюдений ARS использует обычный оценщик и не собирает отсутствующую статистику. Размещение и нормализация становятся проверяемыми контрактами. Исправление устройств и ARS
Популяция — не одна политика
Исправление метрик от 28 октября различает коллекции и индивидуальные результаты. pop_episode_returns и pop_episode_lengths сохраняют популяционную ось; индивидуальные и центральные политики используют единственное число там, где это уместно. Один learner ERL-EDA получает скалярные метрики, коллекции сохраняют массивы.
Повторное усреднение уже агрегированного поля или обращение с вектором как со скаляром может дать убедительный, но ошибочный график. Перед повторным использованием анализа проверьте имена и формы на границе журнала. Миграция должна сохранить нужные редукции по популяции, эпизодам и обучающимся агентам.
Воспроизвести малый запуск перед продолжением
Тег требует Python 3.12 или новее и JAX/jaxlib 0.10.0 или новее. Дистрибутив называется evorl-jax, импорт остаётся evorl. Для скриптов и конфигураций используйте тег и его инструкции. Базовый пример — python scripts/train.py agent=ppo env=brax/ant.
Перед сравнением кривых проверьте градиенты, размещение и формы метрик в небольшом запуске. Aim включён по умолчанию; дополнительные регистраторы требуют своих SDK. Сохраните среду, seed и бюджет. Введение в EvoRL описывает обучение и эволюцию, а эти изменения делают предположения отдельного эксперимента проверяемыми.