Работа с несколькими GPU и распределенные вычисления

EvoX имеет экспериментальную поддержку распределенных рабочих процессов, что позволяет запускать любые стандартные эволюционные алгоритмы на нескольких GPU или даже на нескольких машинах. Это может значительно ускорить процесс оптимизации, особенно для задач, требующих больших временных затрат.

Как использовать

Для использования распределенного рабочего процесса необходимо выполнить несколько настроек:

Убедитесь, что вы вручную зафиксировали seed генератора случайных чисел.

torch.manual_seed(seed)
# Optional: set the seed for numpy
np.random.seed(seed)
# Optional: use deterministic algorithms
torch.use_deterministic_algorithms(True)

Важно: Обязательно установите seed для всех генераторов случайных чисел перед любыми операциями torch или numpy. Это гарантирует, что генератор случайных чисел находится в известном состоянии до начала выполнения операций.

Используйте команду torch.distributed или torchrun для запуска вашего скрипта. Например:

torchrun
    --standalone
    --nnodes=1
    --nproc-per-node=$NUM_GPUS
    your_program.py (--arg1 ... train script args...)

Совет: torchrun — это рекомендуемый способ запуска распределенных программ torch. Для получения дополнительной информации см. документацию PyTorch.