运行后报错torch.distributed.DistNetworkError: The server socket has failed to listen on any local network address.

[victorShawFan]

torch.distributed.DistNetworkError: The server socket has failed to listen on any local network address. 换master port没用，一样的报错

[qibin0506]

是端口被占用了吗？

[victorShawFan]

让gemini3flash修了下，总结了如下，不知道对不对，但是跑起来了：

Cortex 训练错误修复总结报告

一、 概览 (总)

本次修复工作主要解决了 smart_train train_dpo.py 在启动和运行过程中遇到的三大类问题：多机/多卡分布式启动冲突、代码初始化时序不当导致的配置失效、以及硬件显存不足（OOM）。通过对启动脚本、核心训练库以及项目配置文件的综合调整，成功实现了 DPO 训练任务在 8 卡 V100 环境下的平稳运行。

---

二、 问题分析与修复手段 (分)

1. 分布式启动与端口冲突问题

• 现象：最初运行时报错 torch.distributed.DistNetworkError: address already in use，显示默认端口 29500 或尝试更换的 29501 均被占用。
• 原因：DeepSpeed 默认启动器在某些环境下对 Master 地址和端口的管理不够灵活，或者由于环境残留进程导致端口无法监听。
• 修复手段：
  • 修改了 /root/miniconda3/envs/cortex/bin/smart_train 启动脚本。
  • 将启动命令从 deepspeed 切换为更鲁棒的 torchrun --standalone。这种方式能更好地自动分配地址和端口，并在单机多卡环境下避免复杂的 master 配置冲突。

2. 核心库初始化时序问题 (Lazy Initialization)

• 现象：即便使用了正确的启动器，环境变量（如 RANK, WORLD_SIZE）在分布式初始化时仍无法被正确识别。
• 原因：llm_trainer 库中的 TrainerTools 类在 __init__ 中过早地初始化了 parallel 对象（即调用了分布式初始化）。此时环境变量可能尚未完全由父进程传播给子进程，导致初始化失败。
• 修复手段：
  • 对 site-packages/llm_trainer/tools.py 进行了重构。
  • 引入了**延迟初始化（Lazy Initialization）**模式。将 parallel 和 tokenizer 修改为属性（property），只有在代码真正第一次访问它们时才触发分布式初始化。这确保了在初始化时环境变量已完全就绪。

3. 显存不足与环境配置优化 (OOM Fix)

• 现象：程序启动后进入训练循环前报 torch.OutOfMemoryError: CUDA out of memory。
• 原因：
  1. utils.py 中存在环境变量拼写错误（PYTORCH_CUDA_ALLOC_CONF 应为 PYTORCH_ALLOC_CONF）。
  2. DPO 阶段默认未开启显存卸载（Offload），且默认 Batch Size 较大，导致 32GB 显存溢出。
• 修复手段：
  • 纠正配置：在 utils.py 中将显存管理变量更正为 os.environ['PYTORCH_ALLOC_CONF']。
  • 开启卸载：在 DPO 训练配置中启用了 DeepSpeed Zero-3 的 offload_param 和 offload_optimizer，将部分权重和优化器状态移至 CPU。
  • 调整参数：将 get_dpo_config 中的 real_batch_size 从 2 降低到 1，以换取运行空间。

---

三、 总结 (总)

本次修复是一次从“启动工具 -> 底层库结构 -> 业务配置文件”的全链路排查过程。关键的修复点在于将 llm_trainer 的工具类改为延迟加载，这从根本上解决了分布式环境识别的稳定性问题。结合 torchrun 的引入和 DeepSpeed 显存优化技术的开启，目前 DPO 训练已能在当前硬件资源下稳定输出 Loss 指标。

所有的修改已实时应用在你的 cortex 虚拟环境和当前工作目录中。

[qibin0506]

torchrun --standalone会使用ddp而非deepspeed把

[victorShawFan]

确实，不过我试了光换master port是一样报错

[qibin0506]

可以先从deepspeed官方copy一个demo验证一下