多节点训练TensorFlow框架ps节点作为server会一直挂着,ModelArts是怎么判定训练任务结束?如何知道是哪个节点是worker呢?
TensorFlow框架分布式训练的情况下,会启动ps与worker任务组,worker任务组为关键任务组,会以worker任务组的进程退出码,判断训练作业是否结束。
通过task name判断的哪个节点是worker。下发的训练作业是一个volcano job,里边会有两个task:一个是ps、一个是worker。两个task的启动命令不同,会自动生成超参--task_name,ps的--task_name=ps,worker的 --task_name=worker。
功能咨询 所有常见问题
- 是否支持图像分割任务的训练?
- 本地导入的算法有哪些格式要求?
- 欠拟合的解决方法有哪些?
- 旧版训练迁移至新版训练需要注意哪些问题?
- ModelArts训练好后的模型如何获取?
- AI引擎Scikit_Learn0.18.1的运行环境怎么设置?
- TPE算法优化的超参数必须是分类特征(categorical features)吗
- 模型可视化作业中各参数的意义?
- 如何在ModelArts上获得RANK_TABLE_FILE进行分布式训练?
- 如何查询自定义镜像的cuda和cudnn版本?
- Moxing安装文件如何获取?
- 如何使用soft NMS方法降低目标框堆叠度
- 多节点训练TensorFlow框架ps节点作为server会一直挂着,ModelArts是怎么判定训练任务结束?如何知道是哪个节点是worker呢?
- 训练作业的自定义镜像如何安装Moxing?
- 子用户使用专属资源池创建训练作业无法选择已有的SFS Turbo
more