更新时间：2024-11-21 GMT+08:00
查看日志和性能
查看日志
若查看启动作业日志信息，可通过以下命令打印正在启动的日志信息。其中${pod_name}为pod信息中的NAME，例如vcjob-main-0。
kubectl logs -f ${pod_name}
训练过程中，训练日志会在最后的Rank节点打印。
图1 打印训练日志
训练完成后，如果需要单独获取训练日志文件，可以在${SAVE_PATH}/logs路径下获取。日志存放路径为：/home/ma-user/ws/saved_dir_for_ma_output/llama2-70b/logs
查看性能
训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。
- 吞吐量（tokens/s/p）：global batch size*seq_length/(总卡数*elapsed time per iteration)*1000，其global batch size（GBS）、seq_len（SEQ_LEN）为训练时设置的参数，具体参数查看表1。
- loss收敛情况：日志里存在lm loss参数 ，lm loss参数随着训练迭代周期持续性减小，并逐渐趋于稳定平缓。也可以使用可视化工具TrainingLogParser查看loss收敛情况，如图2所示。
单节点训练：训练过程中的loss直接打印在窗口上。
多节点训练：训练过程中的loss打印在最后一个节点上。
