更新时间:2023-09-20 GMT+08:00

普通日志说明

普通日志中包含训练进程日志、pip-requirement.txt安装日志和ModelArts平台日志。

普通日志类型

表1 普通日志类型

日志类型

说明

训练进程日志

用户训练代码的标准输出。

pip-requirement.txt安装日志

如果用户有定义pip-requirement.txt文件,会产生pip包安装日志。

ModelArts平台日志

ModelArts平台产生的系统日志,主要用于运维人员定位平台问题。

普通日志的文件格式

普通日志的文件格式如下,其中task id为训练作业中的节点id。

统一日志格式:modelarts-job-[job id]-[task id].log
样例:log/modelarts-job-95f661bd-1527-41b8-971c-eca55e513254-worker-0.log
  • 单机训练作业只会生成一个日志文件,单机作业的task id默认为worker-0。
  • 分布式场景下有多个节点日志文件并存,通过task id区分不同节点,例如:worker-0,worker-1等。

训练进程日志、pip-requirement.txt安装日志和ModelArts平台日志都包含在普通日志文件modelarts-job-[job id]-[task id].log中

ModelArts平台日志

ModelArts平台日志可以通过关键字在训练的普通日志文件modelarts-job-[job id]-[task id].log中筛查,筛查关键字有:[ModelArts Service Log]或Platform=ModelArts-Service。

  • 类型一:[ModelArts Service Log] xxx
    [ModelArts Service Log][init] download code_url: s3://dgg-test-user/snt9-test-cases/mindspore/lenet/
  • 类型二:time=“xxx” level=“xxx” msg=“xxx” file=“xxx” Command=xxx Component=xxx Platform=xxx
    time="2021-07-26T19:24:11+08:00" level=info msg="start the periodic upload task, upload period = 5 seconds " file="upload.go:46" Command=obs/upload Component=ma-training-toolkit Platform=ModelArts-Service