文档首页/
AI开发平台ModelArts/
故障排除/
训练作业/
业务代码问题/
日志提示“pandas.errors.ParserError: Error tokenizing data. C error: Expected .* fields”
更新时间:2024-08-21 GMT+08:00
日志提示“pandas.errors.ParserError: Error tokenizing data. C error: Expected .* fields”
问题现象
使用pandas读取csv数据表时,日志报出如下错误导致训练作业失败:
pandas.errors.ParserError: Error tokenizing data. C error: Expected 4 field
原因分析
csv中文件的每一行的列数不相等。
处理方法
可以使用以下方法处理:
- 校验csv文件,将多出字段的行删除。
- 在代码中忽略错误行,参考如下:
import pandas as pd pd.read_csv(filePath,error_bad_lines=False)
建议与总结
在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。
- 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。
- 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。
父主题: 业务代码问题