文档首页/ AI开发平台ModelArts/ 故障排除/ 训练作业/ 业务代码问题/ 日志提示“pandas.errors.ParserError: Error tokenizing data. C error: Expected .* fields”
更新时间:2024-08-21 GMT+08:00
分享

日志提示“pandas.errors.ParserError: Error tokenizing data. C error: Expected .* fields”

问题现象

使用pandas读取csv数据表时,日志报出如下错误导致训练作业失败:
pandas.errors.ParserError: Error tokenizing data. C error: Expected 4 field

原因分析

csv中文件的每一行的列数不相等。

处理方法

可以使用以下方法处理:

  • 校验csv文件,将多出字段的行删除。
  • 在代码中忽略错误行,参考如下:
    import pandas as pd
    pd.read_csv(filePath,error_bad_lines=False)

建议与总结

在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。

相关文档