全部文档
AI开发平台ModelArtsAI开发平台ModelArts
- 最新动态
- 功能总览
- 产品介绍
- 准备工作
- 快速入门
- 自动学习
- 开发工具
- 数据准备与分析
- 数据处理
- 数据标注
- 模型开发
- 模型封装
- 推理部署
- AI Gallery
- 最佳实践
-
AI工程师用户指南
- AI工程师如何使用ModelArts
- 免费体验ModelArts
- 数据管理（New）
- 数据管理（旧版即将下线）
- 开发环境（New）
- 开发环境（旧版即将下线）
- 训练管理（New）
- 训练管理（旧版即将下线）
- 模型管理（即将下线）
- 部署服务（即将下线）
- 资源池
- 使用自定义镜像
- 模型包规范（即将下线）
- 模型模板（即将下线）
- 自定义脚本代码示例
- 权限管理
- 监控
- 审计日志
- 建议反馈
- 将MLS业务迁移至ModelArts
- 修订记录
- 工具指南
- MoXing开发指南
- SDK参考
- API参考
-
常见问题
-
一般性问题
- 什么是ModelArts
- ModelArts与其他服务的关系
- ModelArts与DLS服务的区别？
- ModelArts与MLS服务的区别？
- 如何购买或开通ModelArts？
- 支持哪些型号的Ascend芯片？
- 如何获取访问密钥？
- 如何上传数据至OBS？
- 提示“上传的AK/SK不可用”，如何解决？
- 使用ModelArts时提示“权限不足”，如何解决？
- 如何用ModelArts训练基于结构化数据的模型？
- 什么是区域、可用区？
- 数据已上传OBS，使用ModelArts为什么无法找到对应的OBS桶？
- 在ModelArts中如何查看OBS目录下的所有文件？
- ModelArts数据集保存到容器的哪里？
- ModelArts支持哪些AI框架？
- ModelArts训练和推理分别对应哪些功能？
- MindSpore相关问题如何解决？
- 如何查看帐号ID和IAM用户ID
- ModelArts AI识别可以单独针对一个标签识别吗?
- 计费相关
- 自动学习
- 数据管理
- Notebook
- 训练作业
- 模型管理
- 部署上线
- 资源池
- AI Gallery
- API/SDK
- 修订记录
-
一般性问题
-
故障排除
- 自动学习
- 开发环境
-
训练作业
-
OBS操作相关故障
- 读取文件报错，如何正确读取文件？
- TensorFlow-1.8作业连接OBS时反复出现提示错误
- TensorFlow在OBS写入TensorBoard到达5GB时停止
- 保存模型时出现Unable to connect to endpoint错误
- 训练作业日志中提示“No such file or directory”，如何解决？
- OBS拷贝过程中提示“BrokenPipeError: Broken pipe”
- 日志提示“ValueError: Invalid endpoint: obs.xxxx.com”
- 日志提示“errorMessage:The specified bucket does not exist”
-
云上迁移适配故障
- 无法导入模块
- 训练作业日志中提示“No module named .*”
- 如何安装第三方包，安装报错的处理方法
- 下载代码目录失败
- 训练作业日志中提示“No such file or directory”
- 训练过程中无法找到so文件
- 无法解析参数，日志报错
- 训练输出路径被其他作业使用
- 使用自定义镜像创建训练作业，找不到启动文件
- Pytorch1.0引擎提示“RuntimeError: std::exception”
- MindSpore日志提示“ retCode=0x91, [the model stream execute failed]”
- 使用moxing适配OBS路径，pandas读取文件报错
- 日志提示“Please upgrade numpy to >= xxx to use this pandas version”
- 重装的包与镜像装CUDA版本不匹配
- 创建训练作业提示错误码ModelArts.2763
- 内存限制故障
- 外网访问限制
- 权限问题
- GPU相关问题
-
业务代码问题
- 日志提示“pandas.errors.ParserError: Error tokenizing data. C error: Expected .* fields”
- 日志提示“max_pool2d_with_indices_out_cuda_frame failed with error code 0”
- 训练作业失败，返回错误码139
- 训练作业失败，如何使用云上环境调试训练代码？
- 日志提示“ '(slice(0, 13184, None), slice(None, None, None))' is an invalid key”
- 日志报错“DataFrame.dtypes for data must be int, float or bool”
- 日志提示“CUDNN_STATUS_NOT_SUPPORTED. ”
- 日志提示“Out of bounds nanosecond timestamp”
- 日志提示“Unexpected keyword argument passed to optimizer”
- 日志提示“no socket interface found”
- 分布式Tensorflow无法使用“tf.variable”
- MXNet创建kvstore时程序被阻塞，无报错
- 日志出现ECC错误，导致训练作业失败
- 超过最大递归深度导致训练作业失败
- 使用预置算法训练时，训练失败，报“bndbox”错误
- 训练作业状态显示“审核作业初始化”
- 训练作业进程异常退出
- 训练作业进程被kill
-
OBS操作相关故障
- 模型管理
- MoXing
- 修订记录
- 视频帮助
- 文档下载
更新时间：2021-03-18 GMT+08:00
链接复制成功！
准备数据
使用ModelArts自动学习构建模型时，您需要将数据上传至对象存储服务（OBS）中。OBS桶需要与ModelArts在同一区域。
数据上传至OBS
由于OBS管理控制台使用限制较多，因此本次操作将使用OBS客户端上传数据。OBS创建桶以及上传文件的更多操作方式及指导，请参见创建桶和上传对象。
执行如下操作，将数据导入到您的数据集中，以便用于模型训练和构建。
OBS上传文件规范
- 如不需要提前上传训练数据，请创建一个空文件夹用于存放工程后期生成的文件。
- 如需要提前上传待标注的文件，请创建一个空文件夹，然后将文本文件保存在该文件夹下，文本文件的目录结构如：“/bucketName/data/text.csv”。
- 标签名是由中文、大小写字母、数字、中划线或下划线组成，且不超过32位的字符串。
- 如您将已标注好的文本文件上传至OBS桶，请按照如下规范上传。
- 要求将标注对象和标注文件存储在同一目录，并且一一对应，如标注对象文件名为“COMMENTS_20180919_114745.txt”，那么标注文件名为“COMMENTS _20180919_114745_result.txt”。
数据文件存储示例：
├─<dataset-import-path> │ COMMENTS_20180919_114732.txt │ COMMENTS _20180919_114732_result.txt │ COMMENTS _20180919_114745.txt │ COMMENTS _20180919_114745_result.txt │ COMMENTS _20180919_114945.txt │ COMMENTS _20180919_114945_result.txt - 文本分类的标注对象和标注文件均为文本文件，并且以行数进行对应，如标注文件中的第一行表示的是标注对象文件中的第一行的标注。
例如，标注对象“COMMENTS_20180919_114745.txt”的内容如下所示。
手感很好，反应速度很快，不知道以后怎样 三个月前买了一个用的非常好果断把旧手机替换下来尤其在待机方面秒杀 没充一会电源怎么也会发热呢音量健不好用回弹不好 算是给自己的父亲节礼物吧物流很快下单不到24小时就到货了耳机更赞有些低音炮的感觉入耳很紧不会掉棒棒哒
标注文件“COMMENTS_20180919_114745_result.txt”的内容。
positive negative negative positive
- 要求将标注对象和标注文件存储在同一目录，并且一一对应，如标注对象文件名为“COMMENTS_20180919_114745.txt”，那么标注文件名为“COMMENTS _20180919_114745_result.txt”。
父主题： 文本分类
