数据导入

对象存储导入数据

把原始数据上传至平台前，可将数据包上传至对象存储中，从对象存储导入平台。操作步骤如下：

1. 在左侧菜单栏中，单击“数据处理 > 数据批导”。
2. 选择“数据导入”页签，单击“导入”。
3. 选择“对象存储导入”页签，填写具体信息。

   选择目标数据包所在的对象存储路径，平台将自动扫描该目录下所有子目录。将此文件夹下的子目录都识别为有效数据包，可导入。上传数据前，请确保原始数据包含必要的有效文件，具体可参考上传数据格式。

   图1 对象存储导入
   

   表1 数据导入参数说明（含*为必填项）

   参数	说明
   对象存储访问密钥*（AK/SK）	包含访问密钥ID（AK）和私有访问密钥（SK）两部分，导入数据时，通过AK识别访问用户的身份，通过SK对请求数据进行签名验证，用于确保请求的机密性、完整性和请求者身份的正确性。如何获取访问密钥AK/SK？
   对象存储目录*	建议对象存储目录选择包含“Rosbag包和与数据包同名yaml”文件夹的上一级目录。
   数据包筛选*	数据包需包含符合平台要求的传感器数据文件。详细请参考上传数据格式。平台最多支持不超过10个有效数据包。

   

   • 对象存储访问密钥（AK/SK）需要具有OBS服务如下权限：

     obs:object:GetObject

     obs:object:PutObject

     obs:bucket:ListAllMyBuckets

     obs:bucket:ListBucket

     查看用户拥有的OBS服务权限，可参考如何查看用户拥有的权限？

4. 数据处理。

   可选择数据是否进行OpenData转换，并且选用相对应的数据服务算子（数据回放）以及资源规格。

   图2 数据处理
   
   

   • 如果yaml和算子中有相同的信息，算子上传后，会覆盖yaml中的信息。
   • 没有进行OpenData转换的数据，只能作为算子作业的输入使用。

5. 勾选“我已阅读并同意《八爪鱼自动驾驶云服务声明》”。
6. 单击“确认”，提交收集任务，界面跳转至数据导入列表。
7. 进入任务详情页。

   在数据导入列表，单击操作栏中的“详情”，进入到任务详情页。

8. 预览数据导入任务信息。
9. 查看任务状态。

   在任务列表，用户可通过查看任务所处状态了解任务当前进度。

   图3 任务状态
   

数据导入相关操作

在“数据导入”列表，还可以完成以下操作。