连接OBS 介绍 DIS可以向 对象存储服务 （Object Storage Service，简称OBS）上传数据。 前提条件 已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时，DIS会将通道数据周期性导入OBS。

查看更多 →

下载数据集到OBS 功能介绍 下载数据集到OBS桶中。 URI URI格式 POST /softcomai/datalake/v1.0/download/obs 参数说明 无。 请求 请求样例 POST https://endpoint/softcomai/datalake/v1

查看更多 →

下载数据集到OBS 功能介绍 下载数据集到OBS桶中。 URI URI格式 POST /softcomai/datalake/v1.0/download/obs 参数说明 无。 请求 请求样例 POST https://endpoint/softcomai/datalake/v1

查看更多 →

下载数据集到OBS 当用户订阅或申请订阅了数据集且该订阅申请已审批通过，用户可以手动将数据集下载到OBS。 已成功订阅的数据集在有效期内可以多次下载，无需再发起订阅流程。 数据集订阅成功后，数据集中数据有变化时详细介绍请参见数据服务首页介绍。 同租户下载到OBS不需要审批，跨租户

查看更多 →

如何上传基础数据至OBS 使用KG创建 知识图谱 时，首先需要将基础数据上传至华为云对象存储服务（OBS）桶中。您可以登录OBS管理控制台创建OBS桶，并在您创建的OBS桶中创建文件夹，创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。然后再进行数据的上传，OBS上传数据的详细操作请参见上传文件。

查看更多 →

ySQL数据，如果源表配置了索引，可调大抽取并发数提升迁移速率。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。针对文件到表类迁移的数据，建议配置写入脏数据。 作业运

查看更多 →

从OBS导入ORC、CARBONDATA数据 OBS上的数据准备 创建外部 服务器 创建外表 通过外表查询OBS上的数据 清除资源 支持的数据类型 父主题： 从OBS并行导入数据

查看更多 →

导出 CS V、TXT数据到OBS 规划导出数据 创建OBS外表 执行导出 示例 父主题： 导出数据到OBS

查看更多 →

HDFS数据迁移到OBS 操作场景 CDM 支持文件到文件类数据的迁移，本章节以 MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下： 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问 域名 、端口，以及AK、SK。

查看更多 →

查询项目OBS信息（数据准备） 功能介绍 查询OBS信息。 URI URI格式 GET /softcomai/datalake/collection/v1.0/task/progress/{progressId} 参数说明 参数名 是否必选 参数类型 备注 progressId 是

查看更多 →

获取治理数据的OBS信息 功能介绍 查询项目本次治理的OBS桶信息。 URI URI格式 GET /softcomai/datalake/dataplan/v1.0/tasks/getgorvnobs 参数说明 无。 请求 请求样例 GET https://ipaddr:port

查看更多 →

请求示例 从OBS导入元数据，元数据存储地址为devdata/unionsdk/schema.xml，元数据的名字为test_schema。 POST https://Endpoint/v2/{project_id}/graphs/metadata/upload-from-obs {

查看更多 →

metadataPath 是 String 元数据存储地址。 name 是 String 元数据的名字。 description 否 String 对元数据的描述。 encryption 否 EncryptionReq object 对元数据加密。 表4 EncryptionReq 参数

查看更多 →

ySQL数据，如果源表配置了索引，可调大抽取并发数提升迁移速率。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。针对文件到表类迁移的数据，建议配置写入脏数据。 作业运

查看更多 →

HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移，本章节以MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下： 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。

查看更多 →

获取SK的方法，具体请参见新增访问密钥。 转储地址 设置存储Topic数据的OBS桶的名称。 选择：在下拉列表中选择已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。 输入：输入已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。

查看更多 →

户下第一位用户订阅该数据集时，会自动下载。 单个下载 下载数据集的入口。 在数据集服务界面，选择“个人中心>已订阅数据集”。在需要下载的数据集对应的“操作”列下单击“我要下载”。 在数据集服务首页，单击需要下载的数据集的名称，在数据集详情页面的“数据信息>数据浏览器”，单击。 在

查看更多 →

使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题： 贸易数据极简上云与统计分析

查看更多 →

HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移，本章节以MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下： 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。

查看更多 →

从OBS并行导入数据 关于OBS并行导入 从OBS导入CSV、TXT数据 从OBS导入ORC、CARBONDATA数据 父主题： 导入数据

查看更多 →

从OBS导入CSV、TXT数据 创建访问密钥（AK和SK） 上传数据到OBS 创建OBS外表 执行导入数据 处理导入错误 OBS导入数据示例 父主题： 从OBS并行导入数据

查看更多 →