下载数据集到OBS 功能介绍 下载数据集到OBS桶中。 URI URI格式 POST /softcomai/datalake/v1.0/download/obs 参数说明 无。 请求 请求样例 POST https://endpoint/softcomai/datalake/v1

查看更多 →

下载数据集到OBS 当用户订阅或申请订阅了数据集且该订阅申请已审批通过，用户可以手动将数据集下载到OBS。 已成功订阅的数据集在有效期内可以多次下载，无需再发起订阅流程。 数据集订阅成功后，数据集中数据有变化时详细介绍请参见数据服务首页介绍。 同租户下载到OBS不需要审批，跨租户

查看更多 →

模式或表空间：待抽取数据的模式或表空间名称。 表名：要抽取的表名。 其他可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称：选择创建OBS连接中的“obslink”。 桶名：待迁移数据的桶。 写入目录：写入数据到OBS 服务器 的目录。 文件格式：迁移数据表到文件时，文件格式选择“ CS V格式”。

查看更多 →

HDFS数据迁移到OBS 操作场景 CDM 支持文件到文件类数据的迁移，本章节以 MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下： 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问 域名 、端口，以及AK、SK。

查看更多 →

从OBS导入ORC、CARBONDATA数据 OBS上的数据准备 创建外部服务器 创建外表 通过外表查询OBS上的数据 清除资源 支持的数据类型 父主题： 从OBS并行导入数据

查看更多 →

导出CSV、TXT数据到OBS 规划导出数据 创建OBS外表 执行导出 示例 父主题： 导出数据到OBS

查看更多 →

OBS目录导入数据规范说明 导入数据集时，使用存储在OBS的数据时，数据的存储目录以及文件名称需满足ModelArts的规范要求。 当前只有“图像分类”、“物体检测”、“图像分割”、“文本分类”和“声音分类”标注类型支持按标注格式导入。 其中，“表格”类型的数据集，支持从OBS、

查看更多 →

如何上传基础数据至OBS 使用KG创建 知识图谱 时，首先需要将基础数据上传至华为云 对象存储服务 （OBS）桶中。您可以登录OBS管理控制台创建OBS桶，并在您创建的OBS桶中创建文件夹，创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。然后再进行数据的上传，OBS上传数据的详细操作请参见上传文件。

查看更多 →

查询项目OBS信息（数据准备） 功能介绍 查询OBS信息。 URI URI格式 GET /softcomai/datalake/collection/v1.0/task/progress/{progressId} 参数说明 参数名 是否必选 参数类型 备注 progressId 是

查看更多 →

获取治理数据的OBS信息 功能介绍 查询项目本次治理的OBS桶信息。 URI URI格式 GET /softcomai/datalake/dataplan/v1.0/tasks/getgorvnobs 参数说明 无。 请求 请求样例 GET https://ipaddr:port

查看更多 →

配置监控数据存储至OBS 操作场景 本章节指导用户为企业交换机实例配置OBS存储，用来存储历史监控数据。 云监控服务 各监控指标的原始数据的保留周期为两天，超过保留周期后原始数据将不再保存。您开通对象存储服务（Object Storage Service，以下简称OBS）后，可将原

查看更多 →

通过Flink作业处理OBS数据 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink

查看更多 →

从OBS导入元数据(1.0.0) 功能介绍 从OBS导入元数据。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1.0/{project_id}/gr

查看更多 →

请求示例 从OBS导入元数据，元数据存储地址为devdata/unionsdk/schema.xml，元数据的名字为test_schema。 POST https://Endpoint/v2/{project_id}/graphs/metadata/upload-from-obs {

查看更多 →

获取SK的方法，具体请参见新增访问密钥。 转储地址 存储Topic数据的OBS桶的名称。 您可以在下拉列表中选择已创建的OBS桶名称，也可以单击“创建转储地址”，新创建一个OBS桶。 转储目录 OBS中存储Topic的目录，多级目录可以用“/”进行分隔。 时间目录格式 数据将存储在转储目录下的时间目录中，时间

查看更多 →

OBS的数据存储在哪里？ 在OBS上创建桶时，您可以指定一个区域。在该区域内，您的数据存储在多台设备上。 父主题： 产品咨询

查看更多 →

ySQL数据，如果源表配置了索引，可调大抽取并发数提升迁移速率。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。针对文件到表类迁移的数据，建议配置写入脏数据。 作业运

查看更多 →

HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移，本章节以MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下： 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。

查看更多 →

写入数据操作失败，文件共享只读 可能原因 网关缓存盘空间使用率超过95%，导致写入数据操作失败，只能读取数据。 解决方法 部分数据自动上传到OBS桶或自动清理部分未使用文件，缓存盘空间使用率小于90%后，网关自动恢复读/写模式。用户可根据连接OBS的网络带宽，合理规划写入流量，避

查看更多 →

多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据，最大化实现数据的共享，避免不必要的重复数据，更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型：提供兼容Hive元数据模型的SDK客户端，使计算引擎对接LakeFormation更轻松和高效。 兼

查看更多 →

数据共享交换管理实施步骤 安装前准备 安装须知 DSP Governor DSP Server DSP Scheduler DSP DataRelease DSP SSM DSP Agent DSP GatherClient DSP Studio 父主题： 实施步骤

查看更多 →