通过Flink作业处理OBS数据 应用场景 MRS 支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink

查看更多 →

获取SK的方法，具体请参见新增访问密钥。 转储地址 设置存储Topic数据的OBS桶的名称。 选择：在下拉列表中选择已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。 输入：输入已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。

查看更多 →

metadataPath 是 String 元数据存储地址。 name 是 String 元数据的名字。 description 否 String 对元数据的描述。 encryption 否 EncryptionReq object 对元数据加密。 表4 EncryptionReq 参数

查看更多 →

请求示例 从OBS导入元数据，元数据存储地址为devdata/unionsdk/schema.xml，元数据的名字为test_schema。 POST https://Endpoint/v2/{project_id}/graphs/metadata/upload-from-obs {

查看更多 →

HTTP/HTTPS 数据源迁移至华为云OBS教程 背景信息 准备工作 创建迁移任务 创建迁移任务组 父主题： 各云服务商迁移教程

查看更多 →

OBS 对象存储服务 （Object Storage Service，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。详情参考帮助文档。本次实践，使用OBS来存储xxxx服务平台上传的图片、文件或者通过接口调用生成的json文件。 登录华为云OBS管理控制台

查看更多 →

使用ma-cli obs-copy命令复制OBS数据 使用ma-cli obs-copy [SRC] [DST]可以实现本地和OBS文件或文件夹的相互复制。 $ma-cli obs-copy -h Usage: ma-cli obs-copy [OPTIONS ] SRC

查看更多 →

冷热表用户函数 pg_obs_cold_refresh_time(table_name, time) 描述：用来修改冷热表的冷数据切换至OBS上的时间，默认为每日0点。 table_name为冷热表表名，类型为name，time为数据切换任务调度时间，类型为Time。 返回值：SUCCESS，任务时间修改成功。

查看更多 →

用户可以定义冷热管理表，将符合规则的冷数据切换至OBS上进行存储，可以按照分区自动进行冷热数据的判断和迁移。 图1 冷热数据管理 GaussDB (DWS)列存数据写入时，数据首先进入热分区进行存储，分区数据较多后，可通过手动或自动的方式，将符合冷数据规则的数据切换至OBS上进行存储。在数据切换至OBS上后，其元数据、

查看更多 →

导出ModelArts数据集中的数据到OBS 针对数据集中的数据，用户可以选中部分数据或者通过条件筛选出需要的数据，当需要将数据集中的数据存储至OBS用于后续导出使用时，可通过此种方式导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测

查看更多 →

从OBS目录导入数据到数据集 前提条件 已存在创建完成的数据集。 准备需要导入的数据，具体可参见从OBS目录导入数据规范说明。 需导入的数据，已存储至OBS中。Manifest文件也需要存储至OBS。详细指导请参见创建OBS桶用于ModelArts存储数据。 确保数据存储的OBS桶

查看更多 →

从OBS导入数据到ModelArts数据集 从OBS导入数据到数据集场景介绍 从OBS目录导入数据到数据集 从Manifest文件导入数据到数据集 从OBS目录导入数据规范说明 从Manifest文件导入规范说明 父主题： 导入数据到ModelArts数据集

查看更多 →

OBS数据迁移到 云搜索 服务 操作场景 CDM 支持在云上各服务之间相互迁移数据，本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中，流程如下： 创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问 域名 、端口，以及AK、SK。 已经开通

查看更多 →

OBS数据迁移到云搜索服务 操作场景 CDM支持在云上各服务之间相互迁移数据，本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中，流程如下： 创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。 已经开通

查看更多 →

位为秒，可实现数据热存储转为冷存储或冷存储转为热存储，例如： 将热存储数据转为冷存储数据： 将写入到hot_cold_table表的f列的超过一天（86400秒）的数据归档到冷存储中： alter 'hot_cold_table', {NAME=>'f', COLD_BOUNDARY=>'86400'}

查看更多 →

OBS数据迁移到 DLI 服务 操作场景 数据湖探索（Data Lake Insight，简称DLI）提供大数据查询服务，本章节介绍使用CDM将OBS的数据迁移到DLI，使用流程如下： 创建CDM集群 创建DLI连接 创建OBS连接 创建迁移作业 前提条件 已经开通了OBS和DLI，并且当前用户拥有OBS的读取权限。

查看更多 →

AI全流程开发 数据管理 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 开发环境 Notebook实例中的数据或代码文件可以存储在OBS中。 训练模型 训练作业使用的数据集、算法、运行脚本、训练输出产物、训练过程日志均可以存储在OBS中。 推理部署

查看更多 →

OBS数据迁移到DLI服务 操作场景 数据湖探索（Data Lake Insight，简称DLI）提供大数据查询服务，本章节介绍使用CDM将OBS的数据迁移到DLI，使用流程如下： 创建CDM集群 创建DLI连接 创建OBS连接 创建迁移作业 前提条件 已经开通了OBS和DLI，并且当前用户拥有OBS的读取权限。

查看更多 →

OBS数据迁移到云搜索服务 操作场景 CDM支持在云上各服务之间相互迁移数据，本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中，流程如下： 创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。 已经开通

查看更多 →

OBS数据迁移到DLI服务 操作场景 数据湖探索（Data Lake Insight，简称DLI）提供大数据查询服务，本章节介绍使用CDM将OBS的数据迁移到DLI，使用流程如下： 创建CDM集群 创建DLI连接 创建OBS连接 创建迁移作业 前提条件 已经开通了OBS和DLI，并且当前用户拥有OBS的读取权限。

查看更多 →

对象存储（OBS） 对象存储概述 通过静态存储卷使用已有对象存储 通过动态存储卷使用对象存储 设置对象存储挂载参数 对象存储卷挂载设置自定义访问密钥（AK/SK） 父主题： 存储

查看更多 →