OBS管理概述 ModelArts SDK 1.1.3支持对OBS进行管理，主要涵盖上传下载文件和文件夹。具体包括如下操作： 上传文件至OBS 上传文件夹至OBS 从OBS下载文件 从OBS下载文件夹 父主题： OBS管理

查看更多 →

OBS输入流 功能描述 创建source流从 对象存储服务 （OBS）获取数据。 DLI 从OBS上读取用户存储的数据，作为作业的输入数据。适用于大数据分析、原生云应用程序数据、静态网站托管、备份/活跃归档、深度/冷归档等场景。 对象存储服务（Object Storage Service

查看更多 →

参数名 取值范围 默认值 是否允许修改 作用范围 successfulJobsHistoryLimit 无 无 允许 - 失败任务记录数量 参数名 取值范围 默认值 是否允许修改 作用范围 failedJobsHistoryLimit 无 无 允许 - 父主题： 定时任务

查看更多 →

Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“ 数据湖 ”存储。

查看更多 →

Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：

查看更多 →

Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。

查看更多 →

Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。

查看更多 →

String OBS对象路径。 请求示例 动态挂载OBS。将“OBS并行文件系统”挂载到实例中指定的文件目录“/data/wang/”。 { "category" : "OBS", "mount_path" : "/data/wang/", "uri" : "obs://a

查看更多 →

OBS输入流 功能描述 创建source流从对象存储服务（OBS）获取数据。DLI从OBS上读取用户存储的数据，作为作业的输入数据。适用于大数据分析、原生云应用程序数据、静态网站托管、备份/活跃归档、深度/冷归档等场景。 对象存储服务（Object Storage Service

查看更多 →

OBS桶管理 获取用户OBS桶列表 获取用户OBS桶内对象 文件下载 父主题： 数据管理

查看更多 →

在 域名 管理界面右上方单击“开启OBS委托授权”。 单击“确定”，系统将为您在IAM管理控制台委托页面创建名为“CDNAccessPrivateOBS”委托关系，CDN将有权限（只读权限）访问您的私有OBS桶。 请勿删除CDN与OBS的委托关系，否则会导致CDN无法在回源时从OBS私有桶获取相应资源。

查看更多 →

配置OBS存储功能 资产提供方上传资产时，需要保存资产的相关文件，因此需要用到存储。 公有云场景建议使用OBS。 前提条件 使用OBS之前，您需要拥有一个华为云账号或一个可用于访问OBS的IAM用户，本节将介绍如何注册华为云并实名认证、创建IAM用户、充值以及购买资源包，具体操作请参见使用OBS前需要做的准备工作。

查看更多 →

huaweicloud.com。 在页面右上角单击“注册”。 按需填写注册信息并单击“同意协议并注册”。 开通OBS服务 使用OBS服务之前必须先充值，才能正常使用OBS服务。 登录OBS管理控制台。 单击页面右上角的“费用与成本”，单击左侧资金管理。 单击“充值”，系统自动跳转到充值窗口。 根据界面提示信息，对账户进行充值。

查看更多 →

上传数据到OBS 操作场景 从OBS导入数据到集群之前，需要提前准备数据源文件，并将数据源文件上传到OBS。如果您的数据文件已经在OBS上了，则只需完成上传数据到OBS中的2~3。 准备数据文件 准备需要上传到OBS的数据源文件。 GaussDB (DWS)只支持 CS V、TEXT、O

查看更多 →

导出数据到OBS 关于OBS并行导出 导出CSV、TXT数据到OBS 导出ORC数据到OBS 父主题： 导出数据

查看更多 →

OBSUtil内嵌对象 OBSUtil内嵌对象提供了一系列针对OBS的操作方法，例如判断OBS文件或目录是否存在。 方法 表1 方法说明 方法 说明 示例 boolean isExistOBSPath(String obsPath) 判断OBS文件或目录（目录请以“/”结尾）是否

查看更多 →

OBS数据安全 OBS安全配置建议 减少因误操作导致的数据丢失风险

查看更多 →

/data/”目录中。 在GaussDB(DWS)上，创建外表tpcds.customer_address_ext用于接收数据 服务器 上的数据。 假设OBS数据服务器与集群网络连接正常，OBS数据服务器IP为xxx.xxx.x.xx，数据源文件格式为CSV，规划的并行导入与示例保持一致。

查看更多 →

OBS服务环境搭建 注册云服务账号 使用OBS之前必须要有一个云服务账号。 打开浏览器。 登录公有云网站。 在页面右上角单击“注册”。 按需填写注册信息并单击“同意协议并注册”。 开通OBS服务 使用OBS服务之前必须先充值，才能正常使用OBS服务。 登录管理控制台。 单击页面右上角的“费用和成本”进入费用中心页面。

查看更多 →

OBS对象名约束 图引擎服务支持的OBS对象名支持以下字符： 字母数字字符 0-9 a-z A-Z 特殊字符 ! - _ . * ' ( ) 中文 \u4e00-\u9fa5 暂不支持的字符有： 特殊字符 \ { ^ } % ` ] " > [ ~ < # | & @ : , $

查看更多 →

Oracle迁移到GaussDB(DWS)实践 本教程演示将Oracle业务相关的表数据迁移到GaussDB(DWS)的数据库的基本过程。 通过DLI Flink作业将Kafka数据实时写入DWS 本实践演示通过数据湖探索服务DLI Flink作业将分布式消息服务Kafka的消费数据实时同步至DWS 数据仓库

查看更多 →