作业执行成功或失败后都不能再次执行，只能新增或者复制作业，配置作业参数后重新提交作业。 登录OBS控制台，进入OBS路径，查看作业输出信息。 进入到5中创建的output路径查看相关的output文件，需要下载到本地以文本方式打开进行查看，如图6所示。 图6 输出文件列表 父主题： 使用HDFS

查看更多 →

新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。 图1 使用集群配置前后对比 CDM 支持的Hadoop类型连接主要包括以下几类： MRS 集群：MRS HDFS，MRS

查看更多 →

生成。 将hadoop-huaweicloud-x.x.x-hw-y.jar拷贝到/opt/hadoop-3.1.1/share/hadoop/tools/lib和/opt/hadoop-3.1.1/share/hadoop/common/lib目录下。 hadoop-huaweicloud-x

查看更多 →

作业执行成功或失败后都不能再次执行，只能新增或者复制作业，配置作业参数后重新提交作业。 登录OBS控制台，进入OBS路径，查看作业输出信息。 进入到5中创建的output路径查看相关的output文件，需要下载到本地以文本方式打开进行查看，如图6所示。 图6 输出文件列表 父主题： 使用HDFS

查看更多 →

新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。 图1 使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类： MRS集群：MRS HDFS，MRS

查看更多 →

入门 访问 资源编排 服务 资源栈状态 创建资源栈 查询资源栈 更新模板或参数 创建执行计划 价格预估 删除资源栈 资源栈详情 父主题： 资源编排

查看更多 →

入门 流程简介 设置用户权限 登录OBS管理控制台 下载OBS Browser 创建访问密钥（AK和SK） 登录客户端 添加桶 上传文件或文件夹 下载文件或文件夹 删除文件或文件夹 删除桶

查看更多 →

入门 DIS使用流程简介 步骤1：开通DIS通道 步骤2：准备DIS应用开发环境 步骤3：发送数据到DIS 步骤4：从DIS获取数据 获取认证信息 连接OBS 自动创建委托

查看更多 →

.10.x/hadoop-2.10.x.tar.gz 解压Hadoop安装包到opt目录下。 tar -xvf hadoop-2.10.x.tar.gz -C /opt/ 配置环境变量。 vim /etc/profile 在底部添加以下内容。 #set hadoop environment

查看更多 →

缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 3des HDFS hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道，如Da

查看更多 →

，需要使用安全加密通道，配置如下参数。安全Hadoop RPC相关信息请参考： MRS 3.2.0之前版本：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SecureMode.htm

查看更多 →

FOREIGN TABLE (SQL on OBS or Hadoop) 功能描述 在当前数据库创建一个HDFS或OBS外表，用来访问存储在HDFS或者OBS分布式集群文件系统上的结构化数据。也可以导出ORC和PARQUET格式数据到HDFS或者OBS上。 数据存储在OBS：数据存储和

查看更多 →

将用户pom文件中的的hadoop-hdfs设置为： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>${hadoop.version}</version>

查看更多 →

本节通过调用 云服务器备份 的API为某台 云服务器 创建一次备份。通过IAM服务获取到的Token有效期为24小时，需要使用同一个Token鉴权时，可以先将Token缓存，避免频繁调用。涉及API当您使用Token认证方式完成认证鉴权时，需要获取用户Token并在调用接口时增加“X-Auth-Token”到业务接口请求消息头中。IAM获取tok

查看更多 →

en”到业务接口请求消息头中。 IAM获取token的API SDRS创建保护组的API 具体步骤 Token认证，具体操作请参考认证鉴权。 发送“POST https://SDRS的Endpoint/v1/{project_id}/server-groups”。 在Request

查看更多 →

本节通过调用一系列VBS的API创建云硬盘备份。通过IAM服务获取到的Token有效期为24小时，需要使用同一个Token鉴权时，可以先将Token缓存，避免频繁调用。当您使用Token认证方式完成认证鉴权时，需要获取用户Token并在调用接口时增加“X-Auth-Token”到业务接口请求消息头中。IAM获取token的APIVBS创建

查看更多 →

快速入门 使用模型训练服务快速训练算法模型 操作参考 修订记录

查看更多 →

入门引导 图1-1入门引导 步骤 操作 描述 1 开通服务 您可以快速开通ISDP+视频服务。 2 创建应用 通过在应用管理创建应用，可以获取您的应用ID。 3 集成客户端SDK ISDP+视频服务为您提供了Android、Web端的SDK，帮助您快速集成SDK。 4 实现基本功能

查看更多 →

入门实践 当您熟悉了构建实景三维建模等基本操作后，可以根据自身的业务需求使用实景三维建模服务提供的一系列常用实践。 表1 常用最佳实践 实践 描述 城市园区室外三维模型生产 城市园区室外三维模型生产，主要适用于1万张照片以内的小规模数据及人工刺点处理等。数据处理方式采用常规流程。

查看更多 →

入门流程 当需要使用DWR服务对OBS内存储的数据自动进行多项复杂任务（如解析、转码、截图等）处理时，建议参考表1逐步操作。 表1 DWR使用流程简介 操作步骤 操作说明 步骤一：准备工作 注册华为云账号，并开通数据工坊DWR服务。 （可选）步骤二：浏览算子市场 在算子市场查找需要的算子，了解已有算子的功能。

查看更多 →

跨系统业务数据集成与转换 介绍如何通过ROMA Connect的数据集成，把业务系统A中的数据进行格式转换后，集成到业务系统B的数据库中使用。后续根据制定的同步计划，定时把业务系统A中新增的数据同步到业务系统B中，保证了两个系统间的数据同步。

查看更多 →