org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x

查看更多 →

SQL on Hadoop DWS支持直接读取存储在Hadoop HDFS文件系统上的结构化数据，对外提供标准SQL语言查询接口，通过向量化引擎完成Hadoop原生数据的复杂分析查询工作。 技术架构 DWS将HDFS上存储的结构化数据映射为外部表，从而重用已有的成熟数据库SQL编

查看更多 →

云存储 获取云存储列表 授权云存储 解绑云存储 父主题： CAE API

查看更多 →

开发环境中如何选择存储 不同存储的实现原理都不同，在性能、易用性、成本的权衡中可以有不同的选择，没有一个存储可以覆盖所有场景，了解下云上开发环境中各种存储使用场景说明，更能提高使用效率。 仅支持挂载同一区域下的OBS并行文件系统（PFS）和OBS对象存储。 表1 云上开发环境中各种存储使用场景说明

查看更多 →

AbstractFileSystem.obs.impl org.apache.hadoop.fs.obs.OBS 是 - fs.obs.endpoint 无 是 华为云OBS的终端节点（Endpoint）。 fs.obs.access.key 无 是 华为云的AK（Access Key Id），需要具备访问OBS对应桶的权限。

查看更多 →

org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x

查看更多 →

key，当前access key应该包含访问授权云存储的权限。 secret 否 String 用户secret key，当前secret key应该包含访问授权云存储的权限。 响应参数 无 请求示例 授权云存储，云存储类型为“obs”，存储桶名称为“test-bucket”。 POST

查看更多 →

单击“授权”，完成通用文件系统授权。 云存储解绑 若已授权存储对象云存储已绑定组件，解除绑定时，请先在“组件配置 > 云存储配置”中删除相应组件中挂载，具体操作请参考删除云存储挂载。 登录CAE控制台。 在左侧导航栏中选择“系统设置”。 单击“云存储授权”模块中的“编辑”，进入“已授权云存储”页面。 选择

查看更多 →

配置云存储 云存储说明 配置并行文件系统 配置存储桶 配置通用型文件系统 编辑云存储挂载 删除云存储挂载 父主题： 组件配置

查看更多 →

云存储说明 CAE支持对并行文件系统、存储桶和通用文件系统三种类型的云存储，每种云存储的主要特点及应用场景参考表1。 表1 云存储对比 对比维度 对象存储OBS-并行文件系统 对象存储OBS-存储桶 通用文件系统 概念 并行文件系统是OBS提供的一种经过优化的高性能文件系统，提供

查看更多 →

创建云上开发环境 在开始进行AI应用开发前，您需要创建云上开发环境，即创建Notebook实例。 背景信息 “运行中”的Notebook将一直收费，当您不需要使用时，建议停止Notebook，避免产生不必要的费用。在创建Notebook时，也可以选择开启自动停止功能，在指定时间内

查看更多 →

连接云上开发环境 本节介绍如何使用本地VSCode插件连接云上开发环境Notebook。 注意：若新创建的实例未显示，单击刷新按钮重新登录，登录成功后单击左侧箭头展开实例列表。 图1 刷新实例 由于插件连接需要一定时间，建议将“Connect Timeout”设置为较大值。 操作

查看更多 →

本）。 组件选择：选择“Hadoop分析集群”。 可用区：默认即可。 当您为IES购买 MRS 时，请选择可用区为“边缘可用区”。 企业项目：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。

查看更多 →

缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 3des HDFS hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道，如DataNode与NameNode间。

查看更多 →

如何使用云存储？ 如果您使用控制台界面创建，请参见存储概述。 您还可以使用kubectl创建云存储，具体请参见使用PersistentVolumeClaim申请持久化存储。 父主题： 存储管理类

查看更多 →

删除云存储挂载 当您不需要挂载云存储时，可删除云存储挂载配置。 删除云存储挂载配置后，文件系统中存放的数据不会删除。如需重新挂载，请配置云存储挂载路径。 操作步骤 登录CAE控制台。 在左侧导航栏中选择“组件配置”。 在“组件配置”页面上方的下拉框中选择待操作的组件。 图1 选择组件

查看更多 →

编辑云存储挂载 已配置云存储挂载后，您如需更新挂载路径、读写权限、文件掩码等，可参考以下步骤进行操作。 操作步骤 登录CAE控制台。 在左侧导航栏中选择“组件配置”。 在“组件配置”页面上方的下拉框中选择待操作的组件。 图1 选择组件 单击“云存储配置”模块中的“编辑”，进入云存储配置页面。

查看更多 →

组件名称。 请求示例 解绑云存储。 DELETE https://{endpoint}/v1/{project_id}/cae/volumes/{id} 响应示例 状态码： 200 返回{}表示成功，返回组件信息，表明这些组件挂载了当前云存储，当前云存储不能解绑。 { "api_version"

查看更多 →

，需要使用安全加密通道，配置如下参数。安全Hadoop RPC相关信息请参考： MRS 3.2.0之前版本：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SecureMode.htm

查看更多 →

为了更好的获取和更新系统和软件，建议您更新镜像源为华为云镜像源，详细操作，请参见如何使用自动化工具配置华为云镜像源(x86_64和ARM)？。 操作流程 Linux实例手工搭建Hadoop环境的具体操作步骤如下： 安装JDK 安装Hadoop 配置Hadoop 配置SSH免密登录 启动Hadoop 实施步骤 安装JDK

查看更多 →

ModelArts Notebook云上云下，无缝协同 代码开发与调测。云化JupyterLab使用，本地IDE+ModelArts插件远程开发能力，贴近开发人员使用习惯 云上开发环境，包含AI计算资源，云上存储，预置AI引擎 运行环境自定义，将开发环境直接保存成为镜像，供训练、推理使用

查看更多 →