本章节指导用户创建Hive表存放数据到OBS，基本流程如下所示： 步骤一：创建E CS 委托 步骤二：为 MRS 集群配置委托 步骤三：创建OBS文件系统 步骤四：Hive访问OBS文件系统 步骤一：创建ECS委托 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务”。

查看更多 →

Flink Jar作业设置backend为OBS，报错不支持OBS文件系统 问题现象 客户执行Flink Jar作业，通过设置checkpoint存储在OBS桶中，作业一直提交失败，并伴有报错提交日志，提示OBS桶名不合法。 原因分析 确认OBS桶名是否正确。 确认所用AKSK是否有权限。

查看更多 →

。挂载时，后台自动会在Notebook容器的“/data/”目录下创建该文件夹，用来挂载OBS文件系统。 选择存放OBS并行文件系统下的文件夹，单击“确定”。 图1 动态挂载OBS并行文件系统 挂载成功后，可以在Notebook实例详情页查看到挂载结果。 图2 挂载成功 方式2：API模式

查看更多 →

在hdfs命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 例如，执行以下命令访问“mrs-word001”并行文件系统，返回文件列表即表示访问OBS成功，如图1所示： hadoop

查看更多 →

如果集群为安全模式，执行以下命令进行用户认证，该用户需具有OBS目录的读写权限。普通模式集群无需执行用户认证。 kinit HDFS组件操作用户 在HDFS命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录：

查看更多 →

如果集群为安全模式，执行以下命令进行用户认证，该用户需具有OBS目录的读写权限。普通模式集群无需执行用户认证。 kinit HDFS组件操作用户 在Yarn命令行显式添加要访问的OBS文件系统。 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录：

查看更多 →

准备MRS节点引导操作脚本步骤如下： 上传所需安装包等文件至OBS文件系统。 正式编写脚本前，您需要将所需安装包、配置包的所有相关文件都上传到同Region的OBS文件系统中。 因为不同Region间有网络隔离，MRS虚拟机无法下载其他Region上的OBS文件。 脚本中如何从OBS文件系统下载文件。 您可以在脚本

查看更多 →

-input obs://并行文件系统名称/tmp/flinkjob/test -output obs://并行文件系统名称/tmp/flinkjob/output 由于Flink作业是On Yarn运行，在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。

查看更多 →

集群绑定具有OBS文件系统操作权限的IAM权限委托。 查看或绑定委托的操作如下： 登录MRS集群的“概览”页面，查看“委托”参数是否有值，且绑定的委托具有OBS文件系统操作权限。 是，集群已绑定委托。 否，执行4.b。 单击“管理委托”，为集群绑定具有OBS文件系统操作权限的委托。

查看更多 →

MRS集群支持HetuEngine服务在创建表时指定Location为OBS文件系统路径，也支持基于Hive Metastore方式对接OBS。 在创建表时指定Location为OBS文件系统路径 如果存在运行中的HetuEngine计算实例需重启该实例。 以具备访问HetuEngine We

查看更多 →

集群绑定具有OBS文件系统操作权限的IAM权限委托。 查看或绑定委托的操作如下： 登录MRS集群的“概览”页面，查看“委托”参数是否有值，且绑定的委托具有OBS文件系统操作权限。 是，集群已绑定委托。 否，执行4.b。 单击“管理委托”，为集群绑定具有OBS文件系统操作权限的委托。

查看更多 →

-input obs://并行文件系统名称/tmp/flinkjob/test -output obs://并行文件系统名称/tmp/flinkjob/output 由于Flink作业是On Yarn运行，在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。

查看更多 →

MRS集群组件对接OBS（基于委托） 该解决方案帮您仅搭建大数据存算分离集群，具体的业务使用可参考如下： Flink对接OBS文件系统 Flume对接OBS文件系统 HDFS客户端对接OBS文件系统 Hive对接OBS文件系统 MapReduce对接OBS文件系统 Spark2x对接OBS文件系统

查看更多 →

1及后续版本中，MRS集群内组件默认支持数据防误删策略，在基于OBS的Hadoop大数据系统中，客户可以兼容使用Hadoop FS原生的垃圾回收功能。 组件用户删除的文件数据并不会直接被删除，而是会保存到OBS文件系统内的用户回收站目录中，本章节用于指导用户设置OBS文件系统内回收站目录的生命周期策略，以定时自动清理相关数据。

查看更多 →

在本示例中，由于要分析处理OBS文件系统中的数据，因此在集群的高级配置参数中要为MRS集群绑定IAM权限委托，使得集群内组件能够对接OBS并具有对应文件系统目录的操作权限。 您可以直接选择系统默认的“MRS_ECS_DEFAULT_AGENCY”，也可以自行创建其他具有OBS文件系统操作权限的自定义委托。

查看更多 →

进行绑定。 图3 绑定委托 创建OBS文件系统用于存放数据 大数据存算分离场景，请务必使用OBS并行文件系统（并行文件系统），使用普通对象桶会对集群性能产生较大影响。 登录OBS控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称，例如“mrs-word001”。

查看更多 →

或者MRS集群，需要在删除组件或者集群后，手工将OBS上相关的业务数据进行删除。 MRS集群配置存算分离后，组件可以对接访问OBS文件系统，同时也可以继续访问集群内的HDFS文件系统，具体请参考配置MRS集群通过IAM委托对接OBS。 存算分离功能使用流程： 配置存算分离集群。

查看更多 →

单击“并行文件系统 > 创建并行文件系统”，创建一个名称为userdata的文件系统。 在OBS文件系统列表中单击文件系统名称userdata，选择“文件 > 新建文件夹”，分别创建program、input、output和log目录。 上传数据至userdata文件系统。 进入program文件夹，单击“上传文件”。

查看更多 →

重启Hive服务。 进入beeline客户端，在创建表时指定Location为OBS文件系统路径。 beeline 例如，创建一个表“test”，该表的Location为“obs://OBS并行文件系统名称/user/hive/warehouse/数据库名/表名”： create

查看更多 →

样例：通过Loader将数据从OBS导入HDFS 操作场景 用户需要将大量数据从集群外导入集群内的时候，可以选择从OBS导入到HDFS的方式。 前提条件 已准备业务数据。 已创建分析集群。 操作步骤 将业务数据上传到用户的OBS文件系统。 获取用户的AK/SK信息，然后创建一个OBS连接和一个HDFS连接。

查看更多 →

obs://obs-mrstest/data Mounted obs://obs-mrstest/data at /mnt/obs 通过Alluxio命名空间列出OBS文件系统中的文件。使用ls命令列出OBS挂载目录下的文件。 alluxio fs ls /mnt/obs 38

查看更多 →