重启Hive服务。 进入beeline客户端，在创建表时指定Location为OBS文件系统路径。 beeline 例如，创建一个表“test”，该表的Location为“obs://OBS并行文件系统名称/user/hive/warehouse/数据库名/表名”： create

查看更多 →

Hudi对接OBS文件系统 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env 修改配置文件： vim 客户端安装目录/Hudi/hudi/conf/hdfs-site

查看更多 →

-input obs://并行文件系统名称/tmp/flinkjob/test -output obs://并行文件系统名称/tmp/flinkjob/output 由于Flink作业是On Yarn运行，在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。

查看更多 →

。 创建OBS文件系统用于存放数据。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面，单击“创建并行文件系统”。 填写文件系统名称，例如“esdk-c-test-pfs1”，其他参数请根据需要填写。单击“立即创建”等待创建完成。 在OBS控制台并行文件系统列表中，单击已新建的文件系统名称进入详情页面。

查看更多 →

MapReduce对接OBS文件系统 使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。 登录 MRS 管理控制台，单击集群名称进入集群详情页面。 选择“组件管理 > Mapreduce”，进入Mapreduce服务“全部配置”页面，在

查看更多 →

组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令上传客户端节点“/opt/test.txt”文件到OBS文件系统路径下。 hdfs dfs -put /opt/test

查看更多 →

Spark2x对接OBS文件系统 MRS集群支持Spark2x在集群安装完成后对接OBS文件系统。 使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。 集群安装后使用spark beeline 登录 FusionInsight Manager，选择“集群

查看更多 →

Jar作业设置backend为OBS，报错不支持OBS文件系统 问题现象 客户执行Flink Jar作业，通过设置checkpoint存储在OBS桶中，作业一直提交失败，并伴有报错提交日志，提示OBS桶名不合法。 关于如何配置checkpoint保存到OBS请参考《 数据湖探索 常见问题》。

查看更多 →

面，在“存储配置”页签，单击“添加数据存储”，设置挂载参数。 设置本地挂载目录，在“/data/”目录下输入一个文件夹名称，例如：demo。挂载时，后台自动会在Notebook容器的“/data/”目录下创建该文件夹，用来挂载OBS文件系统。 选择存放OBS并行文件系统下的文件夹，单击“确定”。

查看更多 →

MRS集群组件对接OBS（基于委托） Flink对接OBS文件系统 Flume对接OBS文件系统 HDFS客户端对接OBS文件系统 Hive对接OBS文件系统 MapReduce对接OBS文件系统 Spark2x对接OBS文件系统 Sqoop对接外部存储系统 Hudi对接OBS文件系统 父主题：

查看更多 →

上传所需安装包等文件至OBS文件系统 正式编写脚本前，您需要将所需安装包、配置包的所有相关文件都上传到同region的OBS文件系统中。因为不同region间有网络隔离，MRS虚拟机无法下载其他region上的OBS文件，例如华北-北京一区的MRS虚拟机无法从华东-上海二的OBS文件系统中下载文件。

查看更多 →

在HDFS命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录： hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop 使用

查看更多 →

在Yarn命令行显式添加要访问的OBS文件系统。 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录： hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop1 执行以下Yarn任务访问OBS：

查看更多 →

，关于obsfs工具的介绍和详细使用方法请参见obsfs简介。 每挂载一个并行文件系统对象存储卷，就会产生一个obsfs常驻进程。如下图所示： 推荐使用方式 建议为每个obsfs预留1G的内存空间，如4U8G的节点，建议挂载obsfs并行文件系统的实例不超过8个。 obsfs常驻

查看更多 →

-input obs://并行文件系统名称/tmp/flinkjob/test -output obs://并行文件系统名称/tmp/flinkjob/output 由于Flink作业是On Yarn运行，在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。

查看更多 →

集群绑定具有OBS文件系统操作权限的IAM权限委托。 查看或绑定委托的操作如下： 登录MRS集群的“概览”页面，查看“委托”参数是否有值，且绑定的委托具有OBS文件系统操作权限。 是，集群已绑定委托。 否，执行4.b。 单击“管理委托”，为集群绑定具有OBS文件系统操作权限的委托。

查看更多 →

集群绑定具有OBS文件系统操作权限的IAM权限委托。 查看或绑定委托的操作如下： 登录MRS集群的“概览”页面，查看“委托”参数是否有值，且绑定的委托具有OBS文件系统操作权限。 是，集群已绑定委托。 否，执行4.b。 单击“管理委托”，为集群绑定具有OBS文件系统操作权限的委托。

查看更多 →

HetuEngine组件对接OBS 对接OBS MRS集群支持HetuEngine服务在创建表时指定Location为OBS文件系统路径，也支持基于Hive Metastore方式对接OBS。 在创建表时指定Location为OBS文件系统路径 如果存在运行中的HetuEngine计算实例需重启该实例。

查看更多 →

MRS集群组件对接OBS（基于委托） 该解决方案帮您仅搭建大数据存算分离集群，具体的业务使用可参考如下： Flink对接OBS文件系统 Flume对接OBS文件系统 HDFS客户端对接OBS文件系统 Hive对接OBS文件系统 MapReduce对接OBS文件系统 Spark2x对接OBS文件系统

查看更多 →

图3 绑定委托 创建OBS文件系统 登录OBS控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称，例如“mrs-demo01”。 其他参数请根据需要填写。 图4 创建并行文件系统 单击“立即创建”。 在OBS控制台并行文件系统列表中，单击文件系统名称进入详情页面。

查看更多 →

在本示例中，由于要分析处理OBS文件系统中的数据，因此在集群的高级配置参数中要为MRS集群绑定IAM权限委托，使得集群内组件能够对接OBS并具有对应文件系统目录的操作权限。 您可以直接选择系统默认的“MRS_E CS _DEFAULT_AGENCY”，也可以自行创建其他具有OBS文件系统操作权限的自定义委托。

查看更多 →