MapReduce对接OBS文件系统 使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。 登录 MRS 管理控制台，单击集群名称进入集群详情页面。 选择“组件管理 > Mapreduce”，进入Mapreduce服务“全部配置”页面，在

查看更多 →

推荐系统OBS文件夹规范 使用推荐系统时，需要在OBS创建桶并导入离线数据，同时作业所产生的数据也会保存在OBS中。为了方便您快速定位文件路径，建议您按照如下结构准备数据创建文件夹，并上传至OBS桶。 OBS文件夹示例 自定义OBS桶名 │ obs-offline-data

查看更多 →

按照IAM文档指导，将前面步骤创建的自定义策略添加到用户组中。 将需要授权的IAM用户加入到创建的用户组中，授权完成。 由于缓存的存在，授予OBS相关的策略后，大概需要等待10~15分钟策略才能生效。 验证 使用IAM用户登录OBS控制台。 可以在桶列表中看到所有的桶。选择目标桶example-002，进入目标桶。

查看更多 →

OBS 对象存储服务 （Object Storage Service，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。详情参考帮助文档。本次实践，使用OBS来存储xxxx服务平台上传的图片、文件或者通过接口调用生成的json文件。 登录华为云OBS管理控制台

查看更多 →

修改媒资文件在OBS的存储模式 功能介绍 修改媒资文件在OBS的存储模式。 媒资上传默认为标准存储模式，支持转为低频或者归档存储模式。 低频存储可恢复为标准存储或者降级为归档存储。 归档存储仅支持恢复为标准存储，不支持直接转为低频存储。 低频模式最低存储时间为30天，归档模式最低

查看更多 →

ModelArts通过OBS的API访问OBS中的文件，算内网还是公网？ 在同一区域，ModelArts通过OBS的API访问OBS中的文件属于内网通信，不消耗公网流量费。 若是通过互联网从OBS下载数据到本地，这时候会产生OBS公网流量费。OBS的详细计费说明可以参见计费项。 父主题：

查看更多 →

JupyterLab目录的文件、Terminal的文件和OBS的文件之间的关系 JupyterLab目录的文件与Terminal中work目录下的文件相同。即用户在Notebook中新建的，或者是从OBS目录中同步的文件。 挂载OBS存储的Notebook，JupyterLab目录的文件可以与OB

查看更多 →

中的数据集。 动态挂载OBS并行文件系统有什么限制 OBS提供两种桶，对象存储（对象桶）和并行文件系统PFS。 ModelArts的Notebook仅支持挂载OBS的并行文件系统，挂载至Notebook容器“/data/”的子目录下。 动态挂载OBS并行文件系统操作 方式1：通过ModelArts控制台操作

查看更多 →

com（已备案） OBS桶 版本号为3.0以上的OBS存储桶，桶策略为公共读，未开通静态网站托管。 obs-doc-test 实施步骤 将网站所需图片、软件包等静态资源存储至已准备的OBS桶中，可通过OBS控制台、OBS Browser、SDK等多种方式创建桶、上传文件，具体操作请参考OBS帮助文档。

查看更多 →

图3 绑定委托 创建OBS文件系统 登录OBS控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称，例如“mrs-demo01”。 其他参数请根据需要填写。 图4 创建并行文件系统 单击“立即创建”。 在OBS控制台并行文件系统列表中，单击文件系统名称进入详情页面。

查看更多 →

properties 在文件中添加OBS日志级别配置： log4j.logger.org.apache.hadoop.fs.obs=WARN log4j.logger.com.obs=WARN 图4 添加OBS日志级别 使用Spark Shell读取OBS文件 使用安装客户端用户登录客户端安装节点。

查看更多 →

组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令上传客户端节点“/opt/test.txt”文件到OBS文件系统路径下。 hdfs dfs -put

查看更多 →

OBS的文件夹与文件系统的文件夹是否一样？ 不一样。 OBS并没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据，OBS提供了一种方式模拟文件夹。实际上在OBS内部是通过在对象的名称中增加“/”，将该对象在OBS管理控制台上模拟成一个文件夹的形式展现。 父主题： 产品咨询

查看更多 →

建如表1所示的文件夹。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使用的OBS与ModelArts在同一区域。 表1 OBS桶文件夹列表 文件夹名称 用途 obs://test-modelarts/ascend/demo-code/ 用于存储Ascend训练脚本文件。

查看更多 →

建如表1所示的文件夹。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使用的OBS与ModelArts在同一区域。 表1 OBS桶文件夹列表 文件夹名称 用途 obs://test-modelarts/ascend/demo-code/ 用于存储Ascend训练脚本文件。

查看更多 →

使用moxing适配OBS路径，pandas读取文件报错 问题现象 使用moxing适配OBS路径，然后用较高版本的pandas读取OBS文件报出如下错误： 1.‘can't decode byte xxx in position xxx’ 2.‘OSError:File isn't

查看更多 →

如何在Notebook中上传下载OBS文件？ 在Notebook中可以通过调用ModelArts的Moxing接口或者SDK接口与OBS交互，将Notebook中的文件上传至OBS，或者下载OBS中的文件至Notebook中。 图1 Notebook中上传下载OBS文件 使用OBS客户端上传文件的操作指导：上传文件

查看更多 →

使用obsutil下载文件到99%后失败 出现该问题的主要原因： 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法： 重新执行下载命令。 obsutil在下载的时候默认开启断点续传，此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。

查看更多 →

Flink Jar作业设置backend为OBS，报错不支持OBS文件系统 问题现象 客户执行Flink Jar作业，通过设置checkpoint存储在OBS桶中，作业一直提交失败，并伴有报错提交日志，提示OBS桶名不合法。 原因分析 确认OBS桶名是否正确。 确认所用AKSK是否有权限。

查看更多 →

访问OBS 操作场景 虚拟专用网络 、云专线线下节点通过终端节点高速访问OBS。 仅“拉美-墨西哥城一”、“拉美-圣保罗一”和“拉美-圣地亚哥”区域支持通过控制台直接选择“网关”类型的OBS终端节点服务，因此本场景仅适用于这些区域。 其他区域的“网关”类型的OBS终端节点服务目前需

查看更多 →

linkConfig.obsBucketType 否 String OBS桶类型。 对象桶：OB。 并行文件系统：PFS。 说明： 桶类型分为对象桶和并行文件系统，对象桶过滤文件会比较慢，建议客户使用并行文件桶。 linkConfig.server 是 String OBS 服务器 的终端节点（Endpoint）。

查看更多 →