配置Sqoop通过IAM委托访问OBS 参考配置 MRS 集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后，可在Sqoop客户端导入关系型数据库的表到OBS中，或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads

查看更多 →

有访问OBS对应的桶的权限，但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] 该报错信息可能是由于OBS桶被设置为了 DLI 日志桶，而日志桶不能用于DLI的其他业务功能。 您可以按以下操作步骤进行查询： 检查该OBS桶是否被设置为了DLI日志桶。

查看更多 →

使用MRS Spark SQL访问DWS表 应用场景 华为云提供 MapReduce服务 （MRS），可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件，专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark SQL

查看更多 →

ModelArts通过OBS的API访问OBS中的文件，属于内网还是公网访问？ 在同一区域，ModelArts通过OBS的API访问OBS中的文件属于内网通信，不消耗公网流量费。 如果是通过互联网从OBS下载数据到本地，这时候会产生OBS公网流量费。OBS的详细计费说明可以参见计费项。

查看更多 →

通过JDBC访问Spark SQL的程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →

确认是否已经是内网访问OBS 具体方法请参见如何判断是否内网访问OBS？ 下载obsutil obsutil最新版本和下载链接请参见下载obsutil。 配置obsutil 使用obsutil之前，您需要配置obsutil与OBS的对接信息，包括OBS终端节点（Endpoint）和访问密钥（AK和SK）。

查看更多 →

程序”，从OBS选择作业所需的Jar包。 登录OBS控制台，将生成的Jar包文件上传到OBS路径下。 登录DLI控制台，选择“作业管理 > Spark作业”。 单击操作列“编辑”。 编辑“应用程序”，选择1上传的OBS地址。 图11 配置应用程序 Spark 3.3以下版本： 分别上传Jar包到OBS和DLI下。

查看更多 →

如在创建跨区域复制规则时，如果需要同步复制加密对象，需要选择或新建一个委托，授权OBS访问数据加密服务。 委托访问OBS，需要先调用IAM接口获取委托的临时访问密钥和securitytoken，然后使用它们访问OBS。委托其他账号需要手动调用接口获取凭证，委托其他云服务系统会自动获取凭证。 关于IAM

查看更多 →

ry-obs/。请务必修改OBS桶名称及目录为正确值。 修改~/spark-obs/conf/spark-env.sh文件，如果该文件不存在，使用命令复制模板为文件。 cp ~/spark-obs/conf/spark-env.sh.template ~/spark-obs/conf/spark-env

查看更多 →

在E CS 上通过内网访问OBS 在ECS上通过内网访问OBS方案概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS 父主题： OBS数据访问

查看更多 →

配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env

查看更多 →

华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台

查看更多 →

在ECS上通过内网访问OBS 概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS

查看更多 →

配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source

查看更多 →

使用 CDM 服务迁移MRS HDFS数据至OBS 周边云服务对接类 MRS对接LakeFormation云服务 使用MRS Spark SQL访问DWS表 使用MRS Hive表对接OBS文件系统 MRS Hive对接 CSS 服务配置说明 生态组件对接类 使用DBeaver访问Phoenix 使用DBeaver访问MRS

查看更多 →

配置Presto通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Presto即可通过presto_cli.sh客户端创建表存储在OBS中。 Presto对接OBS 未开启Kerberos认证的集群 使用客户端安装用户，登录已安装客户端的节点。

查看更多 →

Test\SparkJarObs\target”下名为“SparkJarObs-1.0-SNAPSHOT.jar”。 图10 导出jar包 步骤6：上传Jar包到OBS和DLI下 Spark 3.3及以上版本： 仅支持在创建Spark作业时，配置“应用程序”，从OBS选择作业所需的Jar包。

查看更多 →

通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序（Java） 通过JDBC访问Spark SQL样例程序（Scala） 父主题： 开发Spark应用

查看更多 →

Management，简称IAM）进行精细的企业级多租户管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全地控制华为云资源的访问。 通过IAM，您可以在华为云账号中给员工创建IAM用户，并使用策略来控制他们对华为云资源的访问范围。 目前包括角色（粗粒度授权）和策略（细粒度授

查看更多 →

配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本

查看更多 →

通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序（Java） 通过JDBC访问Spark SQL样例程序（Scala） 父主题： 开发Spark应用

查看更多 →