华为云

面向未来的智能世界,数字化是企业发展的必由之路。数字化成功的关键是以云原生的思维践行云原生,全数字化、全云化、AI驱动,一切皆服务。

华为云将持续创新,携手客户、合作伙伴和开发者,致力于让云无处不在,让智能无所不及,共建智能世界云底座。

 
 

    华为mars spark访问obs 更多内容
  • 使用华为云OBS

    。 网站 域名 是否需要接入备案 使用华为OBS做托管的网站: 如果源站在华为云:一级域名需要在华为云提交备案。 如果源站不在华为云: 一级域名及其子域名都不在华为云解析,此时不需要在华为接入备案。 一级域名不在华为云,子域名在华为云解析,此时需要在华为接入备案。 父主题: 备案场景

    来自:帮助中心

    查看更多 →

  • 通过IAM委托换取临时访问密钥访问OBS

    如在创建跨区域复制规则时,如果需要同步复制加密对象,需要选择或新建一个委托,授权OBS访问数据加密服务。 委托访问OBS,需要先调用IAM接口获取委托的临时访问密钥和securitytoken,然后使用它们访问OBS。委托其他账号需要手动调用接口获取凭证,委托其他云服务系统会自动获取凭证。 关于IAM

    来自:帮助中心

    查看更多 →

  • 在Linux ECS上使用obsutil通过内网访问OBS

    obsutil需通过公网下载,或者从其他可以访问公网的云 服务器 下载后传到当前云服务器安装。 前提条件 在登录E CS 服务器之前,请确保您已购买云服务器。 操作流程 图1 在Linux ECS上使用obsutil通过内网访问OBS的流程 操作步骤 登录Linux ECS 登录华为云,在页面右上角单击“控制台”,进入“控制台”页面。

    来自:帮助中心

    查看更多 →

  • 配置Hive通过IAM委托访问OBS

    配置Hive通过IAM委托访问OBS 参考配置 MRS 集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Hive客户端创建Location为OBS路径的表。 建表时指定Location为OBS路径 使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source

    来自:帮助中心

    查看更多 →

  • 配置HDFS通过IAM委托访问OBS

    如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 在hdfs命令行显式添加要访问OBS文件系统。 例如: 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 例如,执行以下命令访问“mrs-wor

    来自:帮助中心

    查看更多 →

  • 配置Sqoop通过IAM委托访问OBS

    配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后,可在Sqoop客户端导入关系型数据库的表到OBS中,或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads

    来自:帮助中心

    查看更多 →

  • 通过Nginx反向代理访问OBS

    通过Nginx反向代理访问OBS 应用场景 一般情况下,用户会通过OBS提供的桶访问域名(例如https://bucketname.obs.cn-north-4.myhuaweicloud.com)或者绑定的自定义域名来访问OBS。 但在某些场景下,用户需要通过固定的IP地址访问OBS,例如:

    来自:帮助中心

    查看更多 →

  • 使用DLI提交Spark Jar作业

    步骤1:上传数据至OBS 参考Spark作业样例代码开发Spark Jar作业程序,编译并打包为“spark-examples.jar”。参考以下操作步骤上传该作业程序。 提交Spark作业之前,需要在OBS中上传数据文件。 登录管理控制台 在服务列表中,单击“存储”中的“ 对象存储服务 OBS”,进入OBS管理控制台页面。

    来自:帮助中心

    查看更多 →

  • 配置Hudi通过IAM委托访问OBS

    配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在spark-shell中创建Hudi COW表存储OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env

    来自:帮助中心

    查看更多 →

  • 在ECS上通过内网访问OBS

    在ECS上通过内网访问OBS 在ECS上通过内网访问OBS方案概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS 父主题: OBS数据访问

    来自:帮助中心

    查看更多 →

  • 通过JDBC访问Spark SQL样例程序

    通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序(Java) 通过JDBC访问Spark SQL样例程序(Scala) 父主题: 开发Spark应用

    来自:帮助中心

    查看更多 →

  • 配置Windows通过EIP访问集群Spark

    配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Spark文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本

    来自:帮助中心

    查看更多 →

  • 使用Oozie调度Spark访问HBase以及Hive

    上传目标目录 Spark客户端目录(如“/opt/client/Spark2x/spark/conf”) hive-site.xml HDFS的“/user/developuser/myjobs/apps/spark2x”目录 hbase-site.xml 准备MRS应用开发用户时得到的keytab文件

    来自:帮助中心

    查看更多 →

  • 配置Windows通过EIP访问集群Spark

    配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Spark文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本

    来自:帮助中心

    查看更多 →

  • 通过JDBC访问Spark SQL样例程序

    通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序(Java) 过JDBC访问Spark SQL样例程序(Scala) 父主题: 开发Spark应用

    来自:帮助中心

    查看更多 →

  • 使用Oozie调度Spark访问HBase以及Hive

    Spark客户端目录(如“/opt/client/Spark2x/spark/conf”) hive-site.xml HDFS的“/user/developuser/myjobs/apps/spark2x”目录 hbase-site.xml Spark客户端目录(如“/opt/client/Spark2x/spark/jars”)

    来自:帮助中心

    查看更多 →

  • 配置Windows通过EIP访问集群Spark

    配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Spark文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本

    来自:帮助中心

    查看更多 →

  • 在Linux ECS上使用obsutil通过内网访问OBS

    确认是否已经是内网访问OBS 具体方法请参见如何判断是否内网访问OBS? 下载obsutil obsutil最新版本和下载链接请参见下载obsutil。 配置obsutil 使用obsutil之前,您需要配置obsutil与OBS的对接信息,包括OBS终端节点(Endpoint)和访问密钥(AK和SK)。

    来自:帮助中心

    查看更多 →

  • 在ECS上通过内网访问OBS

    在ECS上通过内网访问OBS 概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS

    来自:帮助中心

    查看更多 →

  • 配置Flink通过IAM委托访问OBS

    配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source

    来自:帮助中心

    查看更多 →

  • 使用Spark-submit提交Spark Jar作业

    Management,简称IAM)进行精细的企业级多租户管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全地控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并使用策略来控制他们对华为云资源的访问范围。 目前包括角色(粗粒度授权)和策略(细粒度授

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了