华为云

面向未来的智能世界,数字化是企业发展的必由之路。数字化成功的关键是以云原生的思维践行云原生,全数字化、全云化、AI驱动,一切皆服务。

华为云将持续创新,携手客户、合作伙伴和开发者,致力于让云无处不在,让智能无所不及,共建智能世界云底座。

 
 

    华为mars spark访问obs 更多内容
  • 通过IAM委托访问OBS

    通过IAM委托访问OBS IAM委托为统一身份认证服务IAM的功能特性,OBS在部分使用场景中(如CDN私有桶回源、跨区域复制),需要使用IAM委托功能,授予其他用户或云服务OBS访问权限,替委托方管理OBS资源,实现安全高效的代维工作。 关于IAM委托的相关介绍,请参考《统一身份认证服务用户指南》。

    来自:帮助中心

    查看更多 →

  • 通过CDN加速访问OBS

    ,但一般情况下文件只存储在一个区域,不同区域的用户访问OBS的响应速度存在差异。在需要频繁访问的场景下,直接访OBS来获取相应文件,还会消耗大量的流量费用。 图1 从OBS获取数据过程 方案说明 OBS提供低成本的存储华为云CDN可以提供网站加速、文件下载加速和点播加速。将数

    来自:帮助中心

    查看更多 →

  • 通过临时URL访问OBS

    通过临时URL访问OBS 您可以通过临时URL访问OBS,对桶或对象进行创建桶、上传对象和下载对象等操作,详细示例可参考使用URL进行授权访问。本章节主要详细介绍如何通过临时URL分享对象。 分享对象 OBS提供分享功能,将存放在OBS对象(文件或文件夹)限时分享给所有用户。 文件分享

    来自:帮助中心

    查看更多 →

  • OBS支持HTTPS访问吗?

    OBS支持HTTPS访问吗? OBS支持HTTPS访问。 使用OBS分配的 域名 进行访问时,只要在浏览器中将桶或对象的URL的http替换成https即可。 OBS自定义域名绑定配合CDN同时使用时,通过CDN管理控制台进行HTTPS证书管理,即可使用HTTPS访问。CDN管理控制

    来自:帮助中心

    查看更多 →

  • 华为云OBS

    华为OBS 对象存储服务 (Object Storage Service,OBS)提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小。包含“读取文件”和“上传文件”两个执行动作,“当有新文件上传”一个触发事件。 连接参数 华为OBS连接器使用自定义认证,连接参数说明如表1所示。

    来自:帮助中心

    查看更多 →

  • 华为云OBS

    华为OBS 华为OBS提供了obsutil工具来解冻归档对象,支持批量解冻。 obsutil工具支持Windows、Linux和macOS等操作系统,您可以根据实际情况下载和安装合适的版本。 操作步骤 下载并安装obsutil。 解冻归档存储对象。 解冻完成后,参考华为云OB

    来自:帮助中心

    查看更多 →

  • 访问OBS链接提示告警信息

    访问OBS链接提示告警信息 原因 因为部分用户使用OBS桶时上传了包含色情、暴恐、涉政等违法违规内容,OBS和第三方平台(微信/支付宝/百度等)检测到后会封禁此资源。第三方平台在封禁此资源的同时,会将OBS域名列为不信任域名,导致其他合法使用OBS域名的用户也受到影响。 解决方案

    来自:帮助中心

    查看更多 →

  • 如何判断是否内网访问OBS?

    明E CS 访问OBS桶为内网访问OBS桶的全局域名格式为:桶名.obs.myhuaweicloud.com 例如在华北-北京四的ECS上,执行ping example-bucket.obs.myhuaweicloud.com。 图1 响应信息 父主题: 产品咨询

    来自:帮助中心

    查看更多 →

  • 使用Spark SQL作业分析OBS数据

    使用Spark SQL作业分析OBS数据 DLI 支持将数据存储OBS上,后续再通过创建OBS表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括:创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已

    来自:帮助中心

    查看更多 →

  • Spark on CCE with OBS安装使用指南

    Spark on CCE with OBS安装使用指南 安装Spark 使用Spark on CCE 父主题: 批量计算

    来自:帮助中心

    查看更多 →

  • 配置CORS实现跨域访问OBS

    配置CORS实现跨域访问OBS OBS提供HTML5协议中的CORS设置,帮助用户实现跨域访问。 您可以新建CORS规则,也可以从其他桶复制已有CORS规则。 背景知识 跨域是指不同域名之间相互访问。 跨域访问是浏览器出于安全考虑而设置的一个限制,即同源策略。由于JavaScri

    来自:帮助中心

    查看更多 →

  • 使用华为云OBS

    网站域名是否需要接入备案 使用华为OBS做托管的网站: 如果源站在华为云:一级域名需要在华为云提交备案。 如果源站不在华为云: 一级域名及其子域名都不在华为云解析,此时不需要在华为云接入备案。 一级域名不在华为云,子域名在华为云解析,此时需要在华为云接入备案。 父主题: 备案场景

    来自:帮助中心

    查看更多 →

  • 通过JDBC访问Spark SQL的程序

    通过JDBC访问Spark SQL的程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题: 开发Spark应用

    来自:帮助中心

    查看更多 →

  • 有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403]

    访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] 请排查“全局配置 > 作业配置” 对应OBS桶是否被设置为了DLI日志桶,日志桶不能用于DLI的其他业务功能中。 父主题: 作业运维报错

    来自:帮助中心

    查看更多 →

  • 安装Spark

    ry-obs/。请务必修改OBS桶名称及目录为正确值。 修改~/spark-obs/conf/spark-env.sh文件,如果该文件不存在,使用命令复制模板为文件。 cp ~/spark-obs/conf/spark-env.sh.template ~/spark-obs/conf/spark-env

    来自:帮助中心

    查看更多 →

  • 使用MRS Spark SQL访问DWS表

    使用 MRS Spark SQL访问DWS表 华为云提供 MapReduce服务 (MRS),可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件,专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark SQL语言,

    来自:帮助中心

    查看更多 →

  • Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误

    Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 问题现象 Spark程序访问OBS数据时上报如下错误。 Caused by: com.obs.services.exception.ObsException:

    来自:帮助中心

    查看更多 →

  • 通过Nginx反向代理访问OBS

    通过Nginx反向代理访问OBS 应用场景 一般情况下,用户会通过OBS提供的桶访问域名(例如https://bucketname.obs.cn-north-4.myhuaweicloud.com)或者绑定的自定义域名来访问OBS。 但在某些场景下,用户需要通过固定的IP地址访问OBS,例如:

    来自:帮助中心

    查看更多 →

  • 在Linux ECS上使用obsutil通过内网访问OBS

    ECS上使用obsutil通过内网访问OBS obsutil是适用于Windows、macOS和Linux操作系统的命令行工具,支持通过配置内网 DNS服务器地址 的方式,使在华为云上的Linux ECS通过内网直接访问OBS,下面将介绍其具体操作流程和操作步骤。 obsutil需通

    来自:帮助中心

    查看更多 →

  • 使用Spark作业访问DLI元数据

    DLI进行Spark作业访问DLI元数据开发流程参考如下: 图1 Spark作业访问DLI元数据开发流程 表2 开发流程说明 序号 阶段 操作界面 说明 1 创建DLI通用队列 DLI控制台 创建作业运行的DLI队列。 2 OBS桶文件配置 OBS控制台 如果是创建OBS表,则需要上传文件数据到OBS桶下。

    来自:帮助中心

    查看更多 →

  • 使用Spark-submit提交Spark Jar作业

    Management,简称IAM)进行精细的企业级多租户管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全地控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并使用策略来控制他们对华为云资源的访问范围。 目前包括角色(粗粒度授权)和策略(细粒度授

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了