配置Hive通过IAM委托访问OBS 参考配置 MRS 集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Hive客户端创建Location为OBS路径的表。 建表时指定Location为OBS路径 使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source

查看更多 →

保存配置并重启JD BCS erver2x实例。 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果是安全集群，使用以下命令用户进行用户认证，如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 用户名 在spark-b

查看更多 →

如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 例如，执行以下命令访问“mrs-wor

查看更多 →

说明 --connect 指定JDBC连接的URL，格式为：jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存

查看更多 →

在E CS 上通过内网访问OBS 在ECS上通过内网访问OBS方案概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS 父主题： OBS数据访问

查看更多 →

通过数据应用访问Alluxio 访问Alluxio文件系统的端口号是19998，即地址为alluxio://<alluxio的master节点ip>:19998/<PATH>，本节将通过示例介绍如何通过数据应用（Spark、Hive、Hadoop MapReduce和Presto）访问Alluxio。

查看更多 →

配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env

查看更多 →

详细应用场景请参见应用场景。通过CDN实现OBS文件下载加速的详细配置方法请参见最佳实践。 原理介绍 客户端直接访问OBS：由于文件只存储在一个区域，距离文件存储区域较远的用户访问OBS时，响应速度可能会比较慢。 客户端使用 CDN加速 访问OBS：当客户端发起访问请求时，会首先通过CDN查找对此

查看更多 →

+0800] 2 访问IP地址 x.x.x.x 3 响应时间(单位ms) 1 4 Referer信息 - 5 HTTP协议标识 HTTP/1.1 6 HTTP请求方式 GET 7 CDN加速 域名 www.test.com 8 请求路径 /test/1234.apk 9 HTTP状态码 206

查看更多 →

通过JDBC访问Spark SQL的程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →

在ECS上通过内网访问OBS 概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS

查看更多 →

配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source

查看更多 →

HTTP（AKSK认证） HTTP（AKSK认证）连接器包含“创建http请求”一个执行动作。 连接参数 创建http请求连接时连接参数说明如表1所示。 表1 连接参数说明 名称 必填 说明 连接名称 是 设置连接名称。 描述 否 对于连接的信息描述说明。 accessKey 是

查看更多 →

ASM支持HTTP/1.0吗？ 问题现象 Istio 默认不支持 HTTP/1.0。 原因分析 Istio中负责流量转发的是Envoy，负责分配规则的是Pilot。Pilot的环境变量PILOT_HTTP10 默认为 0，即默认不支持 HTTP/1.0。 解决方法 编辑iop中的环境变量

查看更多 →

配置HTTP源端参数 作业中源连接为HTTP连接时，源端作业参数如表1所示。当前只支持从HTTP URL导出数据，不支持导入。 表1 HTTP/HTTPS作为源端时的作业参数 参数名 说明 取值样例 文件URL 通过使用GET方法，从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS

查看更多 →

连接RDS for PostgreSQL实例 连接RDS for PostgreSQL实例的方式 通过DAS登录RDS for PostgreSQL实例并创建数据库（推荐） 通过psql命令行客户端连接实例 通过pgAdmin连接RDS for PostgreSQL实例 通过JDBC连接RDS

查看更多 →

HTTP（IAM认证） HTTP（IAM认证）连接器包含“创建http请求”一个执行动作。 连接参数 创建http请求连接时使用IAM认证，连接参数说明如表1所示。 表1 连接参数说明 名称 必填 说明 示例值/默认值 连接名称 是 设置连接名称。 HTTP(IAM认证)的连接 描述

查看更多 →

HTTP（apiKey认证） HTTP（apiKey认证）连接器包含“创建http请求”一个执行动作。 连接参数 创建http请求连接时连接参数说明如表1所示。 表1 连接参数说明 名称 必填 说明 连接名称 是 设置连接名称。 描述 否 对于连接的信息描述说明。 X-API-Key

查看更多 →

描述SMN服务向HTTP(S)终端发送消息的格式，您可以通过消息头部信息中的消息类型来区分消息格式。消息格式包括：HTTP(S)订阅确认消息的格式、HTTP(S)推送消息的格式和HTTP(S)取消订阅消息的格式三种消息格式，HTTP/HTTPS协议均为POST方式。 当SMN服务向HTT

查看更多 →

配置HTTP源端参数 作业中源连接为HTTP连接时，源端作业参数如表1所示。当前只支持从HTTP URL导出数据，不支持导入。 表1 HTTP/HTTPS作为源端时的作业参数 参数名 说明 取值样例 文件URL 通过使用GET方法，从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS

查看更多 →

Topic的唯一的资源标识，可通过查询主题列表获取该标识。 task_id 是 String http探测任务id 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取

查看更多 →