通过固定IP地址访问OBS。 方案架构 本实践将Nginx部署在E CS 上，搭建Nginx反向代理 服务器 。用户对代理无感知，只需要将请求发送到反向代理服务器，然后由反向代理服务器向OBS获取数据，再返回给用户。反向代理服务器和OBS对外看做一个整体，仅暴露代理服务器的IP地址，隐藏了OBS真实的 域名 或IP地址。

查看更多 →

配置Hive通过IAM委托访问OBS 参考配置 MRS 集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Hive客户端创建Location为OBS路径的表。 建表时指定Location为OBS路径 使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source

查看更多 →

配置Spark通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Spark客户端创建Location为OBS路径的表。 集群安装后使用spark beeline 登录 FusionInsight Manager，选择“集群 > 服务 > Spark2x

查看更多 →

如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 例如，执行以下命令访问“mrs-wor

查看更多 →

快速模式，利用了数据库的导入工具，如MySQL的mysqlimport，可以比jdbc连接的方式更为高效的将数据导入到关系数据库中。 -direct-split-size 在使用上面direct直接导入的基础上，对导入的流按字节数分块，特别是使用直连模式从PostgreSQL导入数据时，可

查看更多 →

obsutil需通过公网下载，或者从其他可以访问公网的云服务器下载后传到当前云服务器安装。 前提条件 在登录ECS云服务器之前，请确保您已购买云服务器。 操作流程 图1 在Linux ECS上使用obsutil通过内网访问OBS的流程 操作步骤 登录Linux ECS 登录华为云，在页面右上角单击“控制台”，进入“控制台”页面。

查看更多 →

确认是否已经是内网访问OBS 具体方法请参见如何判断是否内网访问OBS？ 下载obsutil obsutil最新版本和下载链接请参见下载obsutil。 配置obsutil 使用obsutil之前，您需要配置obsutil与OBS的对接信息，包括OBS终端节点（Endpoint）和访问密钥（AK和SK）。

查看更多 →

在ECS上通过内网访问OBS 概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS

查看更多 →

配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source

查看更多 →

DIS输出 算子简介 名称： DIS输出，IoT数据分析服务仅在华为云部署形态支持DIS数据源 功能说明： 数据输出到DIS云服务。 约束：下游不允许接任何算子。 算子配置 基础配置项 算子名称： 配置项英文名：name 说明： 算子名称，对算子进行个性化的命名，以辅助增加可读性

查看更多 →

<sensitive> 注意：标记为敏感项的输出变量在输出时会自动被隐藏，但其输出值仍然可以通过以下方式可见： 输出变量的值记录在 state 文件中，其值对所有能够访问state 文件的用户均可见。 子模块中敏感输出变量值被父模块调用，通过父模块的相关输出和资源引用后可以在CLI中显示。

查看更多 →

程序输出 代码片段描述 缩写 扩展内容 将表达式发送到标准输出 “print” print(my_expression) 父主题： 后缀片段

查看更多 →

输出算子 Hive输出 Spark输出 表输出 文件输出 HBase输出 ClickHouse输出 父主题： 算子帮助

查看更多 →

文件输出 概述 “文件输出”算子，用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入：需要输出的字段 输出：文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况，填写字

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储格式（

查看更多 →

在ECS上通过内网访问OBS 在ECS上通过内网访问OBS方案概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS 父主题： OBS数据访问

查看更多 →

配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env

查看更多 →

备案是中国大陆的一项法规，网站的域名和服务器IP需要进行备案，备案成功后您的域名才可以指向服务器开通访问。 如果您使用中国大陆节点服务器提供互联网信息服务，需要先在服务器提供商处提交备案申请，备案成功后域名才可以指向服务器开通访问。如何备案？ 如果您使用的是中国大陆地区以外的服务器（包括中国港澳台及

查看更多 →

备案是中国大陆的一项法规，网站的域名和服务器IP需要进行备案，备案成功后您的域名才可以指向服务器开通访问。 如果您使用中国大陆节点服务器提供互联网信息服务，需要先在服务器提供商处提交备案申请，备案成功后域名才可以指向服务器开通访问。如何备案？ 如果您使用的是中国大陆地区以外的服务器（包括中国港澳台及

查看更多 →

64}$ 数据存储： 配置项英文名：dataStore 说明： 数据存储，如果需要把管道输出数据保存，则需要指定存储。如果没有指定存储，管道输出数据则不保存。 必选： 是 子配置项： 数据存储配置包含如下子配置项： 存储组ID、存储组名称、数据存储ID、数据存储名称、数据存储属性。 存储组ID：

查看更多 →

提示OBS Bucket没有授权怎么办？ DLI 更新委托后，将原有的dli_admin_agency升级为dli_management_agency。 dli_management_agency包含跨源操作、消息通知、用户授权操作所需的权限，除此之外的其他委托权限需求，都需自定义DLI委托。

查看更多 →