Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的 DLI 表查询无数据 问题现象 使用Flink作业输出流写入数据到了OBS中，通过该OBS文件路径创建的DLI表进行数据查询时，无法查询到数据。 例如，使用如下Flink结果表将数据写入到OBS的“obs://obs-sink/car_infos”路径下。

查看更多 →

配置CORS实现跨域访问OBS OBS提供HTML5协议中的CORS设置，帮助用户实现跨域访问。 您可以新建CORS规则，也可以从其他桶复制已有CORS规则。 背景知识 跨域是指不同 域名 之间相互访问。 跨域访问是浏览器出于安全考虑而设置的一个限制，即同源策略。由于JavaScri

查看更多 →

AUTHORIZATION”区域的组件插件名称“OBS”。 为“hiveobs1”用户组赋予OBS存储路径的“Read”和“Write”的权限，此时绑定“hiveobs1”组的用户均可以访问hive数据仓库路径。 图6 为自定义Hive用户组赋予OBS存储路径读和写权限 自定义Locatio

查看更多 →

件操作用户赋予OBS路径的“Read”和“Write”权限。 Ranger权限配置 登录 FusionInsight Manager，选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组，例如，名称为“obs_flink”，并将该用户组绑定给对应用户。 使用

查看更多 →

配置obsutil 使用obsutil之前，您需要配置obsutil与OBS的对接信息，包括OBS终端节点（Endpoint）和访问密钥（AK和SK）。具体操作请参见obsutil指南的初始化配置章节。 其中OBS终端节点（Endpoint）需要根据E CS 所在区域输入。OBS区域和终端节点信息请参见地区和终端节点。

查看更多 →

DIS输出 算子简介 名称： DIS输出，IoT数据分析服务仅在华为云部署形态支持DIS数据源 功能说明： 数据输出到DIS云服务。 约束：下游不允许接任何算子。 算子配置 基础配置项 算子名称： 配置项英文名：name 说明： 算子名称，对算子进行个性化的命名，以辅助增加可读性

查看更多 →

<sensitive> 注意：标记为敏感项的输出变量在输出时会自动被隐藏，但其输出值仍然可以通过以下方式可见： 输出变量的值记录在 state 文件中，其值对所有能够访问state 文件的用户均可见。 子模块中敏感输出变量值被父模块调用，通过父模块的相关输出和资源引用后可以在CLI中显示。

查看更多 →

输出算子 Hive输出 Spark输出 表输出 文件输出 HBase输出 ClickHouse输出 父主题： 算子帮助

查看更多 →

文件输出 概述 “文件输出”算子，用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入：需要输出的字段 输出：文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况，填写字

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

程序输出 代码片段描述 缩写 扩展内容 将表达式发送到标准输出 “print” print(my_expression) 父主题： 后缀片段

查看更多 →

通过Nginx反向代理访问OBS 应用场景 一般情况下，用户会通过OBS提供的桶访问域名（例如https://bucketname.obs.cn-north-4.myhuaweicloud.com）或者绑定的自定义域名来访问OBS。 但在某些场景下，用户需要通过固定的IP地址访问OBS，例如：

查看更多 →

配置Hive通过IAM委托访问OBS 参考配置 MRS 集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Hive客户端创建Location为OBS路径的表。 建表时指定Location为OBS路径 使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source

查看更多 →

bc连接的方式更为高效的将数据导入到关系数据库中。 -direct-split-size 在使用上面direct直接导入的基础上，对导入的流按字节数分块，特别是使用直连模式从PostgreSQL导入数据时，可以将一个到达设定大小的文件分为几个独立的文件。 -inline-lob-limit

查看更多 →

properties 在文件中添加OBS日志级别配置： log4j.logger.org.apache.hadoop.fs.obs=WARN log4j.logger.com.obs=WARN 图4 添加OBS日志级别 使用Spark Shell读取OBS文件 使用安装客户端用户登录客户端安装节点。

查看更多 →

组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 例如，执行以下命令访问“mrs-word001”并行文件系统，返回文件列表即表示访问OBS成功，如图1所示： hadoop

查看更多 →

使用第三方工具OBS推流，延时过长怎么办？ 使用推流工具进行推流操作时，需手动调节直播流延时时间，HLS的播放延时在10～35秒之间为正常范围。如您的延时已超过正常范围，请检查“关键帧间隔（秒，0=自动）”值设置是否合理，建议值为2-3秒。参数设置步骤如下： 选择“输出 > 高级”。

查看更多 →

DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。

查看更多 →

OBS输出流 MRS Kafka输出流 开源Kafka输出流 ORC - OBS输出流 DWS输出流（通过OBS方式转储） Parquet - OBS输出流 文件系统输出流 XML DIS输入流 - 父主题： Flink Jar作业开发指南

查看更多 →

SQL作业类 怎样将OBS表映射为DLI的分区表？ Flink SQL作业Kafka分区数增加或减少，怎样不停止Flink作业实现动态感知？ 在Flink SQL作业中创建表使用EL表达式，作业运行提示DLI.0005错误怎么办？ Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据

查看更多 →

确认是否已经是内网访问OBS 具体方法请参见如何判断是否内网访问OBS？ 下载obsutil obsutil最新版本和下载链接请参见下载obsutil。 配置obsutil 使用obsutil之前，您需要配置obsutil与OBS的对接信息，包括OBS终端节点（Endpoint）和访问密钥（AK和SK）。

查看更多 →