输入流DIS通道名称。该通道用于接收近线行为数据。 starting_offsets 是 String 读取DIS数据的起始位置。 LATEST：从最新的数据开始读取。 EARLIEST：从最旧的数据开始读取。 表9 out_stream_conf 参数说明 参数名称 是否必选 参数类型 说明 stream_name

查看更多 →

Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示： 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际情况填写 table.type 必填

查看更多 →

读取文件控制并发 在基因数据处理流程中，经常需要读取某个文件的内容来控制并发任务，或者获取另一个步骤的“输出结果”来控制并发任务。如，把样本文件按照固定大小进行拆分之后，需要得到所有的拆分文件名集合。或者上一步是分布式处理的，需要得到结果的总和。 图1 读取文件控制并发 这种情况

查看更多 →

读取配置文件 接口名称 WEB_ConfigFileProcessAPI(后续废弃) 功能描述 读取配置文件 应用场景 读取配置文件 URL https://ip/action.cgi?ActionID=WEB_ConfigFileProcessAPI 参数 无 返回值 表1 读取配置文件返回值

查看更多 →

读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */

查看更多 →

使用Scan读取数据 功能介绍 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中，每行数

查看更多 →

汇聚分表表名 array JAVA - 2.2.2 - 根据配置的表名，汇聚分表的sql。以该表名开头的表汇聚成同样的表名 mysql最大采集行数 integer JAVA 500 2.4.1 - 可采集的mysql最大行数 sql语句最大采集字节数 integer JAVA 2000 2.4

查看更多 →

使用流式解码实现数据逻辑复制 第三方复制工具通过流式逻辑解码从 GaussDB 抽取逻辑日志后到对端数据库回放。对于使用JDBC连接数据库的复制工具，具体代码请参考《开发指南》中“应用程序开发教程 > 基于JDBC开发 > 示例：逻辑复制代码示例”章节。 父主题： 逻辑解码

查看更多 →

下载对象-流式下载(Go SDK) 功能说明 您可以根据需要将存储在OBS中的对象下载到本地。 流式下载指定文件。 接口约束 您必须是桶拥有者或拥有下载对象的权限，才能下载对象。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:object:GetObject权限，如

查看更多 →

下载对象-流式下载(Python SDK) 功能说明 您可以根据需要将存储在OBS中的对象下载到本地。流式下载指定文件。 接口约束 您必须是桶拥有者或拥有下载对象的权限，才能下载对象。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:object:GetObject权

查看更多 →

读取Hudi数据概述 Hudi的读操作，作用于Hudi的三种视图之上，可以根据需求差异选择合适的视图进行查询。 Hudi 支持多种查询引擎Spark和Hive，具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y Y Spark（SparkSQL）

查看更多 →

读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */

查看更多 →

读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */

查看更多 →

使用Get读取数据 功能简介 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。 可以为Get对象设定参数值，如列族的名称和列的名称。 查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 代码样例 public void

查看更多 →

使用Scan读取数据 功能简介 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中，每行数

查看更多 →

使用Get读取数据 功能介绍 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 针对开启冷热分离特性的列族，可以

查看更多 →

读取Hudi数据概述 Hudi的读操作，作用于Hudi的三种视图之上，可以根据需求差异选择合适的视图进行查询。 Hudi支持多种查询引擎Spark、Hive、HetuEngine，具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y Y

查看更多 →

通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。

查看更多 →

MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要 DLI 与MySQL建立增强型跨

查看更多 →

自定义数据源开发示例（定时任务） 操作场景 FDI当前支持接入MySQL类型数据库，但因为MySQL是最常用的数据库类型，可以方便开发者参照理解，故本章节以MySQL类型自定义连接器为例进行开发，示例使用Java语言进行开发，Demo代码参考MysqlConnctor.rar。 前提条件 准备装有1

查看更多 →

使用流式解码实现数据逻辑复制 第三方复制工具通过流式逻辑解码从GaussDB抽取逻辑日志后到对端数据库回放。对于使用JDBC连接数据库的复制工具，具体代码请参考《开发指南》中“应用程序开发教程 > 基于JDBC开发 > 示例：逻辑复制代码示例”章节。 父主题： 逻辑解码

查看更多 →