ALM-24004 Flume读取数据异常 告警解释 告警模块对Flume Source的状态进行监控，当Source读取不到数据的时长超过阈值时，系统即时上报告警。 默认阈值为0，表示不开启。用户可通过conf目录下的配置文件properties.properties修改阈值：

查看更多 →

Postgres的数据库和表。 步骤3：创建DWS数据库和表：创建用于接收数据的DWS数据库和表。 步骤4：创建增强型跨源连接： DLI 上创建连接RDS和DWS的跨源连接，打通网络。 步骤5：运行作业：DLI上创建和运行Flink OpenSource作业。 步骤6：发送数据和查询结果：RDS

查看更多 →

使用HBase二级索引读取数据 功能介绍 在具有HIndexes的用户表中，HBase使用Filter来查询数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HIndexExample”类的scanDataByHIndex方法中

查看更多 →

示。 映射MySQL表和Hive表字段，Hive表比MySQL表多三个字段y、ym、ymd，即是Hive的分区字段。由于没有源表字段直接对应，需要配置表达式从源表的StartDate字段抽取。 图7 Hive字段映射 单击进入转换器列表界面，再选择“新建转换器 > 表达式转换”，如图8所示。

查看更多 →

示。 映射MySQL表和Hive表字段，Hive表比MySQL表多三个字段y、ym、ymd，即是Hive的分区字段。由于没有源表字段直接对应，需要配置表达式从源表的StartDate字段抽取。 图9 Hive字段映射 单击进入转换器列表界面，再选择“新建转换器 > 表达式转换”，如图10所示。

查看更多 →

示。 映射MySQL表和Hive表字段，Hive表比MySQL表多三个字段y、ym、ymd，即是Hive的分区字段。由于没有源表字段直接对应，需要配置表达式从源表的StartDate字段抽取。 图7 Hive字段映射 单击进入转换器列表界面，再选择“新建转换器 > 表达式转换”，如图8所示。

查看更多 →

调用链中是否采集上报带有参数内容的原始sql 汇聚分表表名 array JAVA - 2.2.2 - 根据配置的表名，汇聚分表的sql。以该表名开头的表汇聚成同样的表名 mysql最大采集行数 integer JAVA 500 2.4.1 - 可采集的mysql最大行数 sql语句最大采集字节数 integer

查看更多 →

使用mysqldump将表结构导出至SQL文件。 mysql数据库是云数据库RDS服务管理所必须的数据库，导出表结构时，禁止指定--all-database参数，否则会造成数据库故障。 mysqldump--databases<DB_NAME>--single-transaction --order-by-primary

查看更多 →

MySQL数据库兼容MySQL模式 MySQL数据库兼容性概述 数据类型 系统函数 操作符 字符集 排序规则 SQL 驱动 父主题： 分布式

查看更多 →

数据库名称支持正则表达式以读取多个数据库的数据，例如flink(.)*表示以flink开头的数据库名。 table-name 是 无 String 访问的表名。 表名支持正则表达式以读取多个表的数据，例如cdc_order(.)*表示以cdc_order开头的表名。 port 否 3306 Integer

查看更多 →

Streaming从Kafka读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

数据库名称支持正则表达式以读取多个数据库的数据，例如flink(.)*表示以flink开头的数据库名。 table-name 是 无 String 访问的表名。 表名支持正则表达式以读取多个表的数据，例如cdc_order(.)*表示以cdc_order开头的表名。 port 否 3306 Integer

查看更多 →

配置Hive读取关系型数据库 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据，并与Hive的其他表进行Join操作。 目前支持使用Hive读取DB2和Oracle两种关系型数据库的数据。 前提条件 已安装Hive客户端。 操作步骤

查看更多 →

ple.json"); df.printSchema(); 通过创建临时表“people”读取文件数据。 df.createOrReplaceTempView("people"); 查询表“people”数据。 Dataset<Row> sqlDF = spark.sql("SELECT

查看更多 →

SQL语法也是1.12。本示例数据源是Kafka，写入结果数据到Elasticsearch。 请参考Flink OpenSource SQL 1.12创建Kafka源表和Flink OpenSource SQL 1.12创建Elasticsearch结果表。 创建Kafka源表，将DLI和Kafka数据源进行链接。

查看更多 →

vars_iter: - [A, B, C] # <==== 注意这里，表示${1} 的并发数量（范围） - [0, 1] 上述G CS 语法中，[A, B, C] 表示并发数量为3数量。而动态的并发，就是数组[]中的值是上一步结果 。如下： job-2:

查看更多 →

vars_iter: - [A, B, C] # <==== 注意这里，表示${1} 的并发数量（范围） - [0, 1] 上述GCS语法中，[A, B, C] 表示并发数量为3数量。而动态的并发，就是数组[]中的值是上一步结果 。如下： job-2:

查看更多 →

读取配置文件 接口名称 WEB_ConfigFileProcessAPI(后续废弃) 功能描述 读取配置文件 应用场景 读取配置文件 URL https://ip/action.cgi?ActionID=WEB_ConfigFileProcessAPI 参数 无 返回值 表1 读取配置文件返回值

查看更多 →

使用SQL语句：否。 模式或表空间：待抽取数据的模式或表空间名称。 表名：要抽取的表名。 其他可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称：选择创建OBS连接中的“obslink”。 桶名：待迁移数据的桶。 写入目录：写入数据到OBS 服务器 的目录。 文件格式：迁移数据表到文件时，文件格式选择“CSV格式”。

查看更多 →

选择界面左侧导航栏中的“数据源管理”，单击数据源列表上方“接入数据源”，进入“接入数据源”界面，设置MYSQL数据源的基本信息，具体参数如表1所示。 表1 参数说明 参数 说明 数据源类型 MYSQL：MYSQL是一款小型关联式数据库管理系统，用户可以读取存放在MYSQL的业务数据，将数据上传到EDS上。

查看更多 →

。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“MySQL”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义

查看更多 →