的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS 使用Flume采集数据库表数据并且上报至LTS 使用Flume采集syslog协议传输的日志上报到LTS 通过Flume采集TCP/UDP协议传输的日志上报到LTS 通过Flu

查看更多 →

部分。 写入文件的过程如图2所示。 图2 写入文件过程 HDFS文件写入的详细步骤如下所示： Driver创建要写入文件的目录。 根据RDD分区分块情况，计算出写数据的Task数，并下发这些任务到Executor。 Executor执行这些Task，将具体RDD的数据写入到步骤1创建的目录下。

查看更多 →

源数据库binlog日志是否开启 检查源数据库是否开启了Binlog日志功能。MySQL增量迁移时，源数据库的Binlog日志必须打开。 不通过原因 源数据库未开启Binlog日志功能。 处理建议 如果源数据库为本地自建MySQL库，建议参考如下操作开启Binlog日志。 查看binlog日志是否开启。

查看更多 →

源数据库是否具有日志解析权限 Oracle为源增量同步时，DRS会对源数据库连接用户权限进行检查。源数据库连接用户不具有日志解析权限，会导致增量迁移失败。 不通过原因 源数据库用户不具有EXECUTE_CATA LOG _ROLE角色。 源数据库用户不具有日志解析权限。 处理建议 建

查看更多 →

查询GeminiDB Cassandra数据库慢日志 功能介绍 查询GeminiDB Cassandra数据库慢日志信息，支持日志关键字搜索。 接口约束 不支持使用 &&、||、AND、OR、NOT、*、？、:、>、<、=、>=、<= 这些关键字来搜索日志。 查询到的慢日志数据在入参start_time和end_time的时间段内。

查看更多 →

查询GeminiDB Influx数据库慢日志 功能介绍 查询GeminiDB Influx数据库慢日志信息，支持日志关键字搜索。 接口约束 不支持使用 &&、||、AND、OR、NOT、*、？、:、>、<、=、>=、<= 这些关键字来搜索日志。 查询到的慢日志数据在入参start_time和end_time的时间段内。

查看更多 →

修改数据同步方式 操作场景 云数据库RDS支持切换主备实例的数据同步方式，以满足不同业务需求。可选择“异步”或者“同步”两种方式。 异步（默认选择）：应用向主库写入数据时，数据写入主库，不需要等待备库收到日志，主库就向应用返回响应。 优点：主库因为底层故障等原因故障时，可以立即进

查看更多 →

文件系统写入失败 现象描述 仅挂载至一种 服务器 系统的文件系统出现写入数据失败的情况。 可能原因 服务器的安全组配置不正确，需要与文件系统通信的端口未开放。 定位思路 前往安全组控制台查看目标服务器的端口开放情况，并正确配置。 解决方法 登录 弹性云服务器 控制台。 登录管理控制台。 单击管理控制台左上角的，选择区域。

查看更多 →

通常情况下，一个事务产生的日志的同步顺序如下： 主机将日志内容写入本地内存。 主机将本地内存中的日志写入本地文件系统。 主机将本地文件系统中的日志内容刷盘。 主机将日志内容发送给备机。 备机接收到日志内容，存入备机内存。 备机将备机内存中的日志写入备机文件系统。 备机将备机文件系统中的日志内容刷盘。

查看更多 →

文件系统写入失败 现象描述 仅挂载至一种服务器系统的文件系统出现写入数据失败的情况。 可能原因 服务器的安全组配置不正确，需要与文件系统通信的端口未开放。 定位思路 前往安全组控制台查看目标服务器的端口开放情况，并正确配置。 解决方法 登录弹性 云服务器 控制台。 登录管理控制台。

查看更多 →

其他限制 支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。 目标数据库多的列要求非空且没有默认值，源数据库insert数据，同步到目标数据库后多的列为null，不符合目标数据库要求。 目标数据库多的列设置固定默认值，且有唯一约束。源数据库insert多

查看更多 →

填写SSL证书密码。 描述 填写连接器的描述信息，用于识别不同的连接器。 支持的动作 写入消息 配置参数 表1 发送消息 参数 说明 主题 填写需要监听的topic。 Partition 消息将被写入的分区。 Key 消息Key值。 Message 消息内容。 Acks 发送确认参数。

查看更多 →

提交的最后一个事务的ID。 与事务日志不同，快照日志是文本文件，可以使用文本编辑器直接查看其内容。由于快照日志包含了大量的数据，因此文件可能会非常大。 系统日志（System Logs）： ZooKeeper的系统日志（也称为运行日志或应用日志）通常记录了ZooKeeper集群在

查看更多 →

是 脏数据写入连接 当“是否写入脏数据”为“是”才显示该参数。 脏数据要写入的连接，目前只支持写入到OBS连接。 obs_link OBS桶 当“脏数据写入连接”为OBS类型的连接时，才显示该参数。 写入脏数据的OBS桶的名称。 dirtydata 脏数据目录 “是否写入脏数据”选择为“是”时，该参数才显示。

查看更多 →

使用Spark SQL删除MOR表后重新建表写入数据无法同步ro、rt表 问题 使用Spark SQL删除MOR表后重新建表写入数据不能实时同步ro、rt表，报错如下： WARN HiveSyncTool: Got runtime exception when hive syncing

查看更多 →

使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入 现象描述 使用Storm-JDBC插件开发Oracle写入Bolt，发现能连上Oracle数据库，但是无法向Oracle数据库里面写数据。 可能原因 拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm

查看更多 →

向Phoenix表中写入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public

查看更多 →

是 脏数据写入连接 当“是否写入脏数据”为“是”才显示该参数。 脏数据要写入的连接，目前只支持写入到OBS连接。 obs_link OBS桶 当“脏数据写入连接”为OBS类型的连接时，才显示该参数。 写入脏数据的OBS桶的名称。 dirtydata 脏数据目录 “是否写入脏数据”选择为“是”时，该参数才显示。

查看更多 →

size limit. at org.apache.hadoop.hdfs.protocol.BlockListAsLongs$BufferDecoder$1.next(BlockListAsLongs.java:369) at org.apache.hadoop.hdfs.protocol

查看更多 →

整库同步适用于将本地数据中心或在E CS 上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线同步场景，不适用于在线实时同步。 支持整库同步的数据源（已支持的数据源即可作为源端，又可作为目的端组成不同链路）如下所示： 读取能力：DWS、RDS(MySQL)、RDS(PostgreSQL) 写入能力：DWS、 DLI

查看更多 →

日志 查看特定函数的日志。 serverless logs --function functionName 选项 --函数或-f：获取日志的函数，必填。 --count或-c：显示的日志数。 示例 检索日志 serverless logs --function functionName

查看更多 →