Upsert数据写入 本章节主要介绍ClickHouse数据写入时数据去重写入功能的SQL基本语法和使用说明。 本章节仅适用于 MRS 3.3.0及之后版本。 基本语法 方法一：使用INSERT VALUES方式进行数据写入。 UPSERT INTO [database_name.]table

查看更多 →

批量写入Hudi表 引入Hudi包生成测试数据，参考使用Spark Shell创建Hudi表章节的2到4。 写入Hudi表，写入命令中加入参数：option("hoodie.datasource.write.operation", "bulk_insert")，指定写入方式为bulk_insert，如下所示：

查看更多 →

流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入

查看更多 →

按地址下载 您可以按照DDS提供的备份文件地址下载手动或自动备份文件，用于本地存储备份或者恢复数据库。 使用须知 通过DDS控制台下载的备份均为全量备份。 操作步骤 登录管理控制台。 单击管理控制台左上方的，选择区域和项目。 在页面左上角单击，选择“数据库 > 文档数据库服务 DDS”，进入文档数据库服务信息页面。

查看更多 →

流式写入Hudi表 本章节仅适用于MRS 3.3.1-LTS及之前版本。 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能：

查看更多 →

配置项 配置说明 推荐配置 目的连接名称 选择已配置的MRS Hudi连接。 hudi_to_cdm 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量

查看更多 →

配置项 配置说明 推荐配置 目的连接名称 选择已配置的MRS Hudi连接。 hudi_to_cdm 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量

查看更多 →

文件系统写入失败 现象描述 仅挂载至一种 服务器 系统的文件系统出现写入数据失败的情况。 可能原因 服务器的安全组配置不正确，需要与文件系统通信的端口未开放。 定位思路 前往安全组控制台查看目标服务器的端口开放情况，并正确配置。 解决方法 登录 弹性云服务器 控制台。 登录管理控制台。

查看更多 →

文件系统写入失败 现象描述 仅挂载至一种服务器系统的文件系统出现写入数据失败的情况。 可能原因 服务器的安全组配置不正确，需要与文件系统通信的端口未开放。 定位思路 前往安全组控制台查看目标服务器的端口开放情况，并正确配置。 解决方法 登录弹性 云服务器 控制台。 登录管理控制台。 单击管理控制台左上角的，选择区域。

查看更多 →

储配置信息。 匿名写入 匿名写入默认关闭，适用于安卓/IOS/小程序/浏览器端上报日志才能使用匿名写入，需要提交工单开通白名单。 打开匿名写入则表示该日志流打开匿名写入权限，不会经过有效鉴权，可能产生脏数据。关于SDK使用请参考SDK接入。 说明： 使用匿名写入采集日志功能仅支持

查看更多 →

图3 添加字段转换器 创建“表达式转换”的转换器，表达式输入“1.0”，然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间按原样复制文件，则可以选择二进制格式。二进制格式传输文件到文件的速率高、性能稳定，且不需要在作业第二步进行字段匹配。 文件传输的目录结构 CD

查看更多 →

图3 添加字段转换器 创建“表达式转换”的转换器，表达式输入“1.0”，然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间按原样复制文件，则可以选择二进制格式。二进制格式传输文件到文件的速率高、性能稳定，且不需要在作业第二步进行字段匹配。 文件传输的目录结构 CD

查看更多 →

图3 添加字段转换器 创建“表达式转换”的转换器，表达式输入“1.0”，然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间按原样复制文件，则可以选择二进制格式。二进制格式传输文件到文件的速率高、性能稳定，且不需要在作业第二步进行字段匹配。 文件传输的目录结构 CD

查看更多 →

图3 添加字段转换器 创建“表达式转换”的转换器，表达式输入“1.0”，然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间按原样复制文件，则可以选择二进制格式。二进制格式传输文件到文件的速率高、性能稳定，且不需要在作业第二步进行字段匹配。 文件传输的目录结构 CD

查看更多 →

作业分组： CDM 支持对作业进行分组，分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。 是否定时执行：可选择作业是否定时自动启动。 抽取并发数：可设置同时执行的抽取任务数。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可

查看更多 →

使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入 现象描述 使用Storm-JDBC插件开发Oracle写入Bolt，发现能连上Oracle数据库，但是无法向Oracle数据库里面写数据。 可能原因 拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm

查看更多 →

向Phoenix表中写入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public

查看更多 →

按记录ID查询数据 功能介绍 按记录ID查询数据，该接口为同步接口（同步接口是指调用后，会等待函数执行结束后，才返回结果）。 在此之前需要先创建对象以及相关数据记录。 URI GET AstroZero 域名 /u-route/baas/data/v1.0/bobject/{objectName}/{recordId}

查看更多 →

作业分组：CDM支持对作业进行分组，分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。 是否定时执行：可选择作业是否定时自动启动。 抽取并发数：可设置同时执行的抽取任务数。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可

查看更多 →

GS_ASP GS_ASP显示被持久化的ACTIVE SESSION PROFILE样本，该表只能在系统库下查询，在用户库下查询无数据。 表1 GS_ASP字段 名称 类型 描述 sampleid bigint 采样ID。 sample_time timestamp with time

查看更多 →

preferSecondary：优先从数据库，如果没有从数据库才连接到主数据库。JDBC 42.2.0以下版本请使用参数值“preferSlave”。 loadBalanceHosts 尝试连接数据库的顺序。 False：默认值，按URL中的定义顺序连接数据库。 True：随机连接数据库。 区别数据库主从的方

查看更多 →