写入数据 写入数据接口和HBase原生API一致。 可以参考以下样例代码。 样例代码 public void testPut() { LOG .info("Entering testPut."); try(Table table = conn.getTable(tableName))

查看更多 →

数据写入 写入更新数据时报错 Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间 Hudi写入小精度Decimal数据失败

查看更多 →

加解密大量数据 场景说明 当有大量数据（例如：照片、视频或者数据库文件等）需要加解密时，用户可采用信封加密方式加解密数据，无需通过网络传输大量数据即可完成数据加解密。 加密和解密原理 大量数据加密 图1 加密本地文件 说明如下： 用户需要在KMS中创建一个用户主密钥。 用户调用K

查看更多 →

写入OpenTSDB数据 功能简介 使用OpenTSDB的接口(/api/put)写入数据。 函数genWeatherData()模拟生成的气象数据，函数putData()发送气象数据到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb

查看更多 →

Upsert数据写入 本章节主要介绍ClickHouse数据写入时数据去重写入功能的SQL基本语法和使用说明。 本章节仅适用于 MRS 3.3.0及之后版本。 基本语法 方法一：使用INSERT VALUES方式进行数据写入。 UPSERT INTO [database_name.]table

查看更多 →

示例2：加解密大量数据 场景描述 在大量数据加解密的场景，您的程序会经常使用到对数据密钥的加解密。 大量数据加密的流程如下： 在KMS中创建一个用户主密钥。 调用KMS的“create-datakey”接口创建数据加密密钥。用户得到一个明文的数据加密密钥和一个密文的数据加密密钥。其

查看更多 →

BY）、多表的关联（JOIN）等。 本示例通过创建MySQL CDC源表来监控MySQL的数据变化，并将变化的数据信息插入到DWS数据库中。 前提条件 已创建RDS MySQL实例，具体步骤可参考：RDS MySQL快速入门。本示例创建的RDS MySQL数据库版本选择为：8.0。 已创建DWS

查看更多 →

RDS for MySQL实例迁移中，大量binlog文件导致数据盘空间不足 RDS for MySQL实例迁移中，短时间内产生大量binlog文件，导致数据盘空间不足（91%），影响业务正常运行 。 解决方案 请及时清理过期数据。 随着业务数据的增加，原来申请的数据库磁盘容量可能

查看更多 →

长查询执行期间大量并发更新偶现写入性能下降 问题现象 执行全表扫描类型的长查询，扫描期间页面发生大量并发更新，部分DML写入性能较没有长查询时出现性能下降。 问题分析 对于全表扫描场景下的长查询（例如持续两小时以上），在扫描到某个页面前，该页面发生大量集中并发更新（例如十万次以上

查看更多 →

磁盘空间分布 问题原因 业务数据增加。 数据空间占用过大。 由于大量的事务和写入操作产生了大量的RDS for MySQL Binlog日志文件。 应用中存在大量的排序查询，产生了过多的临时文件。 解决方案 随着业务数据的增加，原来申请的数据库磁盘容量可能会不足，建议用户扩容磁盘空间，确保磁盘空间足够。

查看更多 →

长查询执行期间大量并发更新偶现写入性能下降 问题现象 执行全表扫描类型的长查询，扫描期间页面发生大量并发更新，部分DML写入性能较没有长查询时出现性能下降。 问题分析 对于全表扫描场景下的长查询（例如持续两小时以上），在扫描到某个页面前，该页面发生大量集中并发更新（例如十万次以上

查看更多 →

问题原因 业务数据增加。 数据空间占用过大。 由于大量的事务和写入操作产生了大量的RDS for MySQL Binlog日志文件。 应用中存在大量的排序查询，产生了过多的临时文件。 解决方案 随着业务数据的增加，原来申请的数据库磁盘容量可能会不足，建议用户扩容磁盘空间，确保磁盘空间足够。

查看更多 →

为什么HBase无法写入数据？ 问题现象 HBase无法写入数据，导致应用侧业务数据无法及时更新。 原因分析 Zookeeper连接数过多。 处理方法 建议业务代码连接同一个CloudTable HBase集群时，多线程创建并复用同一个Connection，不必每个线程都创建各自

查看更多 →

Flume数据写入组件失败 问题现象 Flume进程启动后，Flume数据无法写入到对应组件（本示例以服务端写入到HDFS为例）。 原因分析 HDFS未启动或故障。 查看Flume运行日志： 2019-02-26 11:16:33,564 | ERROR | [SinkRunne

查看更多 →

向Phoenix表中写入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public

查看更多 →

PostgreSQL数据库文件类型 数据库引擎 文件类型 PostgreSQL 日志文件：数据库错误日志文件和事务日志文件。 数据文件：数据库内容文件、索引文件、复制槽数据文件、事务状态数据文件和数据库配置文件。 其他文件：临时文件。 表3 RDS for SQL Server数据库文件类型

查看更多 →

步骤3：创建RDS数据库和表 登录RDS管理控制台，在“实例管理”界面，选择已创建的RDS MySQL实例，选择操作列的“更多 > 登录”，进入数据管理服务实例登录界面。 输入实例登录的用户名和密码。单击“登录”，即可进入RDS MySQL数据库并进行管理。 在数据库实例界面，单击

查看更多 →

从Kafka读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为对汽车驾驶的实时数据信息进行分析，将满足特定条件的数据结果进行汇总。汽车驾驶的实时数据信息为数据源发送到Kafka中，再将Kafka数据的分析结果输出到DWS中。 例如，输入如下样例数据： {"car_id":"3027"

查看更多 →

'url' = 'jdbc:mysql://MySQL的 服务器 IP:MySQL的 服务器端口 /mysql', 'table-name' = 'customer_t1', 'username' = 'username', --连接MySQL数据库的用户名 'password'

查看更多 →

如果已经写入Hudi数据集parquet文件的记录R有一些更新U。R包含字段F，该字段包含某类数据类型，也就是LONG。U具有相同的字段F，该字段的数据类型是INT。Parquet FS不支持这种不兼容的数据类型转换。 对于此类错误，请从源头数据采集的位置进行有效的数据类型转换。

查看更多 →

从HBase读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →