数据写入 写入更新数据时报错 Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间 Hudi写入小精度Decimal数据失败

查看更多 →

写入数据 写入数据接口和HBase原生API一致。 可以参考以下样例代码。 样例代码 public void testPut() { LOG .info("Entering testPut."); try(Table table = conn.getTable(tableName))

查看更多 →

Kafka数据库端口”，单击“测试”测试 DLI 到Kafka网络是否可达。 创建DLI连接RDS的增强型跨源连接 在RDS管理控制台，选择“实例管理”，单击对应的RDS实例名称，进入到RDS的基本信息页面。 在“基本信息”的“连接信息”中获取该实例的“内网地址”、“数据库端口”、“

查看更多 →

afka内网地址:Kafka数据库端口”，单击“测试”测试DLI到Kafka网络是否可达。 创建DLI连接DWS的增强型跨源连接 在DWS管理控制台，选择“集群管理”，单击已创建的DWS集群名称，进入到DWS的基本信息页面。 在“基本信息”的“数据库属性”中获取该实例的“内网IP

查看更多 →

写入OpenTSDB数据 功能简介 使用OpenTSDB的接口(/api/put)写入数据。 函数genWeatherData()模拟生成的气象数据，函数putData()发送气象数据到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb

查看更多 →

连接信息，地址栏输入“Kafka内网地址:Kafka数据库端口”，单击“测试”测试DLI到Kafka网络是否可达。 创建DLI连接 CSS 的增强型跨源连接 在 CS S管理控制台，选择“集群管理”，单击已创建的CSS集群名称，进入到CSS的基本信息页面。 在“基本信息”中获取CSS的“

查看更多 →

by建表属性，去重键以order by字段为准。 数据去重的key需要提前在应用中进行sharding计算，保证相同的key会sharding到同一个shard，才能保证后续相同的key字段数据sharding到同一个shard进行数据的精确去重。 父主题： ClickHouse常用SQL语法

查看更多 →

引用数据库或者导入数据到指定数据库 使用import命令引用数据库实例到当前所在项目或者导入数据到指定数据库。 命令结构 health import database instance <instance-id> [flags] 或者 health import db instance

查看更多 →

使用Flink Jar写入数据到OBS开发指南 概述 DLI提供了使用自定义Jar运行Flink作业并将数据写入到OBS的能力。本章节JAVA样例代码演示将kafka数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。

查看更多 →

Spark如何将数据写入到DLI表中 使用Spark将数据写入到DLI表中，主要设置如下参数： fs.obs.access.key fs.obs.secret.key fs.obs.impl fs.obs.endpoint 示例如下： import logging from operator

查看更多 →

恢复备份到本地自建数据库 恢复集群备份到本地自建数据库 恢复副本集备份到本地自建数据库 恢复单节点备份到本地自建数据库 父主题： 数据恢复

查看更多 →

本地数据库到华为云 通过公网网络接入华为云 通过VPN网络接入华为云

查看更多 →

同步IAM用户到数据库 功能介绍 该接口用于同步IAM用户到数据库。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/clusters/{cluster_id}/db-manager/sync-iam-user 表1 路径参数 参数 是否必选

查看更多 →

步骤三：使用备份文件恢复数据到自建MySQL 操作流程 下载华为云RDS for MySQ L实例 中对应时间点的全备文件。 将全备文件上传到本地用以重建数据库。 使用qpress工具将全备文件解压。 通过Xtrabackup工具将全备文件恢复到数据库的data目录中，并将数据库原数据保留到data_back文件中。

查看更多 →

从MySQL CDC源表读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 CDC是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库的增量变动记录，同步到一个或多个数据目的中。CDC在数据同步过程中，还可以对数据进行一定的处理，例如分组（GROUP

查看更多 →

向Phoenix表中写入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public

查看更多 →

指从源端获取到的JSON格式数据中，要集成到目标端的数据元素。 以车位感应设备的数据为例，需要把车位感应设备信息和车位状态信息集成到目标端数据库中。 别名：deviceId，类型：String，解析路径：data.deviceId 别名：status，类型：String，解析路径：data

查看更多 →

恢复集群备份到本地自建数据库 概述 目录及配置说明 恢复configsvr副本集 恢复shardsvr1副本集 恢复shardsvr2副本集 恢复dds mongos节点 检查集群状态 父主题： 恢复备份到本地自建数据库

查看更多 →

恢复到云上MySQL数据库 全量数据恢复：按备份文件恢复 全量数据恢复：恢复到指定时间点 库表数据恢复：恢复到指定时间点 跨区域数据恢复 父主题： 数据恢复

查看更多 →

为什么HBase无法写入数据？ 问题现象 HBase无法写入数据，导致应用侧业务数据无法及时更新。 原因分析 Zookeeper连接数过多。 处理方法 建议业务代码连接同一个CloudTable HBase集群时，多线程创建并复用同一个Connection，不必每个线程都创建各自

查看更多 →

Flume数据写入组件失败 问题现象 Flume进程启动后，Flume数据无法写入到对应组件（本示例以服务端写入到HDFS为例）。 原因分析 HDFS未启动或故障。 查看Flume运行日志： 2019-02-26 11:16:33,564 | ERROR | [SinkRunne

查看更多 →