在迁移过程中，数据读写过程都是由一个单一任务完成的，受限于资源，整体性能较低，对于海量数据场景通常不能满足要求。 CDM 任务基于分布式计算框架，自动将任务切分为独立的子任务并行执行，能够极大提高数据迁移的效率。针对Hive、HBase、MySQL、DWS（ 数据仓库 服务）数据源，使用高效的数据导入接口导入数据。

查看更多 →

数据仓库自定义属性 表1 数据仓库自定义属性权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库自定义属性列表 GET /v1.0/{project_id}/common/wareho

查看更多 →

g:EnterpriseProjectId GaussDB (DWS)的API通常对应着一个或多个授权项。表2展示了API与授权项的关系，以及该API需要依赖的授权项。 表2 API与授权项的关系 API 对应的授权项 依赖的授权项 POST /v2/{project_id}/alarm-subs

查看更多 →

数据仓库优化与支持服务 产品介绍 常见问题 计费说明 父主题： 优化与提升

查看更多 →

Kafka集群。Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。

查看更多 →

基于Python开发 PyMongo包 连接数据库 访问数据库 完整示例 父主题： 应用程序开发教程

查看更多 →

键SERVICE_META_VERSION，值为服务注册的版本号（如a.b.c的格式，其中a、b、c均为数字），标签应用需要修改为不同于正常应用的版本号。 键SERVICE_META_PA RAM ETERS，值为服务注册时的自定义标签（形如tag1:value1,tag2:valu

查看更多 →

键SERVICE_META_VERSION，值为服务注册的版本号（如a.b.c的格式，其中a、b、c均为数字），标签应用需要修改为不同于正常应用的版本号。 键SERVICE_META_PARAMETERS，值为服务注册时的自定义标签（形如tag1:value1,tag2:valu

查看更多 →

基于JDBC开发 JDBC开发流程 JDBC包与驱动类 加载驱动 连接数据库 执行SQL语句 处理结果集 常用JDBC开发示例 应用端加工RoaringBitmap结果集并入库GaussDB(DWS)开发示例 JDBC接口参考 父主题： 使用JDBC或ODBC进行GaussDB(DWS)二次开发

查看更多 →

0 ARM64位 x86_64位 3.9.9 psycopg2在编译过程中，会链接（link）GaussDB的openssl，GaussDB的openssl与操作系统自带的openssl可能不兼容。如果遇到不兼容现象，例如提示"version 'OPENSSL_1_1_1f' not

查看更多 →

基于ODBC开发 ODBC（Open Database Connectivity，开放数据库互连）是由Microsoft公司基于X/OPEN CLI提出的用于访问数据库的应用程序编程接口。应用程序通过ODBC提供的API与数据库进行交互，在避免了应用程序直接操作数据库系统的同时，

查看更多 →

基于libpq开发 开发流程 开发步骤 典型应用开发示例 libpq接口参考 父主题： 应用程序开发教程

查看更多 →

基于JDBC开发 JDBC（Java Database Connectivity，Java数据库连接）是用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问接口，应用程序可基于它操作数据。GaussDB库提供了对JDBC 4.2特性的支持，需要使用JDK1.8版

查看更多 →

基于libpq开发 开发流程 开发步骤 典型应用开发示例 libpq接口参考 父主题： 应用程序开发教程

查看更多 →

基于libpq开发 libpq是GaussDB C应用程序接口。libpq是一套允许客户程序向GaussDB 服务器 服务进程发送查询并且获得查询返回值的库函数。同时也是其他几个GaussDB应用接口下面的引擎，如ODBC等依赖的库文件。本章给出了示例显示如何利用libpq编写代码。

查看更多 →

序（*.c），然后再通过编译器处理。转换过的ecpg应用通过嵌入式SQL库（ecpglib）调用libpq库中的函数，与GaussDB Kernel服务器使用普通的前端/后端协议通信。 嵌入式SQL程序是插入了数据库相关动作的特殊代码的C语言程序。这种特殊代码形式通常如下： EXEC

查看更多 →

大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Ha

查看更多 →

数据仓库自定义属性 获取数据仓库自定义属性列表 父主题： API

查看更多 →

数据仓库咨询与规划服务 产品介绍 常见问题 计费说明 父主题： 咨询与规划

查看更多 →

行大规模数据复制的工具，它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 配置指南 参考Hadoop对接OBS中hadoop-huaweicloud的安装和配置方法，完成OBS相关配置。

查看更多 →

Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。

查看更多 →