Agent：负责监控所在主机上主备GTM、CN、主备DN的运行状态并将状态上报给CM Server。同时负责执行CM Server下发的仲裁指令。集群的每台主机上均有CM Agent进程。 OM Monitor：看护CM Agent的定时任务，其唯一的任务是在CM Agent停止的情况下将CM Agent重启。如果CM

查看更多 →

在迁移过程中，数据读写过程都是由一个单一任务完成的，受限于资源，整体性能较低，对于海量数据场景通常不能满足要求。 CDM 任务基于分布式计算框架，自动将任务切分为独立的子任务并行执行，能够极大提高数据迁移的效率。针对Hive、HBase、MySQL、DWS（ 数据仓库 服务）数据源，使用高效的数据导入接口导入数据。

查看更多 →

行大规模数据复制的工具，它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 配置指南 参考Hadoop对接OBS中hadoop-huaweicloud的安装和配置方法，完成OBS相关配置。

查看更多 →

object 参数解释： 集群的基本信息，为集合类的元素类型，包含一组由不同名称定义的属性。 约束限制： 不涉及 spec ClusterSpec object spec是集合类的元素类型，您对需要管理的集群对象进行详细描述的主体部分都在spec中给出。CCE通过spec的描述来创建或更新对象。

查看更多 →

参数解释： 集群的基本信息，为集合类的元素类型，包含一组由不同名称定义的属性。 约束限制： 不涉及 spec ClusterSpec object 参数解释： spec是集合类的元素类型，您对需要管理的集群对象进行详细描述的主体部分都在spec中给出。CCE通过spec的描述来创建或更新对象。

查看更多 →

object 集群的基本信息，为集合类的元素类型，包含一组由不同名称定义的属性。 spec AutopilotClusterSpec object spec是集合类的元素类型，您对需要管理的集群对象进行详细描述的主体部分都在spec中给出。CCE通过spec的描述来创建或更新对象。

查看更多 →

关键说明： 图1中的脚本开发区为临时调试区，关闭脚本页签后，开发区的内容将丢失。您可以通过“提交”来保存并提交脚本版本。 数据连接：建立Hive的数据连接创建的连接。 开发Hive SQL作业 Hive SQL脚本开发完成后，我们为Hive SQL脚本构建一个周期执行的作业，使得该脚本能定期执行。

查看更多 →

据再写入目的端，相对这样传统的做法，CDM的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备 服务器 资源，安装配置必要的软件并进行配置，等待时间长。 程序在读写两端会根据数据源类型，使用不同的访问接口。一般是数据源提供的对外接口，例如JDBC、原生

查看更多 →

数据仓库自定义属性 表1 数据仓库自定义属性权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库自定义属性列表 GET /v1.0/{project_id}/common/wareho

查看更多 →

g:EnterpriseProjectId GaussDB (DWS)的API通常对应着一个或多个授权项。表2展示了API与授权项的关系，以及该API需要依赖的授权项。 表2 API与授权项的关系 API 对应的授权项 依赖的授权项 POST /v2/{project_id}/alarm-subs

查看更多 →

数据仓库优化与支持服务 产品介绍 常见问题 计费说明 父主题： 优化与提升

查看更多 →

数据仓库自定义属性 获取数据仓库自定义属性列表 父主题： API

查看更多 →

数据仓库咨询与规划服务 产品介绍 常见问题 计费说明 父主题： 咨询与规划

查看更多 →

0支持的组件信息如下： 分析集群包含的组件有：Presto,Hadoop,Spark,HBase,Hive,Hue,Loader,Tez,Flink,Impala,Kudu 流式集群包含的组件有：Kafka,Storm,Flume MRS 1.9.2支持的组件信息如下： 分析集群包含的组件有：Presto

查看更多 →

创建HBase目的端连接安全集群下的换包操作指南 操作场景 本指导介绍在创建HBase目的端连接且集群部署在安全集群下时，需要进行的换包操作及相关步骤。 操作步骤 换包操作。 在安装MgC Agent的主机，执行如下命令，进入MgC Agent指定目录。 cd /opt/clou

查看更多 →

ClickHouse、ZooKeeper 实时分析集群 实时分析集群使用Hadoop、Kafka、Flink和ClickHouse组件提供一个海量的数据采集、数据的实时分析和查询的系统。 Hadoop、Kafka、Flink、ClickHouse、ZooKeeper、Ranger

查看更多 →

适用于数据仓库服务（DWS）的最佳实践 该示例模板中对应的合规规则的说明如下表所示： 表1 合规包示例模板说明 合规规则 规则中文名称 涉及云服务 规则描述 dws-clusters-no-public-ip DWS集群未绑定弹性公网IP dws DWS集群绑定弹性公网IP，视为“不合规”

查看更多 →

MRS最佳实践汇总 本文汇总了MapReduce（MRS）服务的常见应用场景，并为每个场景提供详细的方案描述和操作指南，您可以根据本文查看适合您业务的实践教程文档。 MRS最佳实践 开发者社区精选最佳实践 表1 MRS最佳实践 分类 相关文档 数据分析类 使用Spark2x实现车联网车主驾驶行为分析

查看更多 →

知数据仓库行业发展趋势与解决方案，协助企业管理者构建具有竞争力的数据仓库解决方案，助力数字化转型。 培训对象 信息技术主管 数据库管理员 数据库开发者 培训目标 完成该培训后，您将熟悉云化分布式数据仓库的架构、数据库设计与管理、数据迁移、数据库的运维与调优，数据库的安全管理和高可

查看更多 →

DWS服务的计费方式简单、灵活，您既可以选择按实际使用时长计费，也可以选择更经济的包年包月套餐计费方式。并提供按月或按年预先支付OBS热数据存储费用的折扣套餐，适合计划长期使用DWS 3.0场景的客户。 如何计费 计费说明（按需、包年/包月） 价格详情 如何购买 创建集群（按需计费）

查看更多 →

数据集成围绕GaussDB(DWS)，提供了简单易用的迁移能力及多种数据源到DWS的集成能力，降低用户数据源迁移和集成的复杂性，是一种高效易用的数据集成服务。目前数据源支持从Kafka、MySQL、Oracle和IoT源端迁移至GaussDB(DWS)目的端。 该特性仅8.2.0及以上集群版本支持。 源端数据源

查看更多 →