生变化时，只需对YAML DSL（domain-specific language）定义进行修改，无需重新编译及打包业务代码。 与外部组件集成 支持与多种外部组件集成，包括：Kafka、HDFS、HBase、Redis或JDBC/RDBMS等服务，便于实现涉及多种数据源的业务。 父主题：

查看更多 →

的数据。 Savepoint：一个Savepoint就是应用状态的一致性快照，Savepoint与Checkpoint机制相似，但Savepoint需要手动触发，Savepoint保证了任务在升级或迁移时，不丢失当前流应用的状态信息，便于任何时间点的任务暂停和恢复。 Flink SQL

查看更多 →

自AM的Container启动/停止等请求。 ApplicationMaster：AM负责一个Application生命周期内的所有工作。包括： 与RM调度器协商以获取资源。 将得到的资源进一步分配给内部的任务（资源的二次分配）。 与NM通信以启动/停止任务。 监控所有任务运行状

查看更多 →

缩数量，并保持负载伸缩的稳定性。 图1 FederatedHPA工作原理 如何计算指标数据？ 指标数据分为系统指标与自定义指标，计算方法如下： 系统指标 主要包括CPU利用率和内存利用率两个指标，系统指标的查询与监控依赖Metrics API。例如，您希望控制工作负载对CPU资源

查看更多 →

调用，也可以包装成公共接口后被调用。本节中主要是将服务编排包装成一个公共接口后，供页面调用，“管理设备”功能中涉及的业务逻辑，以及服务编排与脚本关系如表1下所示，详细操作方式及说明请参见创建业务逻辑。 表1 “管理设备”功能需要创建的脚本、服务编排详情 脚本名称 主要作用 关联服务编排

查看更多 →

自动建表原理介绍 自动建表时的字段类型映射 CDM 在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将Oracle整库迁移到DWS，CDM在DWS上自动建表，会将Oracle的NUMBER(3

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

行导入命令将数据恢复到目标数据库。 实时同步基本原理 图4 实时同步原理 实时同步功能实现源数据库和目标数据库的数据长期同步，主要用于OLTP到OLAP、OLTP到大数据组件的数据实时同步。全量和增量的数据同步和实时迁移的技术原理基本一致，但是基于不同的业务使用场景，两个功能还是有些差异。

查看更多 →

异地双活原理介绍 GeminiDB Cassandra提供了异地双活功能，通过异地实例间数据的双向同步和业务灵活调度能力，实现了业务恢复和故障恢复解耦，保障了故障场景下业务的连续性。 异地双活是一种多活容灾架构的解决⽅案，即部署在不同数据中心的GeminiDB Cassandra

查看更多 →

MySQL Tools Doris采用MySQL协议，高度兼容MySQL语法，支持标准SQL，用户可以通过各类客户端工具来访问Doris，并支持与BI工具无缝对接。 FE 主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。 BE 主要负责存储数据、执行查询计划、副本负载均衡。

查看更多 →

块”与其归属文件的对应关系。 Standby NameNode：与Active NameNode中的数据保持同步；随时准备在Active NameNode出现异常时接管其服务。 Observer NameNode：与Active NameNode中的数据保持同步，处理来自客户端的读请求。

查看更多 →

Oozie基本原理 Oozie简介 Oozie是一个基于工作流引擎的开源框架，它能够提供对Hadoop作业的任务调度与协调。 Oozie结构 Oozie引擎是一个Web App应用，默认集成到Tomcat中，采用pg数据库。 基于Ext提供WEB Console，该Console

查看更多 →

大数据技术发展趋势及鲲鹏大数据 3% HDFS分布式文件系统和 ZooKeeper 12% Hive 分布式数据仓库 10% HBase技术原理 11% MapReduce 和 Yarn 技术原理 9% Spark 基于内存的分布式计算 7% Flink 流批一体分布式实时处理引擎 8% Flume海量日志聚合

查看更多 →

SQL进阶及应用开发 01:53:55 数据仓库服务SQL进阶及应用开发 数据仓库服务 GaussDB (DWS) 数据库对象设计 01:09:09 数据仓库服务数据库对象设计 数据仓库服务 GaussDB(DWS) 安全与权限设计 52:51 数据仓库服务安全与权限设计 数据仓库服务 GaussDB(DWS)

查看更多 →

成大规模的数据处理工作，实现对数据处理的快速响应。 图1 产品架构 应用层 数据加载工具、ETL（Extract-Transform-Load）工具、以及商业智能BI工具、数据挖掘和分析工具，均可以通过标准接口与GaussDB(DWS) 集成。GaussDB(DWS)兼容Post

查看更多 →

urce的数据，当Sink成功将数据发送到下一跳的Channel或最终目的地时，数据从Channel移除。 Channel提供的持久化水平与Channel的类型相关，有以下三类： Memory Channel：非持久化。 File Channel：基于WAL（预写式日志Write-Ahead

查看更多 →

权限管理模块，管理用户和用户组的权限。 A CS 用户和用户组管理模块，管理用户及用户归属的用户组。 Kerberos 在 OMS 与集群中各部署一个。 OMS Kerberos提供单点登录及Controller与Node Agent间认证的功能。 集群中Kerberos提供组件用户安全认证功能，其服务名称为KrbServer，包含两种角色实例：

查看更多 →

选择“使用已有”应用安装包时，该参数可见。 选择应用安装包所在的OBS桶与安装包名称。 选择2.3 步骤二：应用内容上云中创建的OBS桶。 应用启动路径 应用类型选择“3D应用”时，该参数可见。 若为系统预装的3D应用，此为应用启动程序在 云服务器 系统中的绝对路径。否则为应用启动程序在安装包中的相对路径。

查看更多 →

集团应用与数据集成 集团企业完成子公司与集团总部之间、集团与外部合作伙伴之间的集成面临这些瓶颈： 地域差异 集团总部和集团子公司、合作伙伴所处的地域不同，时区不同，降低了数据的时效性和可靠性。 云服务差异 集团总部和集团子公司、合作伙伴使用的云服务不一样，调用不同的云服务存在困难。

查看更多 →

应用与软件解决方案 是指合作伙伴在华为云服务基础上规划、开发、销售、维护的应用或软件解决方案，其应用部署方式包括多租户，单租户和私有化部署方式。 父主题： 术语&缩略语解释

查看更多 →

K8s网络模型原理剖析与实践 Cloud Native Lives 第6课：K8s服务发现与负载均衡原理剖析与实践 01:11:38 K8s服务发现与负载均衡原理剖析 Cloud Native Lives 第7课：K8s存储原理剖析与实践 01:08:23 K8s存储原理剖析与实践 Cloud

查看更多 →