Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景

查看更多 →

与RM调度器协商以获取资源。 将得到的资源进一步分配给内部的任务（资源的二次分配）。 与NM通信以启动/停止任务。 监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。 开源容量调度器Capacity Scheduler原理 Capacity Scheduler是一种多用户调度器，它以队列

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

展出的Pod调度到具有更多资源的集群，以解决单个集群的资源限制，提高故障发生时的恢复能力。 FederatedHPA工作原理 FederatedHPA的工作原理如图1，实现流程如下： HPA Controller通过API定期查询工作负载的指标数据。 karmada-apiser

查看更多 →

APP认证工作原理 构造规范请求。 将待发送的请求内容按照与API网关（即API管理）后台约定的规则组装，确保客户端签名、API网关后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到H

查看更多 →

Oozie基本原理 Oozie简介 Oozie是一个基于工作流引擎的开源框架，它能够提供对Hadoop作业的任务调度与协调。 Oozie结构 Oozie引擎是一个Web App应用，默认集成到Tomcat中，采用pg数据库。 基于Ext提供WEB Console，该Console

查看更多 →

Doris基本原理 Doris简介 Doris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris能够较好的满

查看更多 →

HDFS基本原理 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件

查看更多 →

APP认证工作原理 APP认证流程 构造规范请求。 将待发送的请求内容按照与APIC后台约定的规则组装，确保客户端签名、APIC后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到HTT

查看更多 →

异地双活原理介绍 GeminiDB Cassandra提供了异地双活功能，通过异地实例间数据的双向同步和业务灵活调度能力，实现了业务恢复和故障恢复解耦，保障了故障场景下业务的连续性。 异地双活是一种多活容灾架构的解决⽅案，即部署在不同数据中心的GeminiDB Cassandra

查看更多 →

行导入命令将数据恢复到目标数据库。 实时同步基本原理 图4 实时同步原理 实时同步功能实现源数据库和目标数据库的数据长期同步，主要用于OLTP到OLAP、OLTP到大数据组件的数据实时同步。全量和增量的数据同步和实时迁移的技术原理基本一致，但是基于不同的业务使用场景，两个功能还是有些差异。

查看更多 →

GaussDB (for MySQL)备份原理 云数据库 GaussDB(for MySQL)基于华为最新一代DFV存储，采用计算与存储分离架构，计算层用于给外部提供服务，管理日志信息，存储层存储数据信息。存储层分为Common Log节点和Slice Store节点，Common

查看更多 →

差异，防止特定端口外的入站通信。因此U CS 使用集群网络代理的连接方式，无需在防火墙上启用任何入方向端口，仅通过集群代理程序的方式在出方向与UCS服务建立会话。 伙伴云集群接入网络的方法有两种，具有不同的优点： 公网接入：具有弹性灵活、成本低、易接入的优点。 私网接入：可获得更加高速、低时延、稳定安全的体验。

查看更多 →

消息可以包含多个路口或区域的地图数据。 进入 路网数字化服务 控制台 左侧导航栏选择“交通信息管理 > 地图消息(MAP)”。 您可以在信息列表查看地图数据和创建时间信息。 路侧信息 路侧即时交通信息（rsi），是由路侧单元向周围车载单元发布的交通事件消息及交通标志标牌信息。其中，交通标志标牌信息参考

查看更多 →

获取服务开通信息 功能介绍 该接口用于获取服务开通信息。 接口约束 目前"华北-北京一"和"华东-上海二"区域不支持新用户开通。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。

查看更多 →

查询资源开通信息 功能介绍 查询资源开通信息，根据项目ID查询订单详情 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/period/product/specification 表1 路径参数 参数 是否必选 参数类型 描述 project_id

查看更多 →

Topic通信场景迁移实践 本文以自建MQTT Broker的空调控制设备迁移到华为云IoT为例，介绍如何进行Topic通信场景的设备迁移。 业务场景说明 自建MQTT Broker基于MQTT协议的上行数据和下行指令的业务定义如下： 表1 业务场景 业务场景 通信Topic 报文Payload

查看更多 →

IoT云通信购买/退订 登录/购买异常如何处理？ 是否支持退订？ 是否支持使用代金券？ 个人用户能使用IoT云通信服务吗？ 一个用户可以申请多个短信签名吗？ 短信是否支持发送动态短链接？

查看更多 →

广播通信使用示例 Java SDK使用示例 本文介绍如何使用JAVA SDK进行广播通信的开发。 开发环境要求 本示例使用的开发环境为JDK 1.8及以上版本。 配置应用侧SDK 配置Maven依赖。 <dependency> <groupId>com.huaweicloud

查看更多 →

Client Client使用HBase的RPC机制与Master、RegionServer进行通信。Client与Master进行管理类通信，与RegionServer进行数据操作类通信。 RegionServer RegionServer负责提供表数据读写等服务，是HBase的数据处理和计算单元。

查看更多 →

Hive基本原理 Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。

查看更多 →