log还能为这些数据处理工具提供读写接口，并使用Hive的命令行接口发布数据定义和元数据探索命令。此外，经过封装这些命令，WebHCat Server还对外提供了RESTful接口，如图2所示。 图2 WebHCat的逻辑架构图 Hive原理 Hive作为一个基于HDFS和Map

查看更多 →

Group1与Consumer Group2中。 关于Kafka架构和详细原理介绍，请参见：https://kafka.apache.org/24/documentation.html。 Kafka原理 消息可靠性 Kafka Broker收到消息后，会持久化到磁盘，同时，To

查看更多 →

ful接口。 HSFabric 提供跨域（DC）高性能安全数据传输。 引擎层 Coordinator HetuEngine计算实例的管理节点，提供SQL接收、SQL解析、生成执行计划、执行计划优化、分派任务和资源调度等能力。 Worker HetuEngine计算实例的工作节点，

查看更多 →

CarbonData基本原理 CarbonData是一种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询，可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。

查看更多 →

CDL基本原理 CDL简介 CDL（全称Change Data Loader）是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件，并推送到kafka，再由sink connector推送到大数据生态系统中。

查看更多 →

。 FE StarRocks的前端节点，主要负责管理元数据、管理客户端连接、进行查询规划、查询调度等工作。 BE StarRocks的后端节点，主要负责数据存储和SQL计算等工作。 Leader Leader从Follower中自动选出，FE Leader提供元数据读写服务，Fo

查看更多 →

自动建表原理介绍 自动建表时的字段类型映射 CDM 在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将Oracle整库迁移到DWS，CDM在DWS上自动建表，会将Oracle的NUMBER(3

查看更多 →

通过API异步启动工作流 DWR支持通过API异步启动已有工作流，详情参见API异步启动工作流。 父主题： 启动工作流

查看更多 →

通过API同步启动工作流 DWR支持通过API同步启动已有工作流。 请求示例 GET /objectkey?x-workflow-graph-name=gramname/p1_v1,p2_v2 HTTP/1.1 Host: bucket.obs.cn-north-4.myhuaweicloud

查看更多 →

图解函数工作流服务

查看更多 →

函数工作流计费模式概述 函数工作流采用按需付费方式，无最低费用，即总费用 = 请求次数费用 + 计量时间费用+节点执行次数（函数流）费用+其他费用。 函数提供的资源包类型有：函数调用包、活跃内存计量包、GPU计量包、闲置内存计量包。 如您需要快速了解函数工作流服务不同计费模式的具体价格，请参见函数工作流价格详情。

查看更多 →

算子发布流程图 部署服务：算子提供方需要将自身服务部署在华为云，同时对外提供API，方便用户进行调用。 API上线云市场：云市场提供API调用权限的购买入口，算子提供方将步骤1中开放的API注册到云市场中即可获取便捷的收费管理，上线指导参见API上线云市场。 开发算子：DWR的算子执行依赖F

查看更多 →

检查函数工作流参数设置 规则详情 表1 规则详情 参数 说明 规则名称 function-graph-settings-check 规则展示名 检查函数工作流参数设置 规则描述 函数工作流的运行时、超时时间、内存限制不在指定范围内，视为“不合规”。 标签 fgs 规则触发方式 配置变更

查看更多 →

Artifacts 上传函数至FunctionGraph 在函数工作流工作台创建函数 登录函数工作流控制台在左侧导航栏选择“函数 > 函数列表”，进入函数列表界面。 单击“创建函数”，进入创建函数流程。 填写函数配置信息，如下图所示。 选择：“创建空白函数”。 函数名称输入：“IoTD

查看更多 →

行导入命令将数据恢复到目标数据库。 实时同步基本原理 图4 实时同步原理 实时同步功能实现源数据库和目标数据库的数据长期同步，主要用于OLTP到OLAP、OLTP到大数据组件的数据实时同步。全量和增量的数据同步和实时迁移的技术原理基本一致，但是基于不同的业务使用场景，两个功能还是有些差异。

查看更多 →

异地双活原理介绍 GeminiDB Cassandra提供了异地双活功能，通过异地实例间数据的双向同步和业务灵活调度能力，实现了业务恢复和故障恢复解耦，保障了故障场景下业务的连续性。 异地双活是一种多活容灾架构的解决⽅案，即部署在不同数据中心的GeminiDB Cassandra

查看更多 →

Node的选举。 HttpFS gateway HttpFS是个单独无状态的gateway进程，对外提供webHDFS接口，对HDFS使用FileSystem接口对接。可用于不同Hadoop版本间的数据传输，及用于访问在防火墙后的HDFS（HttpFS用作gateway）。 HDFS

查看更多 →

底层执行Oozie编排流程的各个组件，包括MapReduce、Hive等。 Oozie原理 Oozie是一个工作流引擎 服务器 ，用于运行MapReduce任务工作流。同时Oozie还是一个Java Web程序，运行在Tomcat容器中。 Oozie工作流通过HPDL（一种通过XML自定义处理的语言，类似JBOSS

查看更多 →

Doris基本原理 Doris简介 Doris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris能够较好的满

查看更多 →

函数工作流的函数并发数在指定范围内 规则详情 表1 规则详情 参数 说明 规则名称 function-graph-concurrency-check 规则展示名 函数工作流的函数并发数在指定范围内 规则描述 FunctionGraph函数的并发数不在指定的范围内，视为“不合规”。

查看更多 →

SK鉴权如何使用？ “无认证”方式的API该怎么鉴权与调用？ 有没有API导入示例？ 是否支持通过POST方法上传文件？ API的后端地址是否可以绑定为ELB地址？ 如何创建API？ 更多 API创建 如何创建一个API？ 是否支持多后端节点？ 部署在华为云上的服务如何开放？ 使用VPC通道有哪些注意事项？

查看更多 →