Doris基本原理 Doris简介 Doris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris能够较好的满

查看更多 →

Framework旨在安全、快速地为您创建华为云函数工作流的函数、事件和资源。 全量部署 如下是使用Serverless Framework执行部署的主要方法： serverless deploy 当您在serverless.yml中更新了函数、事件或资源配置，并且希望将该更改（或多个更改）部署到华为云时，请使用此方法。

查看更多 →

只读落后自愈技术原理 TaurusDB是存储计算分离架构的云原生数据库，只读节点和主节点共享底层的存储数据。为了保证内存中的缓存数据的一致性，主节点与只读节点通信后，只读节点需要从Log Stores中读取主节点产生的redo来更新内存中的缓存数据。 图1 只读落后自愈技术原理图 主节点与只读节点的通信

查看更多 →

发现并解决问题。 服务编排测试通过、发布后，既可以直接被前端页面调用，也可以作为restful接口被第三方系统调用，也可以包装成公共接口后被调用。本节中主要是将服务编排包装成一个公共接口后，供页面调用，“管理设备”功能中涉及的业务逻辑，以及服务编排与脚本关系如表1下所示，详细操作方式及说明请参见创建业务逻辑。

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

只读落后自愈技术原理 TaurusDB是存储计算分离架构的云原生数据库，只读节点和主节点共享底层的存储数据。为了保证内存中的缓存数据的一致性，主节点与只读节点通信后，只读节点需要从Log Stores中读取主节点产生的redo来更新内存中的缓存数据。 图1 只读落后自愈技术原理图 主节点与只读节点的通信

查看更多 →

// Java CLI和JD BCS erver 除了API编程接口之外，Spark SQL还对外提供CLI/JDBC接口： spark-shell和spark-sql脚本均可以提供CLI，以便于调试。 JDB CS erver提供JDBC接口，外部可直接通过发送JDBC请求来完成结构化数据的计算和解析。

查看更多 →

Hue基本原理 Hue是一组WEB应用，用于和 MRS 大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Hue主要包括了文件浏览器和查询编辑器的功能： 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录；

查看更多 →

Storm基本原理 Apache Storm是一个分布式、可靠、容错的实时流式数据处理的系统。在Storm中，先要设计一个用于实时计算的图状结构，称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker

查看更多 →

暂停和恢复。 Flink SQL Table API和SQL借助了Apache Calcite来进行查询的解析，校验以及优化，可以与DataStream和DataSet API无缝集成，并支持用户自定义的标量函数，聚合函数以及表值函数。简化数据分析、ETL等应用的定义。下面代码示例展示了如何使用Flink

查看更多 →

周期内的所有工作。包括： 与RM调度器协商以获取资源。 将得到的资源进一步分配给内部的任务（资源的二次分配）。 与NM通信以启动/停止任务。 监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。 开源容量调度器Capacity Scheduler原理 Capacity

查看更多 →

自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

HBase基本原理 数据存储使用HBase来承接，HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。更多关于HBase的信息，请参见：https://hbase

查看更多 →

log还能为这些数据处理工具提供读写接口，并使用Hive的命令行接口发布数据定义和元数据探索命令。此外，经过封装这些命令，WebHCat Server还对外提供了RESTful接口，如图2所示。 图2 WebHCat的逻辑架构图 Hive原理 Hive作为一个基于HDFS和Map

查看更多 →

Group1与Consumer Group2中。 关于Kafka架构和详细原理介绍，请参见：https://kafka.apache.org/24/documentation.html。 Kafka原理 消息可靠性 Kafka Broker收到消息后，会持久化到磁盘，同时，To

查看更多 →

ful接口。 HSFabric 提供跨域（DC）高性能安全数据传输。 引擎层 Coordinator HetuEngine计算实例的管理节点，提供SQL接收、SQL解析、生成执行计划、执行计划优化、分派任务和资源调度等能力。 Worker HetuEngine计算实例的工作节点，

查看更多 →

单击“确定”，委托创建成功。 创建函数模板、创建函数 登录管理控制台。 单击管理控制台左上角，选择区域或项目。 单击页面左上方的，选择“计算 > 函数工作流”，进入函数工作流界面。 单击页面右上角的“创建函数”，进入创建函数界面。 单击“使用函数模板”，在“云服务”行选择“数据加

查看更多 →

onGraph会进行资源创建，下载函数代码，初始化扩展和Runtime，然后开始运行初始化代码（主程序外的代码）。 执行：在此阶段，实例接收事件后开始执行函数。函数运行到完成后，实例会等待下个事件的调用。 关闭：如果FunctionGraph函数在一段时间内没有接收任何调用，则会

查看更多 →

Artifacts 上传函数至FunctionGraph 在函数工作流工作台创建函数 登录函数工作流控制台在左侧导航栏选择“函数 > 函数列表”，进入函数列表界面。 单击“创建函数”，进入创建函数流程。 填写函数配置信息，如下图所示。 选择：“创建空白函数”。 函数名称输入：“IoTD

查看更多 →

检查函数工作流参数设置 规则详情 表1 规则详情 参数 说明 规则名称 function-graph-settings-check 规则展示名 检查函数工作流参数设置 规则描述 函数工作流的运行时、超时时间、内存限制不在指定范围内，视为“不合规”。 标签 fgs 规则触发方式 配置变更

查看更多 →

本节介绍使用MgC采集AWS 容器资源的基本原理、准备工作、账号权限要求以及具体的操作步骤，旨在帮助用户高效、准确地完成AWS 容器资源的数据采集工作。 公网发现原理 使用MgC通过公网发现AWS容器资源的原理图，如图1所示。 图1 采集AWS容器资源原理图 调用SDK：通过调用Amazon

查看更多 →