时通过字段映射，统一把数据保存在数据库大宽表中）。 您可以围绕对象这一核心，定义相关的字段、字段校验规则、界面样式、字段变更时的触发事件等。如果把待开发的业务系统比作一部电影，对象就是电影中的一个个角色，需要勾勒角色的外貌、性格特点、人物关系和所经历的剧情。 租户开发者可以自定义对象（Custom

查看更多 →

迁移作业原理 数据迁移模型 CDM 数据迁移时，简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。

查看更多 →

Hive CBO原理介绍 Hive CBO原理介绍 CBO，全称是Cost Based Optimization，即基于代价的优化器。 其优化目标是： 在编译阶段，根据查询语句中涉及到的表和查询条件，计算出产生中间结果少的高效join顺序，从而减少查询时间和资源消耗。 Hive中实现CBO的总体过程如下：

查看更多 →

终的备份文件将以压缩包的形式存储在 对象存储服务 （OBS）中，不会占用实例的磁盘空间。 图2 副本集备份原理图 单节点实例 单节点的备份是在仅有的一个节点上进行的，最终的备份文件将以压缩包的形式存储在对象存储服务（OBS）中，不会占用实例的磁盘空间。 单节点的备份基于mongodu

查看更多 →

autoscaler模拟调度阶段，评估节点池1和节点池2中扩容的节点均可调度部分Pending Pods。 autoscaler决策优选节点池，评估Pod的CPU/内存比为1:4，节点池1中的节点规格为2U8G（CPU/内存比为1:4），节点池2中的节点规格为2U4G（CPU/内存比为1:2）。因此优选节点池1执行本次扩容。

查看更多 →

42345678901 1 name3 1 2020/6/13 17:38 N … … … … … 行式数据库中处于同一行中的数据总是被物理的存储在一起，而在列式数据库系统中，数据按如下表2顺序存储： 表2 列式数据库 row: 0 1 2 N ID: 12345678901 32345678901

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

CloudTable产品架构如下图所示： 图1 产品架构 Doris：MySQL生态，易上手，多表复杂分析性能优于传统MPP。 ClickHouse：万列大宽表多维聚合分析，亚秒级响应，全自助分析。 HBase：高并发，毫秒级查询响应。 产品优势 丰富场景：兼容HBase、Doris、ClickHouse等多种引擎。

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

演示如何创建DWS集群，连接示例数据库、导入存储在OBS中的示例数据和查询分析数据的流程，帮助您快速使用DWS。 快速入门 创建集群并导入OBS数据 数据库使用入门 TPC-DS和TPC-H测试 在线课堂 一节课入门及动手实践 数据仓库 介绍 性能调优介绍 高级特性 数据库集群管理 SQL进阶

查看更多 →

Application Developer 培养与认证能够在鲲鹏计算平台上进行业务应用的部署与迁移，性能测试与调优，以及具备处理应用在部署过程中遇到的常见问题的工程师。 通过HCIA-Kunpeng Application Developer认证，您将掌握对鲲鹏计算平台的使用和维护方

查看更多 →

数据仓库服务（DWS）连接参数说明 连接数据仓库服务（DWS）时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根

查看更多 →

Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HiveQL语言非常容易的完成数据提取、转换和加载（ETL）。

查看更多 →

获取数据仓库自定义属性列表 功能介绍 获取数据仓库自定义属性列表 URI GET /v1.0/{project_id}/common/warehouses/custom-attributes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id，获取方法请参见获取项目ID

查看更多 →

数据仓库服务（DWS）连接参数说明 连接数据仓库服务（DWS）时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根

查看更多 →

autoFlushMaxInterval：自动刷库的最大间隔时间（攒批时长）。默认值：5s。 查看作业管理界面，作业状态为“运行中”。 参考管理Kafka Topic中的消息，查看Topic并向Kafka中写入数据。 ../kafka-topics.sh --list --bootstrap-server Ka

查看更多 →

将生成的签名信息作为请求消息头添加到HTTP请求中，或者作为查询字符串参数添加到HTTP请求中。 API网关收到请求后，执行1~3，计算签名。 将3中的生成的签名与5中生成的签名进行比较，如果签名匹配，则处理请求，否则将拒绝请求。 APP签名仅支持Body体12M及以下的请求签名。 步骤1：构造规范请求 使用APP方

查看更多 →

lsn的工作流程如下： 只读节点通过与主节点通信，获取最新redo的lsn和其描述信息。 从log store中读取redo日志到内存中。 redo 日志解析处理，失效内存中相关元数据信息、更新内存中的视图信息等。 推进visible lsn。 在大多数情况下，主节点和只读节点时延很小，但是在一

查看更多 →

事件等。 逻辑组件：在服务编排中实现变量赋值Assignment、循环Loop、跳出循环Break、决策Decision和等待Wait。 商业对象：将封装好的BO能力作为服务编排中的一个节点。 连接器：将短信发送、支付等第3方连接器作为当前服务编排中的一个节点。 除了图形化编排，

查看更多 →

中。 通知Driver（绿色箭头） 接收块中的元数据被发送到Driver的StreamingContext。这个元数据包括： 定位其在Executor内存中数据位置的块Reference ID。 若启用了WAL，还包括块数据在日志中的偏移信息。 处理数据（红色箭头） 对每个批次的

查看更多 →

Process”和“WebServer”通过“THRIFT/REST”接口与WebServer上的应用进行交互，如图1所示。 图1 Hue架构示意图 图1中各部分的功能说明如表1所示。 表1 结构图说明 名称 描述 Supervisor Process Supervisor负责WebServer

查看更多 →