Oozie基本原理 Oozie简介 Oozie是一个基于工作流引擎的开源框架，它能够提供对Hadoop作业的任务调度与协调。 Oozie结构 Oozie引擎是一个Web App应用，默认集成到Tomcat中，采用pg数据库。 基于Ext提供WEB Console，该Console

查看更多 →

MySQL Tools Doris采用MySQL协议，高度兼容MySQL语法，支持标准SQL，用户可以通过各类客户端工具来访问Doris，并支持与BI工具无缝对接。 FE 主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。 BE 主要负责存储数据、执行查询计划、副本负载均衡。

查看更多 →

GaussDB (for MySQL)备份原理 云数据库 GaussDB(for MySQL)基于华为最新一代DFV存储，采用计算与存储分离架构，计算层用于给外部提供服务，管理日志信息，存储层存储数据信息。存储层分为Common Log节点和Slice Store节点，Common

查看更多 →

异地双活原理介绍 GeminiDB Cassandra提供了异地双活功能，通过异地实例间数据的双向同步和业务灵活调度能力，实现了业务恢复和故障恢复解耦，保障了故障场景下业务的连续性。 异地双活是一种多活容灾架构的解决方案，即部署在不同数据中心的GeminiDB Cassandra

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

通过多VW实现吞吐/并发的线性提升，同时具备良好的读写分离、负载隔离能力。 湖仓一体 数据湖 与数据仓库数据无缝混合查询。 数据湖分析体验数仓的极致性能和精准管控度。 存算一体与存算分离产品形态对比 表2 DWS 3.0与DWS 2.0差异 数仓类型 DWS 2.0 DWS 3.0 存储介质 数据存储在计算节点的本地磁盘。

查看更多 →

大数据技术发展趋势及鲲鹏大数据 3% HDFS分布式文件系统和 ZooKeeper 12% Hive 分布式数据仓库 10% HBase技术原理 11% MapReduce 和 Yarn 技术原理 9% Spark 基于内存的分布式计算 7% Flink 流批一体分布式实时处理引擎 8% Flume海量日志聚合

查看更多 →

数据仓库自定义属性 表1 数据仓库自定义属性权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库自定义属性列表 GET /v1.0/{project_id}/common/wareho

查看更多 →

多个授权项。表2展示了API与授权项的关系，以及该API需要依赖的授权项。 表2 API与授权项的关系 API 对应的授权项 依赖的授权项 POST /v2/{project_id}/alarm-subs dws:alarm:createSubscription - DELETE

查看更多 →

数据仓库自定义属性 获取数据仓库自定义属性列表 父主题： API

查看更多 →

请尝试使用共享型ELB重试。 DWS.6041 独享型ELB未开启跨VPC转发特性或与集群VPC不一致，绑定弹性负载均衡失败。 请前往ELB界面开启跨VPC开关或选择与集群VPC一致的LB重试。 DWS.8902 当变更规格时，选择了不支持变更的规格。 选择规格列表中的其他规格。 DWS.8903 当变更规格时，选择的规格已经售罄。

查看更多 →

IoTDB基本原理 IoTDB（物联网数据库）是一体化收集、存储、管理与分析物联网时序数据的软件系统。 Apache IoTDB采用轻量式架构，具有高性能和丰富的功能。 IoTDB从存储上对时间序列进行排序，索引和chunk块存储，大大的提升时序数据的查询性能。通过Raft协议，

查看更多 →

urce的数据，当Sink成功将数据发送到下一跳的Channel或最终目的地时，数据从Channel移除。 Channel提供的持久化水平与Channel的类型相关，有以下三类： Memory Channel：非持久化。 File Channel：基于WAL（预写式日志Write-Ahead

查看更多 →

权限管理模块，管理用户和用户组的权限。 A CS 用户和用户组管理模块，管理用户及用户归属的用户组。 Kerberos 在 OMS 与集群中各部署一个。 OMS Kerberos提供单点登录及Controller与Node Agent间认证的功能。 集群中Kerberos提供组件用户安全认证功能，其服务名称为KrbServer，包含两种角色实例：

查看更多 →

数据应用集成设计与实施 图1 数据应用集成设计与实施 数据应用集成设计与实施作为数据管理实施专业服务中的一个非必选项，主要面向客户数据消费场景多，IT能力弱的场景提供服务。工作内容包括数据应用集成实施和数据应用内容开发，将多个数据应用进行打通组合，或针对特定业务场景进行报表设计与开

查看更多 →

已购买工业软件云联营License类商品。 授权与使用流程 图1 PC端应用授权与使用流程 步骤1：添加成员 登录工业软件SaaS服务中心企业管理业务面。 （可选）选择一个组织，进入企业管理业务面。 在导航栏中，选择“组织成员管理 > 成员管理”。 左侧选择一个部门，单击“创建成员”。 参考表1填写成员信息，填写完成后，单击“下一步”。

查看更多 →

选择“使用已有”应用安装包时，该参数可见。 选择应用安装包所在的OBS桶与安装包名称。 选择2.3 步骤二：应用内容上云中创建的OBS桶。 应用启动路径 应用类型选择“3D应用”时，该参数可见。 若为系统预装的3D应用，此为应用启动程序在 云服务器 系统中的绝对路径。否则为应用启动程序在安装包中的相对路径。

查看更多 →

集团应用与数据集成 集团企业完成子公司与集团总部之间、集团与外部合作伙伴之间的集成面临这些瓶颈： 地域差异 集团总部和集团子公司、合作伙伴所处的地域不同，时区不同，降低了数据的时效性和可靠性。 云服务差异 集团总部和集团子公司、合作伙伴使用的云服务不一样，调用不同的云服务存在困难。

查看更多 →

Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限

查看更多 →

ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种

查看更多 →

K8s调度器原理剖析和实践 Cloud Native Lives 第5课：K8s网络模型原理剖析与实践 01:11:04 K8s网络模型原理剖析与实践 Cloud Native Lives 第6课：K8s服务发现与负载均衡原理剖析与实践 01:11:38 K8s服务发现与负载均衡原理剖析

查看更多 →