储数TB数据。 数据仓库 服务 GaussDB (DWS) 数据仓库服务（Data Warehouse Service，简称DWS）是完全托管的企业级云上数据仓库服务，具备高性能、低成本、易扩展等特性，满足大数据时代企业数据仓库业务诉求。适用于对海量日志进行存储，分析等场景。 数据湖探索

查看更多 →

服务说明 华为云数据仓库产品咨询服务 理解客户业务需求，结合客户需求场景分析结果，提供华为云数据仓库产品及解决方案咨询服务。 华为云数据仓库平台安装部署规划与实施 提供华为云数据仓库软件组网规划、安装、配置与调测服务。 数据仓库迁移方案设计与实施支持 根据业务特点，设计数据仓库迁移方案，

查看更多 →

开源Kafka输出流 功能描述 DLI 将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

HBase开源增强特性 HBase开源增强特性：HIndex HBase是一个Key-Value类型的分布式存储数据库。每张表的数据按照RowKey的字典顺序排序，因此，如果按照某个指定的RowKey去查询数据，或者指定某一个RowKey范围去扫描数据时，HBase可以快速定位到

查看更多 →

Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标： Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数

查看更多 →

Flink开源增强特性 Flink滑动窗口增强 Flink Job Pipeline增强 Flink Stream SQL Join Flink CEP in SQL 父主题： Flink

查看更多 →

应用等待原因 如果应用程序尚未启动，则提供作业等待原因信息。 Superior Scheduler和YARN开源调度器作了对比分析，如表2所示： 表2 对比分析 领域 YARN开源调度器 Superior Scheduler 多租户调度 在同构集群上，只能选择容量调度器（Capacity

查看更多 →

Oozie开源增强特性 Oozie开源增强特性：安全增强 支持Oozie权限管理，提供管理员与普通用户两种角色。 支持单点登录登出，HTTPS访问以及审计日志。 父主题： Oozie

查看更多 →

开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kaf

查看更多 →

Files按钮，打开文件上传窗口，选择左侧的进入GitHub开源仓库Clone界面。 图1 上传文件图标 图2 进入GitHub开源仓库Clone界面 输入有效的GitHub开源仓库地址后会展示该仓库下的文件及文件夹，说明用户输入了有效的仓库地址，同时给出该仓库下所有的分支供选择，选择完成后单击“克隆”开始Clone仓库。

查看更多 →

Flume开源增强特性 Flume开源增强特性 提升传输速度。可以配置将指定的行数作为一个Event，而不仅是一行，提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况，自动调整传输超大二进制文件的内存占用情况，不会导致Out of Memory（OOM）的出现。

查看更多 →

ZooKeeper开源增强特性 日志增强 安全模式下，Ephemeral node（临时节点）在session过期之后就会被系统删除，在审计日志中添加Ephemeral node被删除的审计日志，以便了解当时Ephemeral node的状态信息。 所有ZooKeeper客户端的

查看更多 →

Spark开源命令支持说明 本章节介绍了目前DLI对开源的Spark SQL语法的支持情况。详细的语法、参数说明，示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库

查看更多 →

HDFS开源增强特性 HDFS开源增强特性：文件块同分布（Colocation） 离线数据汇总统计场景中，Join是一个经常用到的计算功能，在MapReduce中的实现方式大体如下： Map任务分别将两个表文件的记录处理成（Join Key，Value），然后按照Join Key

查看更多 →

Spark开源增强特性 跨源复杂数据的SQL查询优化 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark

查看更多 →

Storm开源增强特性 CQL CQL（Continuous Query Language），持续查询语言，是一种用于实时数据流上的查询语言，它是一种SQL-like的语言，相对于SQL，CQL中增加了（时序）窗口的概念，将待处理的数据保存在内存中，进行快速的内存计算，CQL的输

查看更多 →

开源Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

创建数据仓库 GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后，记录集群的内网IP。 为确保E CS 与GaussDB(DWS)网络互通，GaussDB(DWS)数据仓库需要与ECS在同一个区域，同一个虚拟私有云和子网下。 表1 DWS规格

查看更多 →

数据仓库错误码 SQL标准错误码说明 第三方库错误码说明 GAUSS-00001 -- GAUSS-00100 GAUSS-00101 -- GAUSS-00200 GAUSS-00201 -- GAUSS-00300 GAUSS-00301 -- GAUSS-00400 GAUSS-00401

查看更多 →

System），提供高吞吐量的数据访问，适合大规模数据集方面的应用。 Hive 建立在Hadoop基础上的开源的数据仓库，提供类似SQL的Hive Query Language语言操作结构化数据存储服务和基本的数据分析服务。 ZooKeeper 提供分布式、高可用性的协调服务能力。帮助系统避免单点故障，从而建立可靠的应用程序。

查看更多 →

资产分析 对IT设备与基础设备全生命周期的资产管理，从而对资产进行分析，实现资产增值保障。 前提条件 已具备“运营分析”的操作权限。 已在“组态配置”中添加基础设施。 背景信息 IT设备的四种分类为 服务器 、网络设备、存储和其它。其中，“其他”为“分类管理”页面中除服务器、网络设备、存储以外的其他“IT设备”。

查看更多 →