Spark开源命令支持说明 本章节介绍了目前 DLI 对开源的Spark SQL语法的支持情况。详细的语法、参数说明，示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库

查看更多 →

Files按钮，打开文件上传窗口，选择左侧的进入GitHub开源仓库Clone界面。 图1 上传文件图标 图2 进入GitHub开源仓库Clone界面 输入有效的GitHub开源仓库地址后会展示该仓库下的文件及文件夹，说明用户输入了有效的仓库地址，同时给出该仓库下所有的分支供选择，选择完成后单击“克隆”开始Clone仓库。

查看更多 →

Flume开源增强特性 Flume开源增强特性 提升传输速度。可以配置将指定的行数作为一个Event，而不仅是一行，提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况，自动调整传输超大二进制文件的内存占用情况，不会导致Out of Memory（OOM）的出现。

查看更多 →

ZooKeeper开源增强特性 日志增强 安全模式下，Ephemeral node（临时节点）在session过期之后就会被系统删除，在审计日志中添加Ephemeral node被删除的审计日志，以便了解当时Ephemeral node的状态信息。 所有ZooKeeper客户端的

查看更多 →

Kafka 按照分布式事务日志架构的大规模发布/订阅消息队列，用于日志数据及spark和flink清洗后的数据存储的消息队列。 HDFS 分布式文件系统，用于离线日志接入原始数据存储。 Hive 可实现大规模分析的分布式容错 数据仓库 系统，用于离线日志接入处理后的数据存储。 MPPDB

查看更多 →

Kafka 按照分布式事务日志架构的大规模发布/订阅消息队列，用于日志数据及spark和flink清洗后的数据存储的消息队列。 HDFS 分布式文件系统，用于离线日志接入原始数据存储。 Hive 可实现大规模分析的分布式容错数据仓库系统，用于离线日志接入处理后的数据存储。 MPPDB

查看更多 →

Spark开源命令支持说明 本章节介绍了目前DLI对开源的Spark SQL语法的支持情况。详细的语法、参数说明，示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库

查看更多 →

IoTDB开源增强特性 IoTDB开源增强特性：可视化 可视化运维，包含安装、卸载、一键启动和停止、配置、客户端、监控、告警、健康检查、日志。 可视化权限管理，无需后台命令行操作，支持库表级别读写权限控制。 日志级别的可视化配置动态生效、可视化下载、可视化检索、审计日志等功能。 IoTDB开源增强特性：安全加固

查看更多 →

开源组件Web站点 场景介绍 MRS 集群默认在集群的Master节点或Core节点创建并托管了不同组件的Web站点，用户可以通过这些Web站点查看组件相关信息。 访问开源组件Web站点步骤： 配置访问方式。 MRS提供如下访问开源组件Web站点的方式： 通过弹性公网IP访问：推荐

查看更多 →

eSQL9.2开源版本不断演进，根据PG-XC架构演生了多CN架构，主要开发了分布式执行框架（stream算子）、向量化引擎等领域中较重要的特性。目前 GaussDB 除了保留PostgreSQL的标准接口和公共函数外，在自研生态、架构和关键技术上也有了新的发展，开源了集中式部署的能

查看更多 →

分布式身份 注册个人分布式身份 注册企业分布式身份 更新企业DID服务 查询分布式身份文档 父主题： API

查看更多 →

GaussDB(for MySQL)是华为自研的最新一代企业级高扩展高性能分布式数据库，完全兼容MySQL。基于华为最新一代DFV存储，采用计算存储分离架构，128TB的海量存储，故障秒级切换，既拥有商业数据库的高可用和性能，又具备开源低成本效益。 可靠性功能 常见故障模式 父主题： 云服务可靠性介绍

查看更多 →

份效率。 基于底层存储系统的多时间点特性，不需增量日志回放，可直接实现按时间点回滚。 海量存储 华为自研DFV分布式存储，容量高达128TB。 根据数据量自动伸缩，无须提前规划，节约成本。 算子下推 将过滤条件、列投影、聚合运算从计算节点下推到存储节点，跨存储节点并行处理，减少网

查看更多 →

自定义作业交互 对象存储服务 OBS OBS输入流 OBS输出流 - 关系型数据库 RDS - RDS输出流 - 消息通知服务 SMN - SMN输出流 - 开源生态开发 表2 开源生态开发一览表 数据源 SQL 自定义作业 输入流 输出流 Apache Kafka 开源Kafka输入流

查看更多 →

存储 存储是保存数据的对象，通常来说，同一种设备的数据会保存在同一个存储中。存储中定义了设备的标签与设备的属性。其中设备ID（deviceId）就是最常用的一种标签（tag）。一个标签包括标签名与标签值，例如设备ID：标签名为 deviceId，而它的标签值则是具体的某个设备ID

查看更多 →

存储 存储概述 存储基础知识 云硬盘存储（EVS） 文件存储（SFS） 极速文件存储（SFS Turbo） 对象存储（OBS） 专属存储（DSS） 本地持久卷（Local PV） 临时存储卷（EmptyDir） 主机路径（HostPath） 存储类（StorageClass） 存储管理最佳实践

查看更多 →

该解决方案基于开源项目Pulsar构建，可以帮助您在华为云上快速构建高可用Pulsar集群。Apache Pulsar 是 Apache 软件基金会的顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房

查看更多 →

CCE实例可以上报多个CCE集群数据。 开源兼容 支持自定义多维数据模型、HTTP API模块、PromQL查询。 静态文件配置和动态发现机制发现监控对象，实现轻松迁移及接入。 数据规模无上限 凭借云存储能力，数据存储无上限，不再受限于本地容量。云端分布式存储保障数据可靠性。 通过Prometheus实例

查看更多 →

Hadoop分布式文件系统（Hadoop Distributed File System），提供高吞吐量的数据访问，适合大规模数据集方面的应用。 Hive 建立在Hadoop基础上的开源的数据仓库，提供类似SQL的Hive Query Language语言操作结构化数据存储服务和基本的数据分析服务。

查看更多 →

超强写入 小批量写入场景性能为开源版本InfluxDB的4.5倍，大批量写入场景性能为开源版本InfluxDB的3.3倍。 弹性扩展 基于计算存储分离的分布式架构，分钟级计算节点扩容，应对业务高峰期。 证券及加密货币交易数据 GeminiDB Influx接口存储用户银行的银行流水，可应

查看更多 →

存储 华为云为您提供多种数据存储方式，每种存储方式都具有独特的性能和耐用性组合。这些存储选项可以单独使用，也可以组合使用，以满足您的要求。以下介绍华为云SAP解决方案的存储方式及其主要用途。 云硬盘（EVS） 通过云硬盘服务，华为云提供可扩展的虚拟块存储设备。您可以在线创建云硬盘

查看更多 →