开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kaf

查看更多 →

开源Kafka输出流 功能描述 DLI 将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

HBase开源增强特性 HBase开源增强特性：HIndex HBase是一个Key-Value类型的分布式存储数据库。每张表的数据按照RowKey的字典顺序排序，因此，如果按照某个指定的RowKey去查询数据，或者指定某一个RowKey范围去扫描数据时，HBase可以快速定位到

查看更多 →

Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标： Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数

查看更多 →

Flink开源增强特性 Flink滑动窗口增强 Flink Job Pipeline增强 Flink Stream SQL Join Flink CEP in SQL 父主题： Flink

查看更多 →

按照不同用户授予不同权限控制，主要介绍下面两个部分： 集群运维管理员控制列表（Admin Acl） 该功能主要用于指定YARN集群的运维管理员，其中， MRS 集群管理员列表由参数“yarn.admin.acl”指定。集群运维管理员可以访问ResourceManager WebUI，

查看更多 →

Oozie开源增强特性 Oozie开源增强特性：安全增强 支持Oozie权限管理，提供管理员与普通用户两种角色。 支持单点登录登出，HTTPS访问以及审计日志。 父主题： Oozie

查看更多 →

ROMA运维与管理服务有什么优势？ 优势项 优势介绍 服务专业 1、专业集成对接设计能力，深入了解多个行业业务系统，理清网络、系统和数据集成的关键技术，指导项目交付的工程部署与应用、数据集成等； 2、分解每个业务场景的关键活动，指导ROMA Connect集成对接项目场景交付和验收。

查看更多 →

服务包扩展目录 运维能力是在OSC服务规范基础上产生的能力，因此如果需要对接运维能力，需要先确保服务包的格式转换为OSC自身的规范才行，默认的开源规范当前只支持安装部署等基本功能。 运维能力扩展 为了保证适用OSC的服务规范，将使用oscctl工具作为创建、转换OSC服务包，并且统一服务包格式。使用oscctl

查看更多 →

化客户告警配置的复杂度，提升告警配置效率。如下图所示： 图2 统一运维账号 账号A、账号B的监控数据通过CES提供的exporter能力在客户侧Prometheus进行任务配置，将数据接入。 客户的第三方监控平台提供一个定时任务（建议1分钟粒度），调用CES的告警历史接口，将告警写入数据库中。

查看更多 →

开源Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

HDFS开源增强特性 HDFS开源增强特性：文件块同分布（Colocation） 离线数据汇总统计场景中，Join是一个经常用到的计算功能，在MapReduce中的实现方式大体如下： Map任务分别将两个表文件的记录处理成（Join Key，Value），然后按照Join Key

查看更多 →

Spark开源增强特性 跨源复杂数据的SQL查询优化 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、 数据仓库 等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark

查看更多 →

一时刻的计算结果。使用CQL，可以快速进行业务开发，并方便地将业务提交到Storm平台开启实时数据的接收、处理及结果输出；并可以在合适的时候中止业务。 高可用性 Nimbus HA机制，避免了开源Storm集群中Nimbus出现单点故障而导致集群无法提供Topology的新增及管理操作的问题，增强了集群可用性。

查看更多 →

Spark开源命令支持说明 本章节介绍了目前DLI对开源的Spark SQL语法的支持情况。详细的语法、参数说明，示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库

查看更多 →

Flume开源增强特性 Flume开源增强特性 提升传输速度。可以配置将指定的行数作为一个Event，而不仅是一行，提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况，自动调整传输超大二进制文件的内存占用情况，不会导致Out of Memory（OOM）的出现。

查看更多 →

ZooKeeper开源增强特性 日志增强 安全模式下，Ephemeral node（临时节点）在session过期之后就会被系统删除，在审计日志中添加Ephemeral node被删除的审计日志，以便了解当时Ephemeral node的状态信息。 所有ZooKeeper客户端的

查看更多 →

Files按钮，打开文件上传窗口，选择左侧的进入GitHub开源仓库Clone界面。 图1 上传文件图标 图2 进入GitHub开源仓库Clone界面 输入有效的GitHub开源仓库地址后会展示该仓库下的文件及文件夹，说明用户输入了有效的仓库地址，同时给出该仓库下所有的分支供选择，选择完成后单击“克隆”开始Clone仓库。

查看更多 →

IoTDB开源增强特性 IoTDB开源增强特性：可视化 可视化运维，包含安装、卸载、一键启动和停止、配置、客户端、监控、告警、健康检查、日志。 可视化权限管理，无需后台命令行操作，支持库表级别读写权限控制。 日志级别的可视化配置动态生效、可视化下载、可视化检索、审计日志等功能。 IoTDB开源增强特性：安全加固

查看更多 →

产品概述 应用运维遇到挑战 在云时代，分布式微服务架构下应用日益丰富，用户数量爆发式增长，纷杂的应用异常问题接踵而来。传统运维模式下，多套运维系统上的各项指标无法关联分析， 运维人员需要根据运维经验逐一排查应用异常，分析定位问题效率低，维护成本高且稳定性差。 海量业务下应用运维面临以下两个方面的挑战：

查看更多 →

监控中心概述 监控中心是华为云打造的新一代云原生容器运维平台，可实时监控应用及资源，采集各项指标及事件等数据以分析应用健康状态，提供全面、清晰、多维度 数据可视化 能力，兼容主流开源组件，并提供快捷故障定位的能力。 功能介绍 多维度数据洞察：提供基于Kubernetes原生类型的容器

查看更多 →