开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kaf

查看更多 →

个队列包含两种权限：提交应用程序权限和管理应用程序权限（比如终止任意应用程序）。 开源功能： 虽然目前YARN服务的用户层面上支持如下三种角色： 集群运维管理员 队列管理员 普通用户 但是当前开源YARN提供的WebUI/RestAPI/JavaAPI等接口上不会根据用户角色进行

查看更多 →

Oozie开源增强特性 Oozie开源增强特性：安全增强 支持Oozie权限管理，提供管理员与普通用户两种角色。 支持单点登录登出，HTTPS访问以及审计日志。 父主题： Oozie

查看更多 →

HBase开源增强特性 HBase开源增强特性：HIndex HBase是一个Key-Value类型的分布式存储数据库。每张表的数据按照RowKey的字典顺序排序，因此，如果按照某个指定的RowKey去查询数据，或者指定某一个RowKey范围去扫描数据时，HBase可以快速定位到

查看更多 →

Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标： Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数

查看更多 →

Flink开源增强特性 Flink滑动窗口增强 Flink Job Pipeline增强 Flink Stream SQL Join Flink CEP in SQL 父主题： Flink

查看更多 →

开放架构，及时享受云计算的前沿技术和服务。 功能丰富灵活，多行业完整解决方案，已成功服务众多行业客户。 开源MQTT提供了基本的功能，构筑完整解决方案时需要开发人员基于开源能力进行开发。而开发人员对开源代码进行侵入式修改，容易在开源中间件升级时遗漏修改的部分导致现网事故。 设备通信 通过 全球SIM联接 服务购买物

查看更多 →

中间件-MySQL日志 自建中间件功能在邀测中，支持华北-北京四局点，仅针对用户内测使用，后续将全网开放，敬请期待！ MySQL是一种广泛使用的关系型数据库管理系统。MySQL日志系统包含了多种不同类型的日志，用于记录My SQL服务器 在运行时的各种活动和事件。这些日志对于数据库管

查看更多 →

中间件-Redis日志 自建中间件功能在邀测中，支持华北-北京四局点，仅针对用户内测使用，后续将全网开放，敬请期待！ Redis的日志主要用于记录Redis 服务器 的运行状态、相关事件以及客户端执行的命令等信息。Redis的日志主要有系统日志和慢查询日志。 系统日志（System Log）：

查看更多 →

开源Kafka输出流 功能描述 DLI 将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

HDFS开源增强特性 HDFS开源增强特性：文件块同分布（Colocation） 离线数据汇总统计场景中，Join是一个经常用到的计算功能，在MapReduce中的实现方式大体如下： Map任务分别将两个表文件的记录处理成（Join Key，Value），然后按照Join Key

查看更多 →

Spark开源增强特性 跨源复杂数据的SQL查询优化 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、 数据仓库 等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark

查看更多 →

Storm开源增强特性 CQL CQL（Continuous Query Language），持续查询语言，是一种用于实时数据流上的查询语言，它是一种SQL-like的语言，相对于SQL，CQL中增加了（时序）窗口的概念，将待处理的数据保存在内存中，进行快速的内存计算，CQL的输

查看更多 →

查询中间件列表 功能介绍 查询中间件列表，支持通过中间件名称查询对应的服务器树 调用方法 请参见如何调用API。 URI GET /v5/{project_id}/asset/midwares 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

开源社区Exporter列表。 在容器场景自建中间件接入，已经提供部分常用中间件exporter接入操作指导，可以根据操作安装其他的Exporter。 父主题： CCE容器场景自建中间件接入

查看更多 →

开源社区Exporter列表。 在容器场景自建中间件接入，已经提供部分常用中间件exporter接入操作指导，可以根据操作安装其他的Exporter。 父主题： CCE容器场景自建中间件接入

查看更多 →

Spark开源命令支持说明 本章节介绍了目前DLI对开源的Spark SQL语法的支持情况。详细的语法、参数说明，示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库

查看更多 →

Flume开源增强特性 Flume开源增强特性 提升传输速度。可以配置将指定的行数作为一个Event，而不仅是一行，提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况，自动调整传输超大二进制文件的内存占用情况，不会导致Out of Memory（OOM）的出现。

查看更多 →

ZooKeeper开源增强特性 日志增强 安全模式下，Ephemeral node（临时节点）在session过期之后就会被系统删除，在审计日志中添加Ephemeral node被删除的审计日志，以便了解当时Ephemeral node的状态信息。 所有ZooKeeper客户端的

查看更多 →

Spark开源命令支持说明 本章节介绍了目前DLI对开源的Spark SQL语法的支持情况。详细的语法、参数说明，示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库

查看更多 →

使用Mirrors中的开源镜像

查看更多 →