开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kaf

查看更多 →

开源Kafka输出流 功能描述 DLI 将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

HBase开源增强特性 HBase开源增强特性：HIndex HBase是一个Key-Value类型的分布式存储数据库。每张表的数据按照RowKey的字典顺序排序，因此，如果按照某个指定的RowKey去查询数据，或者指定某一个RowKey范围去扫描数据时，HBase可以快速定位到

查看更多 →

Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标： Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数

查看更多 →

Flink开源增强特性 Flink滑动窗口增强 Flink Job Pipeline增强 Flink Stream SQL Join Flink CEP in SQL 父主题： Flink

查看更多 →

Scheduler采用“从作业到节点的调度策略”，即尝试在可用节点之间调度给定的作业，使得所选节点适合于给定作业。通过这样做，调度器将具有集群和数据的整体视图。如果有机会使任务更接近数据，则保证了本地化。而开源调度器采用“从节点到作业的调度策略”，在给定节点中尝试匹配适当的作业。 Container调度时动态资源预留

查看更多 →

Oozie开源增强特性 Oozie开源增强特性：安全增强 支持Oozie权限管理，提供管理员与普通用户两种角色。 支持单点登录登出，HTTPS访问以及审计日志。 父主题： Oozie

查看更多 →

的计算机软件。 开源组件(open source component) 是开源软件系统中最小可识别且本身不再包含另外组件的、组件信息可在公共网站获取且可独立分发、开发过程中带有版本号并且可组装的软件实体。 开源许可证(open source license) 开源软件的版权持有人

查看更多 →

构建程序 本例提供了DIS数据流格式转换的源码和程序包（包含函数依赖），使用空白模板创建函数，用户可以下载、学习使用。 创建工程 本例使用Java语言实现DIS数据流格式转换功能，有关函数开发的过程请参考Java函数开发指南，本例不再介绍业务功能实现的代码。 下载样例源码（fss

查看更多 →

构建程序 创建API分组 创建函数及添加事件源之前，需要先创建一个API分组，API分组是API的管理单元，用来存放API。 您需要拥有一个APIG实例后才能开启API网关服务相关功能，具体请参见购买实例。 登录APIG控制台，在左侧导航栏选择“API管理 > API分组”，单击“创建API分组”。

查看更多 →

构建程序 本例提供一个图片旋转的样例代码供学习使用。 创建程序包 本例使用Golang语言实现图片旋转的功能，有关函数开发的过程请参考Golang函数开发。本例不再介绍业务功能实现的代码，样例代码目录如图1所示。 图1 样例代码目录 创建函数 创建函数的时候，必须选择委托包含OB

查看更多 →

构建程序 通过Web托管方式改造微服务。改造过程中，如果微服务是基于spring框架，则需要使用FunctionGraph提供的SDK，即在pom.xml文件中添加步骤1中依赖。此时，您只需修改配置以及打包方式即可将微服务改造成serverless函数。具体操作步骤如下： 配置微服务依赖。

查看更多 →

开发程序 典型场景说明 开发思路 准备开发和运行环境 配置并导入样例工程 样例代码说明 父主题： ClickHouse应用开发指导

查看更多 →

开源Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

Key做Hash分区后，送到不同的Reduce任务里去处理。 Reduce任务一般使用Nested Loop方式递归左表的数据，并遍历右表的每一行，对于相等的Join Key，处理Join结果并输出。 以上方式的最大问题在于，由于数据分散在各节点上，所以在Map到Reduce过程中，需

查看更多 →

Spark开源增强特性 跨源复杂数据的SQL查询优化 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、 数据仓库 等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark

查看更多 →

Storm开源增强特性 CQL CQL（Continuous Query Language），持续查询语言，是一种用于实时数据流上的查询语言，它是一种SQL-like的语言，相对于SQL，CQL中增加了（时序）窗口的概念，将待处理的数据保存在内存中，进行快速的内存计算，CQL的输

查看更多 →

Spark开源命令支持说明 本章节介绍了目前DLI对开源的Spark SQL语法的支持情况。详细的语法、参数说明，示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库

查看更多 →

Flume开源增强特性 Flume开源增强特性 提升传输速度。可以配置将指定的行数作为一个Event，而不仅是一行，提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况，自动调整传输超大二进制文件的内存占用情况，不会导致Out of Memory（OOM）的出现。

查看更多 →

自定义认证提供程序实现org.apache.zookeeper.server.auth.ExtAuthenticationProvider.getUserName（String）方法以获取用户名。 如果没有实现，从认证提供程序实例获取用户名将被跳过。 ZooKeeper开源增强特性：ZooKeeper

查看更多 →

的计算机软件。 开源组件(open source component) 是开源软件系统中最小可识别且本身不再包含另外组件的、组件信息可在公共网站获取且可独立分发、开发过程中带有版本号并且可组装的软件实体。 开源许可证(open source license) 开源软件的版权持有人

查看更多 →