开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kaf

查看更多 →

开源Kafka输出流 功能描述 DLI 将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

HBase开源增强特性 HBase开源增强特性：HIndex HBase是一个Key-Value类型的分布式存储数据库。每张表的数据按照RowKey的字典顺序排序，因此，如果按照某个指定的RowKey去查询数据，或者指定某一个RowKey范围去扫描数据时，HBase可以快速定位到

查看更多 →

Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标： Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数

查看更多 →

个队列包含两种权限：提交应用程序权限和管理应用程序权限（比如终止任意应用程序）。 开源功能： 虽然目前YARN服务的用户层面上支持如下三种角色： 集群运维管理员 队列管理员 普通用户 但是当前开源YARN提供的WebUI/RestAPI/JavaAPI等接口上不会根据用户角色进行

查看更多 →

数据治理 组织架构框架 数据治理可以采用集中化（全时投入）和虚拟化（部分投入）混合的组织模式。结合具备专业技能的专职数据治理人员和熟悉业务和IT系统的已有人员，在运作上实现数据治理团队的快速构建和能力导入，捆绑业务、IT开发和数据团队利用已有人员熟悉度快速切入重点工作。 在工作内容和责任上具体到三层的工作组织：

查看更多 →

导航栏中选择“test”项目，单击鼠标右键，选择“属性”，打开属性界面。如图2所示。 图2 属性 在属性界面选择“应用程序”，选择目标框架为“.NET Core 2.0”，如图3所示。 图3 选择目标框架 添加引用 选择解决方案资源管理器中“test”工程，单击鼠标右键，选择“添加引用”，把下载的dll文件引用进来。如图4所示。

查看更多 →

Spark开源命令支持说明 本章节介绍了目前DLI对开源的Spark SQL语法的支持情况。详细的语法、参数说明，示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库

查看更多 →

Flume开源增强特性 Flume开源增强特性 提升传输速度。可以配置将指定的行数作为一个Event，而不仅是一行，提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况，自动调整传输超大二进制文件的内存占用情况，不会导致Out of Memory（OOM）的出现。

查看更多 →

ZooKeeper开源增强特性 日志增强 安全模式下，Ephemeral node（临时节点）在session过期之后就会被系统删除，在审计日志中添加Ephemeral node被删除的审计日志，以便了解当时Ephemeral node的状态信息。 所有ZooKeeper客户端的

查看更多 →

应用开发问题咨询指引 开源社区链接 servicecomb-java-chassis、spring-cloud-huawei等SDK作为开源框架，版本的发布和维护都由开源团队负责，目前已经在开源社区积累了诸多问题的解决经验，若在开发使用过程中遇到问题，请通过如下链接检索历史问题、提交新问题和进行问题咨询：

查看更多 →

Script/Go/Python/C#/TypeScript/ CSS /HTML/PHP/LUA/RUST/Shell/KOTLIN/SCALA/ArkTS等10+常见开发语言，满足嵌入式、WEB应用、移动应用等多种开发场景所需。 内置多款的开源工具与自研引擎一起提供丰富的检查规则（9000+）。

查看更多 →

开发用于预置框架训练的代码 当您使用ModelArts Standard提供的预置框架创建算法时，您需要提前完成算法的代码开发。本章详细介绍如何改造本地代码以适配ModelArts上的训练。 创建算法时，您需要在创建页面提供代码目录路径、代码目录路径中的启动文件、训练输入路径参数

查看更多 →

Flink性能优化 概述 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pi

查看更多 →

ceComb引擎的相关技术支持。开源微服务开发框架如何使用不是本文档的范围，您可以通过开源社区获取相关微服务开发框架的入门材料和开发指南。 理解注册中心、配置中心在微服务应用中的作用，并在项目中搭建和使用注册中心。不同的微服务开发框架默认支持的开源注册中心会有差异，理解注册中心的作用，可以更加容易的更换注册中心。

查看更多 →

统一角色桌面框架 角色桌面介绍 角色桌面管理 创建角色桌面 编辑角色桌面 查看角色桌面 删除角色桌面 添加常用卡片 添加专属卡片 父主题： IPDCenter基础服务使用指南

查看更多 →

容器网络 Kubernetes本身并不负责网络通信，但提供了容器网络接口CNI（Container Network Interface），具体的网络通信交由CNI插件来实现。开源的CNI插件非常多，像Flannel、Calico等。针对Kubernetes网络，CCE为不同网络模

查看更多 →

用接入微服务引擎的相关技术支持。开源微服务开发框架如何使用不是本文档的范围，您可以通过开源社区获取相关微服务开发框架的入门材料和开发指南。 理解注册中心、配置中心在微服务应用中的作用，并在项目中搭建和使用注册中心。不同的微服务开发框架默认支持的开源注册中心会有差异，理解注册中心的作用，可以更加容易的更换注册中心。

查看更多 →

SDK（NUWA框架） 引入Rainbow SDK Rainbow SDK依赖Cloud Map的注册和发现能力，在引入Rainbow SDK之前，要先引入STS SDK和Cloud Map SDK，并完成STS和Cloud Map的初始化，具体请参见使用STS SDK（NUWA框架）和使用Cloud

查看更多 →

loadingList=...,nuwa-gpaas-cloudmap,… 初始化Cloud Map 使用NUWA框架，只要增加对应配置，框架即会完成Cloud Map的初始化。 这些配置需要写到nuwa框架可以读到的文件里，一般是nuwa-xxx.properties，nuwa-xxx.yaml文件。因为Cloud

查看更多 →

将测试框架集成到项目中 在您的项目中启动测试框架集成： 单击CodeArts IDE底部的“测试“（）按钮来打开测试视图。 在测试视图中，单击“Configure Python Tests“按钮。 在弹出的窗口中选择测试框架来启动对应集成。 如果您选择“pytest“，Codea

查看更多 →