Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标： Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数

查看更多 →

Flink开源增强特性 Flink滑动窗口增强 Flink Job Pipeline增强 Flink Stream SQL Join Flink CEP in SQL 父主题： Flink

查看更多 →

应用等待原因 如果应用程序尚未启动，则提供作业等待原因信息。 Superior Scheduler和YARN开源调度器作了对比分析，如表2所示： 表2 对比分析 领域 YARN开源调度器 Superior Scheduler 多租户调度 在同构集群上，只能选择容量调度器（Capacity

查看更多 →

Oozie开源增强特性 Oozie开源增强特性：安全增强 支持Oozie权限管理，提供管理员与普通用户两种角色。 支持单点登录登出，HTTPS访问以及审计日志。 父主题： Oozie

查看更多 →

开源Kafka输出流 功能描述 DLI 将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

开源Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

HDFS开源增强特性 HDFS开源增强特性：文件块同分布（Colocation） 离线数据汇总统计场景中，Join是一个经常用到的计算功能，在MapReduce中的实现方式大体如下： Map任务分别将两个表文件的记录处理成（Join Key，Value），然后按照Join Key

查看更多 →

Spark开源增强特性 跨源复杂数据的SQL查询优化 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、 数据仓库 等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark

查看更多 →

Storm开源增强特性 CQL CQL（Continuous Query Language），持续查询语言，是一种用于实时数据流上的查询语言，它是一种SQL-like的语言，相对于SQL，CQL中增加了（时序）窗口的概念，将待处理的数据保存在内存中，进行快速的内存计算，CQL的输

查看更多 →

Files按钮，打开文件上传窗口，选择左侧的进入GitHub开源仓库Clone界面。 图1 上传文件图标 图2 进入GitHub开源仓库Clone界面 输入有效的GitHub开源仓库地址后会展示该仓库下的文件及文件夹，说明用户输入了有效的仓库地址，同时给出该仓库下所有的分支供选择，选择完成后单击“克隆”开始Clone仓库。

查看更多 →

Spark开源命令支持说明 本章节介绍了目前DLI对开源的Spark SQL语法的支持情况。详细的语法、参数说明，示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库

查看更多 →

Flume开源增强特性 Flume开源增强特性 提升传输速度。可以配置将指定的行数作为一个Event，而不仅是一行，提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况，自动调整传输超大二进制文件的内存占用情况，不会导致Out of Memory（OOM）的出现。

查看更多 →

ZooKeeper开源增强特性 日志增强 安全模式下，Ephemeral node（临时节点）在session过期之后就会被系统删除，在审计日志中添加Ephemeral node被删除的审计日志，以便了解当时Ephemeral node的状态信息。 所有ZooKeeper客户端的操作都要在审计日志中添加Username。

查看更多 →

运营分析 从租户价值、容量和资产三个维度对数据中心的运营情况进行分析，支撑数据中心的运营决策。 租户价值分析 容量视图 资产分析 父主题： 运营管理

查看更多 →

SQL分析 通过图表形式展现数据库、SQL语句的调用次数、响应时间、错误次数等关键指标，用于分析异常SQL语句导致的数据库性能问题，异常SQL语句是指慢SQL语句和调用出错的SQL语句。SQL分析当前仅支持MySQL、Oracle、PostgreSQL关系型数据库。 SQL操作界面说明

查看更多 →

在AppStage首页右上区域单击“运营中心”快捷入口，进入运营中心工作台。 在左侧导航栏选择“运营分析 > 事件分析”，进入事件分析页面。 在事件分析页面，选择应用。 图1 选择应用 在“指标配置”区域，单击“事件指标”，增加事件指标。 图2 事件分析设置 下拉选框内选择元事件。 下拉选框内选择指标（属性）。 单击可以删除该元事件。

查看更多 →

能耗分析 能耗分析主要对机房各设备的电量、电费的统计及分析。 能耗分析图表 右上角可设定时间选择统计分析区间；单击右上角设备类型，可隐藏某一设备类型曲线；鼠标停在曲线中可以查看该时间点的具体电量、电费。拖拽图形下方的时间轴可以聚焦到某一具体时间段，查看变化曲线；鼠标停留在饼状图设

查看更多 →

流程”页面来创建。基于示例流程，您可以快速完成分析任务。您也可以使用自定义流程进行分析。 创建自定义流程 当需要使用除示例流程之外的流程执行分析时，首先要创建自定义流程。 登录G CS 控制台，左侧导航栏中选择“基因分析>自定义流程”，在右侧页面中选择“GCS流程”或“WDL流程”，单击“创建流程”。

查看更多 →

监控分析 API监控 带宽监控 日志分析

查看更多 →

中进行分析，无需上传OBS。 通过DLI分析数据 进入 数据湖探索 DLI控制台，参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表，包括贸易统计数据库、贸易详单信息表和基础信息表。 基于业务需求，在DLI控制台中开发相应的SQL脚本进行贸易统计分析。 父主题：

查看更多 →

分析应用 应用在容器化改造前，您需要了解自身应用的运行环境、依赖包等，并且熟悉应用的部署形态。需要了解的内容如表1。 表1 了解应用环境 类别 子类 说明 运行环境 操作系统 应用需要运行在什么操作系统上，比如centos或者Ubuntu。 本例中，应用需要运行在centos:7

查看更多 →