中软国际数据治理专业服务解决方案实践

数据聚合 算子简介 名称： 数据聚合 功能说明： 数据聚合算子，将数据按窗口周期进行汇聚计算，以达到规约数据的目的。 约束：下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称： 配置项英文名：name 说明： 算子名称，对算子进行个性化的命名，以辅助增加可读性。

查看更多 →

分析语句-聚合函数 表1 聚合函数 函数 作用 定义 示例 avg 求平均 avg(number T) -> T SELECT avg(age) LIMIT 1 sum 求和 sum(number T) -> T SELECT sum(age) LIMIT 1 min 最小值 min(number

查看更多 →

数据集聚合 概述 对数据集进行各种聚合运算，包括求平均值、最大值、最小值、方差，对某些列执行分组操作。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 数据集 参数说明

查看更多 →

CARBON类型。 如果原始数据表存储格式不满足要求，您可以通过 CDM 将原始数据直接导入到 DLI 中进行分析，无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台，参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表，包括贸易统计数据库、贸易详单信息表和基础信息表。

查看更多 →

CARBON类型。 如果原始数据表存储格式不满足要求，您可以通过CDM将原始数据直接导入到DLI中进行分析，无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台，参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表，包括贸易统计数据库、贸易详单信息表和基础信息表。

查看更多 →

聚合”，为对象建立聚合关系。选中已创建的关系，在右侧页面即可设置关系属性，如图2所示。 图2 聚合 关系名称：设置聚合关系的名称。 关系类型：根据创建的聚合关系自动生成。 关系首要方：根据创建的聚合关系自动生成。 关系次要方：根据创建的聚合关系自动生成。 DTO暴露方式 - NE

查看更多 →

分析图数据 通过GES直接对图数据进行可视化分析。 前提条件 已完成开发并调度Import GES作业，且作业运行成功。 通过GES分析数据 进入图引擎服务GES控制台，在“图管理”页面中单击对应图后的“访问”按钮。 图1 访问图 参考访问图和分析图，对导入的图数据进行可视化分析。

查看更多 →

分析Hive数据 功能介绍 本小节介绍了如何使用样例程序完成分析任务。样例程序主要有以下方式。 使用JDBC接口提交数据分析任务。 使用HCatalog接口提交数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。

查看更多 →

择“数据管理 > 数据集”，进入“数据集”管理页面。 选择对应的数据集，单击操作列的“更多 > 数据特征”，进入数据集概览页的数据特征页面。 您也可以在单击数据集名称进入数据集概览页后，单击“数据特征”页签进入。 由于发布后的数据集不会默认启动数据特征分析，针对数据集的各个版本，

查看更多 →

分析Impala数据 功能简介 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。 样例代码 使用Impala JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。 修改以下变量为false，标识连接集群的认证模式为普通模式。

查看更多 →

聚合函数 聚合函数概览 avg corr count covar_pop covar_samp max min percentile percentile_approx stddev_pop stddev_samp sum variance/var_pop var_samp 父主题：

查看更多 →

聚合函数 聚合函数概览 avg corr count covar_pop covar_samp max min percentile percentile_approx stddev_pop stddev_samp sum variance/var_pop var_samp 父主题：

查看更多 →

(TTL) 配置来防止状态过大。注意：这可能会影响查询结果的正确性。 更多介绍和使用请参考开源社区文档：分组聚合。 DISTINCT 聚合 DISTINCT 聚合在聚合函数前去掉重复的数据。下面的示例计算 Orders 表中不同 order_ids 的数量，而不是总行数。 SELECT COUNT(DISTINCT

查看更多 →

聚合函数 hll_add_agg(hll_hashval) 描述：把哈希后的数据按照分组放到hll中。 返回值类型：hll 示例： 准备数据。 1 2 3 4 CREATE TABLE t_id(id int); INSERT INTO t_id VALUES(generate_series(1

查看更多 →

lemon=[5]} 近似值聚合函数 在实际情况下，对大量数据进行统计时，有时只关心一个近似值，而非具体值，比如统计某产品的销量，这种时候，近似值聚合函数就很有用，它使用较少的内存和CPU资源，以便可以获取数据结果而不会出现任何问题，例如溢出到磁盘或CPU峰值。这对于数十亿行数据运算的需求很有用。

查看更多 →

返回所有输入值之间的数字字段的样本方差 FIRST_VALUE(expression) 数据实际类型 返回有序数据中的第一个数据 LAST_VALUE(expression) 数据实际类型 返回有序数据中的最后一个数据 父主题： 内置函数

查看更多 →

聚合函数 聚合函数是从一组输入值计算一个结果。例如使用COUNT函数计算SQL查询语句返回的记录行数。聚合函数如表1所示。 示例数据：表T1 |score| |81 | |100 | |60 | |95 | |86 | 常用聚合函数 表1 常用聚合函数表 函数 返回值类型

查看更多 →

聚合增强 特性介绍 低基字段分组聚合 高基字段直方图聚合 低基高基字段混合 父主题： 集群增强特性

查看更多 →

数据分析 箱型图 分桶统计 相关性分析 决策树分类特征重要性 决策树回归特征重要性 梯度提升树分类特征重要性 梯度提升树回归特征重要性 孤立森林 百分位 百分位统计 直方图 折线图 饼形图 散点图 随机森林分类特征重要性 随机森林回归特征重要性 全表统计 单样本t检验 直方图（多字段）

查看更多 →

数据分析 运营报表 订阅报表 父主题： 统计分析（新）

查看更多 →

数据采集与分析 前提条件 已配置邮箱 服务器 ，具体操作请参见调测邮箱通知功能。 操作步骤 选择“运维管理 > 数据采集与分析 > 数据采集与分析”。 根据需要选择相应的功能使用，详情请参见表1。 表1 任务管理 任务 说明 操作方法 采集设备日志 采集和统计设备故障日志，以了解设备的状态以及运行情况。

查看更多 →