更新时间:2023-05-05 GMT+08:00
分享

数据集聚合

概述

对数据集进行各种聚合运算,包括求平均值、最大值、最小值、方差,对某些列执行分组操作。

输入

参数

子参数

参数说明

inputs

dataframe

inputs为字典类型,dataframe为pyspark中的DataFrame类型对象

输出

数据集

参数说明

参数

子参数

参数说明

agg_operators_str

-

代表各种聚合操作的格式化字符串,例如:

"sum,old_column_a,new_column_a"

"sum,old_column_a,new_column_a;covar,old_column_b,new_column_b,additional_column_b"

聚合操作有:

sum:求和

sum_distinct:去重后求和

avg:均值

avg_distinct:去重后求均值

min:最小值

max:最大值

count:计数

count_distinct:去重后计数

stddev_pop:标准差

stddev_samp:样本标准差

var_pop:方差

var_samp:样本方差

covar_pop:协方差

covar_samp:样本协方差

corr:相关系数

percentile_approx:近似百分比

group_by_columns_str

-

代表对某些列进行分组操作的格式化字符串,例如:

"column_a"

"column_a,column_b,column_c"

样例

inputs = {
    "dataframe": None  # @input {"label":"dataframe","type":"DataFrame"}
}
params = {
    "inputs": inputs,
    "agg_operators_str": "",  # @param {"label":"agg_operators_str","type":"string","required":"true","helpTip":""}
    "group_by_columns_str": ""  # @param {"label":"group_by_columns_str","type":"string","required":"true","helpTip":""}
}
dataset_aggregate____id___ = MLSDatasetAggerate(**params)
dataset_aggregate____id___.run()
# @output {"label":"dataframe","name":"dataset_aggregate____id___.get_outputs()['output_port_1']","type":"DataFrame"}

分享:

    相关文档

    相关产品