更新时间:2022-01-27 GMT+08:00
分享

数据集行过滤

概述

根据过滤条件,对数据集按照行进行过滤。

输入

参数

子参数

参数说明

inputs

dataframe

inputs为字典类型,dataframe为pyspark中的DataFrame类型对象

输出

过滤后的数据集

参数说明

参数

子参数

参数说明

column_name

-

列名,对该列按照过滤条件进行数据集的行过滤

condition_map_str

-

过滤条件组装后的格式化字符串,格式参考:"!=:filter_value;IS NULL;BETWEEN:left_value,right_value;REGEXP:expr"

该字符串将被分号分割为多个条件,每个条件对应的字符串将被冒号分割为过滤条件和过滤值,最终将被转换成如下字典:

{

"=": "filter_value",

"!=": "filter_value",

">": "filter_value",

">=": "filter_value",

"<": "filter_value",

"<=": "filter_value",

"IS NULL": "",

"IS NOT NULL": "",

"BETWEEN": "filter_value_left,filter_value_right",

"NOT BETWEEN": "filter_value_left,filter_value_right",

"LIKE": "filter_value_expr",

"NOT LIKE": "filter_value_expr",

"REGEXP": "filter_value_expr"

}

样例

inputs = {
    "dataframe": None  # @input {"label":"dataframe","type":"DataFrame"}
}
params = {
    "inputs": inputs,
    "column_name": "",  # @param {"label":"column_name","type":"string","required":"true","helpTip":""}
    "condition_map_str": ""  # @param {"label":"condition_map_str","type":"string","required":"true","helpTip":""}
}
dataset_filter____id___ = MLSDatasetFilter(**params)
dataset_filter____id___.run()
# @output {"label":"dataframe","name":"dataset_filter____id___.get_outputs()['output_port_1']","type":"DataFrame"}

分享:

    相关文档

    相关产品

close