更新时间：2023-05-05 GMT+08:00
数据集行去重
概述
“去重”节点用于删除数据集中的重复行（假如有两行相同，保留其中一行）。
对于那些不允许有重复记录输入的节点算法，可以先使用该算法做预处理。
输入
参数 |
子参数 |
参数说明 |
|---|---|---|
inputs |
dataframe |
inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 |
输出
去重后的数据集
参数说明
无
样例
inputs = {
"dataframe": None # @input {"label":"dataframe","type":"DataFrame"}
}
params = {
"inputs": inputs
}
drop_duplicates____id___ = MLSDropDuplicates(**params)
drop_duplicates____id___.run()
# @output {"label":"dataframe","name":"drop_duplicates____id___.get_outputs()['output_port_1']","type":"DataFrame"}
父主题： 数据处理
