SK）等。 pyspark.sql.SQLContext：是SparkSQL功能的主入口。可用于创建DataFrame，注册DataFrame为一张表，表上执行SQL等。 pyspark.sql.DataFrame：分布式数据集。DataFrame等效于SparkSQL中的关系表

查看更多 →

概述 根据输入数据集，选择一些列生成新的数据集。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 数据集 参数说明 参数 子参数 参数说明 select_columns_str

查看更多 →

孤立森林 概述 对sklearn孤立森林算法的封装。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 数据集 参数说明 参数 子参数 参数说明 select_columns_str

查看更多 →

序包等多种环境，包括TensorFlow、MindSpore、PyTorch、Spark等。您也可以使用pip install在Notobook或Terminal中安装外部库。 在Notebook中安装 例如，通过JupyterLab在“TensorFlow-1.8”的环境中安装Shapely。

查看更多 →

SK）等。 pyspark.sql.SQLContext：是SparkSQL功能的主入口。可用于创建DataFrame，注册DataFrame为一张表，表上执行SQL等。 pyspark.sql.DataFrame：分布式数据集。DataFrame等效于SparkSQL中的关系表

查看更多 →

根据用户输入的桶的个数，按照分位数分桶，将用户指定的某个数值列离散化。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 数据集 参数说明 参数 子参数 参数说明 input_col - 输入的列名

查看更多 →

对输入数据集，按照选择的一些列，进行排序，生成新的数据集。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 数据集 参数说明 参数 子参数 参数说明 columns_str - 选择

查看更多 →

皮尔森系数是一种线性相关系数，用于反映两个变量线性相关程度的统计量。选择输入的dataframe中的两列数值列，计算其皮尔森系数。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 参数 子参数 参数说明 output

查看更多 →

箱型图 概述 对数据集中选择的某些列，画出箱型图。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 无 参数说明 参数 子参数 参数说明 select_columns_str

查看更多 →

百分位统计 概述 对用户选择的数值列进行百分位统计。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 统计结果数据集 参数说明 参数 子参数 参数说明 select_columns_str

查看更多 →

设置元数据 概述 设置数据集的元数据信息。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 数据集 参数说明 参数 子参数 参数说明 column_type_map_str

查看更多 →

矩阵Σ（对角线上元素被称为奇异值）和右奇异向量组成的n×k 矩阵V：A=UΣVT。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 3个数据集，分别对应矩阵U、矩阵Σ的对角线元素（k个奇异值）和矩阵V。 参数说明

查看更多 →

修改列名 概述 修改数据集表头的列名。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 数据集 参数说明 参数 子参数 参数说明 new_column_name_map_str

查看更多 →

回归评估 概述 对回归模型预测的结果数据集进行评估。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 回归的评估指标：mae、mse、rmse 参数说明 参数 子参数 参数说明

查看更多 →

Spark Java API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类： JavaSparkContext：是Spark的对外接口，负责向调用该类的J

查看更多 →

名称，并将生成的新属性字段添加到原数据集中。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 数据集 参数说明 参数 子参数 参数说明 derive_operators_str

查看更多 →

即特征向量），应用场景主要为高维数据降维等。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 数据集 参数说明 参数 子参数 参数说明 input_features_str

查看更多 →

概述 使用p范式对向量进行正则化。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 spark pipeline类型的模型 参数说明 参数 子参数 参数说明 input_features_str

查看更多 →

保存 CS V数据到OBS 概述 将csv格式的数据保存到OBS 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 无 参数说明 参数 子参数 参数说明 output_file_path -

查看更多 →

介绍预置的Horovod镜像详情。 引擎版本一：horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 镜像地址：swr.{region}.myhuaweicloud.com/aip/horovod_tensorflow:train-horovod_0

查看更多 →

将对应列的数据乘以相应的权重得到新的列，只支持数字列。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 数据集 参数说明 参数 子参数 参数说明 input_columns_str

查看更多 →