更新时间:2023-05-05 GMT+08:00
分享

保存为DLI OBS表

概述

保存数据到用户的DLI外表(OBS表)。

保存为DLI外表时,对vector类型的数据转换为array类型,若无需保存vector数据,可在该算子前添加数据集选择列算子。

输入

参数

子参数

参数说明

inputs

dataframe

inputs为字典类型,dataframe为pyspark中的DataFrame类型对象

输出

参数说明

参数

子参数

参数说明

DLI_database

-

用户的目标DLI数据库名称

DLI_table

-

用户的目标DLI数据库中目标DLI外表或要新建DLI外表的名称

file_format

-

DLI外表使用的数据格式

mode

-

数据的写入类型(追加或覆盖,默认为覆盖模式)。使用PySpark insertInto函数,因此追加或者覆盖都要保证特征列数量和顺序一致

OBS_path

-

用户目标DLI外表的OBS存储路径

样例

inputs = {
    "dataframe": None  # @input {"label":"dataframe","type":"DataFrame"}
}
params = {
    "inputs": inputs,
    "DLI_database": None,  # @param {"label":"DLI_database","type":"string","required":"true","helpTip":""}
    "DLI_table": None,  # @param {"label":"DLI_table","type":"string","required":"true","helpTip":""}
    "file_format": "parquet",  # @param {"label":"file_format","type":"enum","options":"orc,parquet,json,csv,carbon,avro","required":"true","helpTip":""}
    "mode": "overwrite",  # @param {"label":"mode","type":"enum","options":"overwrite,append","required":"true","helpTip":""}
    "OBS_path": ""  # @param {"label":"OBS_path","type":"string","required":"true","helpTip":""}
}
save_DLI_table____id___ = MLSSaveDLITable(**params)
save_DLI_table____id___.run()
分享:

    相关文档

    相关产品