更新时间:2023-11-01 GMT+08:00
分享

管理ENV

操作场景

如果需要将数据抓取至Hudi或者从Hudi抓取数据时,请执行该章节操作创建Hudi环境变量并进行管理。

前提条件

开启Kerberos认证的集群需已参考创建CDL用户创建具有CDL管理操作权限的用户。

操作步骤

  1. 使用具有CDL管理操作权限的用户admin用户未开启Kerberos认证的集群登录CDLService WebUI界面,请参考登录CDLService WebUI
  2. 选择“ENV管理 > 新建ENV”,在弹出的窗口中输入相关信息。

    表1 新建ENV配置参数

    参数名称

    描述

    示例

    Name

    ENV名称。

    spark-env

    Type

    ENV类型。

    spark

    Driver Memory

    Driver内存大小,单位默认为GB。

    1GB

    Executor Memory

    每个Executor进程的内存 ,和JVM内存串拥有相同的格式,单位默认为GB。

    1GB

    Executor Cores

    每个Executor所占用的CPU核的数目。

    1

    Number Executors

    Executor的个数。

    1

    Queue

    Yarn的租户队列名。不指定将默认提交到default队列上。

    -

    Description

    描述信息。

    -

  3. 单击“确定”完成ENV创建。

    创建完成后可以在“操作”列单击“编辑”进行修改,或者单击“删除”删除该ENV。

分享:

    相关文档

    相关产品