更新时间:2024-11-29 GMT+08:00

管理ENV

操作场景

如果需要将数据抓取至Hudi或者从Hudi抓取数据时,请执行该章节操作创建Hudi环境变量并进行管理。

前提条件

开启Kerberos认证的集群需已参考创建CDL用户创建具有CDL管理操作权限的用户。

操作步骤

  1. 使用具有CDL管理操作权限的用户或admin用户(未开启Kerberos认证的集群)登录CDLService WebUI界面,请参考登录CDLService WebUI
  2. 选择“ENV管理 > 新建ENV”,在弹出的窗口中输入相关信息。

    表1 新建ENV配置参数

    参数名称

    描述

    示例

    Name

    ENV名称。

    spark-env

    Type

    ENV类型。

    spark

    Driver Memory

    Driver内存大小,单位默认为GB。

    1GB

    Executor Memory

    每个Executor进程的内存 ,和JVM内存串拥有相同的格式,单位默认为GB。

    1GB

    Executor Cores

    每个Executor所占用的CPU核的数目。

    1

    Number Executors

    Executor的个数。

    1

    Queue

    Yarn的租户队列名。

    • 集群已启用Kerberos认证(安全模式),当该值为空时,默认提交到创建Hudi连接时“Principal”参数指定的对应用户绑定的队列上,若该用户未绑定队列,则默认提交到default队列上。
    • 集群未启用Kerberos认证(普通模式),不指定该值将默认提交到default队列上。

    -

    Description

    描述信息。

    -

  3. 单击“确定”完成ENV创建。

    创建完成后可以在“操作”列单击“编辑”进行修改,或者单击“删除”删除该ENV。