更新时间:2024-11-29 GMT+08:00
管理ENV
操作场景
如果需要将数据抓取至Hudi或者从Hudi抓取数据时,请执行该章节操作创建Hudi环境变量并进行管理。
前提条件
开启Kerberos认证的集群需已参考创建CDL用户创建具有CDL管理操作权限的用户。
操作步骤
- 使用具有CDL管理操作权限的用户或admin用户(未开启Kerberos认证的集群)登录CDLService WebUI界面,请参考登录CDLService WebUI。
- 选择“ENV管理 > 新建ENV”,在弹出的窗口中输入相关信息。
表1 新建ENV配置参数 参数名称
描述
示例
Name
ENV名称。
spark-env
Type
ENV类型。
spark
Driver Memory
Driver内存大小,单位默认为GB。
1GB
Executor Memory
每个Executor进程的内存 ,和JVM内存串拥有相同的格式,单位默认为GB。
1GB
Executor Cores
每个Executor所占用的CPU核的数目。
1
Number Executors
Executor的个数。
1
Queue
Yarn的租户队列名。
- 集群已启用Kerberos认证(安全模式),当该值为空时,默认提交到创建Hudi连接时“Principal”参数指定的对应用户绑定的队列上,若该用户未绑定队列,则默认提交到default队列上。
- 集群未启用Kerberos认证(普通模式),不指定该值将默认提交到default队列上。
-
Description
描述信息。
-
- 单击“确定”完成ENV创建。
创建完成后可以在“操作”列单击“编辑”进行修改,或者单击“删除”删除该ENV。
父主题: 创建CDL作业前准备