# 创建Flink引擎端点 #### 操作场景 在提交Flink作业前，用户需要先创建Flink引擎端点，这是与AI DataLake引擎建立连接的第一步。Flink引擎端点相当于一个计算资源的入口，通过这个端点，用户可以与AI DataLake引擎进行交互，提交各种数据处理和分析任务。 端点创建完成后，用户可以使用该端点创建和运行Flink作业，包括执行Flink SQL查询、运行Flink应用程序、进行实时数据流处理等操作。端点的创建过程通常需要用户配置端点信息、计算资源使用模式等参数，配置完成后系统会自动分配相应的计算资源，用户即可开始使用Flink引擎进行大规模流批一体数据处理工作。 ![](https://support.huaweicloud.com/usermanual-aidatalake/public_sys-resources/caution_3.0-zh-cn.png) 如果需要实现端点安全隔离，建议将端点分布在不同资源池或者不同工作空间，通过资源池/工作空间级别的隔离实现端点间的安全边界。 本节操作介绍创建Flink引擎端点的操作步骤。 #### 创建FlinkJob类型的端点 1. 登录[AI DataLake管理控制台](https://console.huaweicloud.com/fabric/)。 2. 在页面左上角切换至对应的工作空间。 3. 在左侧导航栏选择"引擎端点 \> 流处理引擎Flink"进入端点列表页面。 4. 单击页面右上角的"创建端点"，配置端点信息。 5. 配置端点的基础信息。 表1端点的基础信息 | 参数 | 参数说明 | |:---|:---| | 端点类型 | 选择端点类型为**FlinkJob**。 | | 端点名称 | 端点名称。 创建后不可修改，端点名称是系统内部的唯一标识，在API调用、CLI命令中引用该端点。 命名规则： - 名称只能包含小写字母、数字、中划线，且只能以字母开头，以字母或数字结尾。 - 输入长度不能超过63个字符。 例如：flink-endpoint-001、my-flink-job | | 端点显示名称 | 端点显示名称。创建后可修改。 端点显示名称用于用户界面展示，方便用户识别和记忆。 命名规则： - 名称支持输入中文、英文、数字和中划线。 - 输入长度不能超过63个字符。 例如：生产环境flink引擎、数据分析师专用端点 | | 添加描述 | 填写描述信息，用于详细说明端点的用途、背景等信息，帮助其他用户理解该端点的创建目的和使用场景。 | | 添加标签 | 选择端点的标签，用于对端点进行分类、标识和管理。关于标签的管理详情请参见[管理AI DataLake标签](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0096.html)。 | 6. 配置镜像。 镜像用于为端点或作业指定运行环境。**FlinkJob**支持选择预置镜像和自定义镜像。请单击下拉菜单，在"预置镜像"或"自定义镜像"页签中选择镜像名称，并勾选镜像版本，单击"确定"。 如果当前已有的预置镜像不满足您的业务需求，可以参考[自定义镜像](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0059.html)制作并注册自定义镜像后，在此处进行选择。 自定义镜像可以改变作业的容器运行环境，增强作业的功能与性能。 ![](https://support.huaweicloud.com/usermanual-aidatalake/public_sys-resources/note_3.0-zh-cn.png) 建议您创建镜像快照，提升镜像加载速度。具体操作，请参见[镜像加速](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0108.html)。 - 镜像快照可将镜像版本的数据预先缓存到本地。创建镜像快照后，容器启动时直接复用快照中的缓存镜像数据，跳过从镜像仓库下载的环节，缩短镜像拉取与容器启动时间，提升作业运行效率。 - 如果当前所选镜像版本已创建镜像快照，选择该版本镜像时会自动关联对应的镜像快照，端点容器启动时自动使用快照创建资源，无需额外操作。 7. 配置端点的"资源配置"类信息。 表2流处理引擎Flink端点配置-资源配置 | 参数 | 参数说明 | |:---|:---| | 资源使用模式 | 选择资源使用模式： - 预留资源：使用预留资源池，资源独享。适合负载稳定、持续运行的业务场景，如生产项目、关键任务。 - 混合模式：基线保障，自动扩容。优先消耗预留资源，高峰期自动触发弹性补位。适用于有规律波动的业务。 - 按需弹性：按任务实际运行时长扣费，无任务不产生费用。适合短期或偶发性的业务需求，如开发测试或临时任务。 注意： 在资源模式选择为"按需弹性"时，且工作空间没有创建网络时，需要创建网络并选择资源的网络信息。一个工作空间只支持绑定一个网络。创建网络详情请参见[创建网络](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0027.html)。 | | 选择计算资源池 | 选择"预留资源"或"混合模式"后，需要选择计算资源池。可以单击右侧的"购买计算资源"去进行购买。 | | 规格配置 | 选择了计算资源后，需要设置资源配额（Min-Max）的最大值。最大值的填写要求如下： - 预留资源：资源配额（Min-Max）的最大值不能超过所选计算资源池的容量上限。若需更高配额，请先对资源池进行扩容。 - 混合模式：资源配额（Min-Max）的最大值可超过所选计算资源池的容量上限，超出预留上限的部分将自动调度至弹性资源运行。 | | 资源配额最大值 | 选择"按需弹性"的资源模式时需要配置资源配额最大值，即设置弹性资源的使用上限，防止突发流量导致资源无限扩展，耗尽集群算力。 | 8. （可选）配置Flink参数。 以"key=value"的形式设置提交Flink作业的属性。 - **键（Key）**：输入Flink作业所需的配置参数名称。 - **值（Value）**：为对应的键设置参数值。 9. 配置端点的"存储配置"信息。 表3存储配置信息 | 参数 | 参数说明 | |:---|:---| | 选择临时文件存储 | 通过下拉菜单选择已有的并行文件系统。若未配置，可单击"新建OBS并行文件系统"进行创建。具体操作，请参见[创建并行文件系统](https://support.huaweicloud.com/usermanual-obs/obs_13_0002.html)。 并行文件系统用于存储作业日志、Checkpoint、Savepoint、HA元数据和运行时扩缩容状态数据等信息。作业结束后文件不会自动删除，建议您定期对并行文件系统做资源清理，或配置OBS生命周期规则（按目录分别配置保留天数，建议不小于七天），以定时删除无效的存储文件，避免存储空间占用与费用累积。具体操作，请参见[配置生命周期规则](https://support.huaweicloud.com/usermanual-obs/obs_41_0074.html)。 | | 委托名 | 配置用于读写作业日志、临时数据、Checkpoint、Savepoint、HA数据等信息使用的委托。 通过下拉菜单选择已有的委托。创建后不支持修改，若未配置，可单击"新建委托"进行创建，具体操作请参考[创建自定义委托](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0078.html)。 | 10. 作业委托配置。 委托给该端点的权限，会在运行时自动换取凭证并刷新至Flink集群。用户可在Flink集群中使用该委托凭证调用对应服务。使用Flink引擎执行作业时，需要您先在IAM页面创建相关委托，并在此处添加新建的委托信息。具体操作请参考[创建自定义委托](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0078.html)。 11. 请根据界面提示，按需配置监控对接AOM。 表4配置监控对接AOM | 参数 | 参数说明 | |:---|:---| | 监控对接AOM | 按需勾选"监控对接AOM"。 对接AOM后，应用指标统一上报至AOM进行集中管理。您可基于AOM实现实时指标采集、自定义监控、告警配置与运维大盘可视化，全面掌控服务状态。指标及含义详情请参见[Flink端点资源和作业指标](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0125.html)。 | | 选择Prometheus实例 | 在下拉列表选择Prometheus实例，如果没有可选的Prometheus实例，请单击"新建实例"。 | 12. 配置网络信息。 在资源模式选择为"按需弹性"时，且工作空间没有创建网络时，需要创建网络并选择资源的网络信息。一个工作空间只支持绑定一个网络。创建网络详情请参见[创建网络](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0027.html)。 13. 完成上述信息的配置后，单击"立即创建"，系统按照配置要求开始创建端点。 端点创建完成后，可在列表中查看相关信息，端点状态变为"运行中"后即可提交作业到该端点中运行。 #### 后续操作 创建Flink端点后，您可以按需执行以下操作： - 查看、修改和删除端点。具体操作，请参见[管理Flink端点的详细信息](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0132.html)。 - 连接端点并提交作业。具体操作，请参见[连接Flink端点并提交作业](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0130.html)。