文档首页/ 数据管理与分析/ 快速构建高可用Flink集群/ 实施步骤/ 开始使用
更新时间：2023-12-07 GMT+08:00
查看PDF
分享

开始使用

  • 有关Flink详细文档请参考Flink文档。
  • 该解决方案使用的资源版本：（Flink版本：1.18.0， Java版本：JDK-21)。
  • 该解决方案默认部署在新建VPC下，VPC的网段为：172.16.0.0/16。业务系统和该方案部署的Flink集群服务须在不同VPC下的不同网段，可参考创建VPC对等连接实现网络互通。
  • 保证业务系统和新建的VPC互联之后，该解决方案使用8081端口用来访问网站，默认全放通，请参考修改安全组规则，配置IP地址白名单，以便能正常使用服务。
  • 后续文档将展开Flink的基础使用说明。

安全组规则修改（可选）

安全组实际是网络流量访问策略，包括网络流量入方向规则和出方向规则，通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。

如果您的实例关联的安全组策略无法满足使用需求，比如需要添加、修改、删除某个TCP端口，请参考以下内容进行修改。

  • 添加安全组规则：根据业务使用需求需要开放某个TCP端口，请参考添加安全组规则添加入方向规则，打开指定的TCP端口。
  • 修改安全组规则：安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则，来修改安全组中不合理的规则，保证云服务器等实例的网络安全。
  • 删除安全组规则：当安全组规则入方向、出方向源地址/目的地址有变化时，或者不需要开放某个端口时，您可以参考删除安全组规则进行安全组规则删除。

创建VPC对等连接

  1. 登录华为云进入虚拟私有云VPC控制台，选择“对等连接”，单击“创建对等连接”。

    图1 VPC对等连接

  2. 在创建对等连接弹框中填写"对等连接名称"，选择“本端VPC”名称和“对端VPC”名称，然后单击“确定”

    图2 创建对等连接
    图3 出现如下提示，VPC对等连接创建成功。

  3. 单击上述图中弹框中的“立即添加”或在对等连接页面列表单击新创建的对等连接，进入对等连接页面，单击“添加路由”，单击“确定”，即可对等成功。

    图4 添加路由
    图5 在添加路由弹框中，写本端VPC需要访问的目的端地址和Flink集群VPC端需要访问的目的端地址，然后单击“确定”。

  4. 查看对等连接的关联路由。

    图6 查看对等连接的关联路由

Flink集群初始化及集群工作状态测试

  1. 创建VPC对等连接后，保证不同VPC的网络互通，单击该方案堆栈详情页面的“输出”，即可查看Flink集群服务的IP地址，在浏览器访问输入：“http://IP地址:8081”，即可访问Flink集群后台管理系统。

    图7 验证输出回显命令

  2. 如Flink集群后台管理系统如下图所示，即表示集群搭建成功。

    图8 查看集群管理后台

  3. 登录弹性云服务器 ECS控制台，选择集群ECS中以master为后缀的ECS，单击“远程登录”，选择VNC方式登录。

    图9 查看弹性云服务器控制台

    图10 VNC方式登录ECS

  4. 输入密码登录ECS后，进入/usr/local/flink目录，运行 flink run examples/streaming/WordCount.jar 向集群提交作业，运行正常则会显示JobId和任务运行的时间。

    图11 向集群提交作业

  5. 在Web UI集群管理界面，单击页面的Completed Jobs，查看已经完成的WordCount任务，然后单击“WordCount”，查看对照任务的Job ID，查看提交任务的运行状态。

    图12 查看提交任务的运行状态

  6. 单击下图红框中的print节点，然后依次单击“TaskManagers”->“View Taskmanager Log”，查看任务对应的标准输出结果和日志信息。

    图13 查看任务的print节点
    图14 查看任务的标准输出结果和日志信息

父主题： 实施步骤

相关文档