使用VPCEP实现跨VPC访问Kafka

背景描述

Kafka客户端和Kafka实例在同一区域的不同VPC中，由于VPC之间逻辑隔离，Kafka客户端和Kafka实例不能直接通信。您可以通过以下任意一个方式实现跨VPC访问：

• 创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问。具体步骤请参考对等连接。
• 创建一个云连接实例，然后在创建的云连接实例中加载需要互通的VPC，实现跨VPC访问。具体步骤请参考同区域同账号VPC互通。
• 利用VPC终端节点在不同VPC间建立跨VPC的连接通道，实现Kafka客户端通过内网访问Kafka实例。

操作场景

本章节主要介绍通过VPC终端节点实现跨VPC访问的方法。

VPC终端节点由“终端节点服务”和“终端节点”两种资源实例组成。

• 终端节点服务：将Kafka实例配置为VPC终端节点支持的服务，可以被终端节点连接和访问。
• 终端节点：用于在VPC和终端节点服务之间建立便捷、安全、私密的连接通道。

图1 跨VPC访问Kafka实例原理图

操作流程

图2 跨VPC访问Kafka实例流程图

创建终端节点服务

1. 登录管理控制台。
2. 在管理控制台左上角单击，选择区域。
   

   请选择Kafka实例所在的区域。

3. 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。
4. 单击Kafka实例名称，进入实例详情页面。
5. 在“基本信息”页面的“高级配置”区域，获取Kafka实例的网卡地址（listeners IP）和对应的Port ID。
   图3 Kafka实例的网卡地址（listeners IP）和对应的Port ID
   

6. 在“基本信息”页面的“网络”区域，查看Kafka实例所在的VPC名称。
   图4 查看Kafka实例所在的VPC名称
   

7. 单击VPC名称，进入VPC基本信息页签，获取VPC ID。
   图5 获取VPC ID
   

8. 调用VPC终端节点的API创建终端节点服务，API详情请参考创建终端节点服务。

   POST https://{endpoint}/v1/{project_id}/vpc-endpoint-services

   请参考以下说明设置请求参数，其他参数根据实际情况设置。

   • port_id：输入5中获取的其中一个Port ID。
   • vpc_id：输入7中获取的VPC ID。
   • server_type：输入“VM”。
   • client_port：输入“9011”。
   • server_port：输入“9011”。
   • protocol：输入“TCP”。
   • approval_enabled：输入“false”。
   • service_type：输入“interface”。
   • endpoint：获取VPC终端节点的终端节点，区域必须与Kafka实例保持一致。
   • project_id：获取VPC终端节点的项目ID，区域必须与Kafka实例保持一致。

   记录响应信息中的“service_name”参数值，此参数表示终端节点服务的名称。

9. 参考8，为5中其他Port ID创建终端节点服务，并记录终端节点服务的名称。

（可选）添加白名单

Kafka客户端和Kafka实例属于不同账号时，将Kafka客户端所在账号的ID添加到终端节点服务的白名单中，完成跨账号终端节点的访问授权，具体操作步骤请参考添加白名单。

购买终端节点

1. 在管理控制台左上角单击，选择“网络 > VPC终端节点”，进入终端节点页面。
2. 单击“购买终端节点”，进入“购买终端节点”页面。
3. 设置如下参数。
   • 区域：与Kafka实例保持一致。
   • 服务类别：选择“按名称查找服务”。
   • 服务名称：输入8中记录的终端节点服务名称，单击“验证”。显示“已找到服务”后，继续后续操作。
   • 虚拟私有云：选择Kafka客户端所属的VPC。
   • 子网：选择Kafka客户端所属的子网。
   • IPv4地址：选择“自动分配IPv4地址”

   其他参数保持默认，如果想要了解更多的参数信息，请参考购买终端节点。

   图6 终端节点参数设置
   

4. 单击“立即购买”，进入规格确认页面。
5. 确认无误后，提交请求。
6. 购买成功后，返回终端节点页面，查看终端节点状态是否为“已接受”，“已接受”表示终端节点已成功连接至终端节点服务。
   图7 查看终端节点状态
   

7. 单击终端节点ID，在“基本信息”页签，查看并记录节点IP。

   您可以使用节点IP访问终端节点服务，进行跨VPC资源通信。

   图8 查看节点IP
   

8. 参考1~7，为9中创建的终端节点服务购买终端节点，查看并记录节点IP。

修改advertised.listeners IP

1. 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。
2. 单击Kafka实例名称，进入实例详情页面。
3. 在“基本信息”页面的“高级配置”区域，单击“修改”，修改“跨VPC访问”的advertised.listeners IP，advertised.listeners IP为7和8中记录的节点IP。修改完后，单击“保存”。
   

   节点IP必须与Port ID一一对应，否则会导致网络不通。

   图9 修改advertised.listeners IP
   

验证接口连通性

参考使用客户端连接Kafka（明文接入）或者使用客户端连接Kafka（密文接入），测试是否可以生产和消费消息。

测试接口连通性时，注意以下几点：

• 连接Kafka实例的地址为“advertised.listeners IP:9011”，以图9为例，连接Kafka实例的地址为“192.168.0.71:9011,192.168.0.11:9011,192.168.0.21:9011”。
• 在Kafka实例安全组的入方向规则中放通9011端口，以及198.19.128.0/17网段的地址。
• 如果Kafka实例的子网配置了网络ACL功能，需要在网络ACL的入方向规则中放通198.19.128.0/17网段的地址，以及VPC终端节点涉及的子网。

198.19.128.0/17是为VPC终端节点分配的网段，使用VPC终端节点需要放通此网段。