# 通过内网访问在线服务 #### 背景说明 在企业级应用开发中，当开发人员需要从企业内部网络访问ModelArts提供的在线推理服务时，会遇到因网络隔离导致的访问障碍，影响开发效率和安全性。ModelArts支持内网访问在线服务。 内网访问适合需要高安全性和低延迟的场景。内网接入在线服务的场景下，通过在自己的VPC或资源池VPC等场景下创建VPCEP ，可以在VPC内提供便捷、安全、私密的通道与推理在线服务进行连接。ModelArts提供内网接入功能，通过创建内网接入申请，实现自动创建VPCEP，打通VPC与推理在线服务的内网连接，从而实现通过内网高效、安全地访问在线推理服务。 #### 权限说明 用户在使用内网接入功能时，要保证拥有以下权限。 表1内网接入功能所需权限 | 权限名 | action | 使用场景 | |:---|:---|:---| | 查询工作空间详情 | modelarts:workspace:get | 访问工作空间 | | 查询模型服务列表 | modelarts:service:list | 查询服务列表 | | 查询专属资源池列表 | modelarts:pool:list | 查询资源池列表 | | 查询虚拟私有云列表 | vpc:vpcs:list | 内网接入界面和创建内网接入申请使用 | | 查询子网列表或详情 | vpc:subnets:get | 内网接入界面和创建内网接入申请使用 | | 查询内网访问列表 | modelarts:intranetConnection:list | 查询内网接入列表 | | 变更内网访问 | modelarts:intranetConnection:update | 修改内网访问 | | 创建内网访问 | modelarts:intranetConnection:create | 创建内网访问 | | 删除内网访问 | modelarts:intranetConnection:delete | 删除内网访问 | 用户还需赋予ModelArts服务以下委托权限。ModelArts添加授权操作请参见[快速配置ModelArts委托授权](https://support.huaweicloud.com/permission-modelarts/modelarts_24_0085.html)。 表2内网接入功能赋予ModelArts委托权限 | 权限名 | action | 使用场景 | |:---|:---|:---| | 创建终端节点 | vpcep:endpoints:create | 创建内网接入、变更内网接入 | | 删除终端节点 | vpcep:endpoints:delete | 删除内网接入 | | 查询终端节点详情 | vpcep:endpoints:get | 创建内网接入、变更内网接入 | | 查询终端节点列表 | vpcep:endpoints:list | 创建内网接入、变更内网接入 | #### 约束限制 - 用户网络场景，内网接入为VPC粒度，同一个服务在同一VPC下只允许创建一个内网接入，且用户只能选择自己的VPC网络接入内网。 - 资源池网络场景，内网接入为资源池网络粒度，相同资源池网络下的资源池只允许创建一个内网接入。 #### 前提条件 - 要访问的在线服务正常运行，状态为"运行中"。 - 在推理服务列表单击服务名称，进入服务详情页获取在线服务ID。 图1获取在线服务ID ![](https://support.huaweicloud.com/inference-modelarts/figure/zh-cn_image_0000002581402216.png) - 如果申请打通自己创建的VPC与推理服务的内网连接，请先创建VPC和子网，详情请见[创建虚拟私有云和子网](https://support.huaweicloud.com/usermanual-vpc/zh-cn_topic_0013935842.html)。 - 如果申请打通资源池与推理服务的内网连接，请先创建专属资源池，详情请见[创建专属资源池](https://support.huaweicloud.com/resmgmt-modelarts/resmgmt-modelarts_0004.html)。 #### 创建内网连接 1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)，在左侧导航栏中选择"模型推理 \> 在线推理"，默认进入"在线推理"列表。 2. 单击"内网接入管理"，切换至"内网接入管理"页面。 3. 单击"我的申请"，切换到"我的申请"页签下，单击"创建"。 4. 在"创建申请"弹框中填写参数，单击"确定"。 在"我的申请"查看申请状态，待申请状态为接入成功，即申请审批通过，记录"访问地址"栏的地址。如果[配置服务信息](https://support.huaweicloud.com/inference-modelarts/inference2.0-modelarts-0016.html#ZH-CN_TOPIC_0000002555517990__section14135916115214)时勾选了"内网接入免审批"，三方用户的内网接入申请自动生效，无需审批。 当内网连接申请处于"异常"状态并且异常原因为"连接失败，请重试"时，单击操作列的"重试"，重新创建该内网连接。 内网连接申请通过后，如果申请场景为用户网络，请参考[使用用户VPC访问在线服务]；如果申请场景为资源池网络，请参考[使用资源池网络访问在线服务]。 表3内网接入申请参数说明 | 参数 | 说明 | |:---|:---| | 服务ID | 需要内网访问的推理服务ID。填写[前提条件]中已获取的推理服务ID。 | | 网络类型 | 申请打通内网的VPC场景。 - 用户网络：打通当前用户指定VPC与推理服务的内网连接。 - 资源池网络：打通已创建的资源池与推理服务的内网连接。 | | VPC | 当申请场景选择"用户网络"时，选择待打通内网连接的VPC。 如果未创建VPC和子网，请前往VPC控制台创建VPC和子网，详情请见[创建虚拟私有云和子网](https://support.huaweicloud.com/usermanual-vpc/zh-cn_topic_0013935842.html)。 | | 子网 | 当申请场景选择"用户网络"时，选择待打通内网连接的子网。 | | 资源池 | 当申请场景选择"资源池网络"时，选择待打通内网连接的资源池。 如果未创建专属资源池，请前往ModelArts控制台创建专属资源池，详情请见[创建专属资源池](https://support.huaweicloud.com/resmgmt-modelarts/resmgmt-modelarts_0004.html)。 | | 自定义访问地址 | 支持添加自定义域名，用于该用户网络内调用服务，请自行确保地址正确，避免服务无法正常访问。 单击"添加"，依次选择"访问协议"，填写"域名 (host)/IP\[端口\]"和"路径 (path)"。"路径 (path)"支持选择默认和自定义。 每个内网接入实例最多支持添加10个自定义URL。 | #### 使用用户VPC访问在线服务 1. 已选择目标服务[创建内网连接]申请，且"申请场景"为"用户网络"。待申请状态为"接入成功"，即申请审批通过。 2. 进入[购买弹性云服务器](https://console.huaweicloud.com/ecm/?locale=zh-cn#/ecs/createVm)页面购买ECS，虚拟私有云选择在[创建内网连接]的VPC。购买ECS更多参数请参见[ECS购买](https://support.huaweicloud.com/usermanual-ecs/ecs_03_7001.html)。 图2购买ECS ![](https://support.huaweicloud.com/inference-modelarts/figure/zh-cn_image_0000002543271291.png) 3. 登录ECS，在ECS中调用内网接入列表展示的推理服务访问地址和API。登录ECS更多详情请见[登录ECS](https://support.huaweicloud.com/usermanual-ecs/zh-cn_topic_0092494943.html)。 #### 使用资源池网络访问在线服务 1. 已选择目标服务[创建内网连接]申请，且"申请场景"为"资源池网络"。待申请状态为接入成功，即申请审批通过。 2. 在"资源管理 \> 资源池"列表中，单击已申请内网的资源池名称，进入资源池详情页，获取已申请内网的"资源池ID"。 旧版路径：在"资源管理 \> 专属资源池"列表中，单击已申请内网的资源池名称，进入资源池详情页，获取已申请内网的"资源池ID"。 3. 进入[CCE控制台](https://console.huaweicloud.com/cce2.0/?#/cce/cluster/list)，通过已申请内网的资源池ID选择资源池对应的集群，单击集群名称进入集群。 4. 在左侧选择"工作负载"，选择对应的命名空间，查看工作负载列表。 图3查看CCE工作负载列表 ![](https://support.huaweicloud.com/inference-modelarts/figure/zh-cn_image_0000002543191287.png) 5. 单击工作负载名称，进入想要使用的工作负载，远程登录进入容器。 图4远程登录CCE ![](https://support.huaweicloud.com/inference-modelarts/figure/zh-cn_image_0000002543191285.png) 6. 进入容器后使用curl命令访问接口，地址为创建内网接入成功后展示的访问地址。 图5访问在线服务 ![](https://support.huaweicloud.com/inference-modelarts/figure/zh-cn_image_0000002581242308.png) #### 常见问题 **购买ECS后，与内网接入列表展示的地址不通。** 请检查ECS的安全组是否开放。 #### 管理内网接入 - 删除内网接入申请 业务结束情况下，如果申请的内网接入无使用需求，可删除内网接入申请。 1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)，在左侧导航栏中选择"模型推理 \> 在线推理"，默认进入"在线推理"列表。 2. 单击"内网接入管理"，切换至"内网接入管理"页面。 3. 切换到"我的申请"页签下，单击操作列的"删除"。 4. 在弹框中，确认删除信息，一键输入DELETE，单击"确定"。 - 通过/驳回待审批的内网接入 如果您是内网接入审批人，可在我的审批列表，对三方提过来的内网接入申请进行通过和驳回操作。 1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)，在左侧导航栏中选择"模型推理 \> 在线推理"，默认进入"在线推理"列表。 2. 单击"内网接入管理"，切换至"内网接入管理"页面。 3. 在"我的审批"页签下，单击操作列的"通过"，即通过该内网接入申请，单击操作列的"驳回"，即驳回该内网接入申请。 - 取消授权 如果您是内网接入审批人，针对已审批通过的内网接入申请，可通过取消授权操作，再次驳回内网接入申请。 1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)，在左侧导航栏中选择"模型推理 \> 在线推理"，默认进入"在线推理"列表。 2. 单击"内网接入管理"，切换至"内网接入管理"页面。 3. 在"我的审批"页签下，单击操作列的"取消授权"，在弹框中单击"确定"。