Kubeflow插件

基本概念

更多概念请参见Kubeflow基本概念。

前提条件

• 已创建一个CCE Standard/Turbo集群，且集群版本为v1.29及以上，具体操作请参见购买Standard/Turbo集群。
• 安装插件前，请确保集群中的Pod可以访问公网，以便下载镜像。您可以为集群配置SNAT规则以保证Pod能够访问公网，配置SNAT规则将涉及一定费用，具体请参见NAT网关价格计算器。
• 在使用示例中，需要配置NodePort类型的Service以访问Kubeflow插件的Web UI界面，此时需要为集群中任一节点绑定弹性公网IP（EIP）。EIP涉及一定费用，具体请参见价格计算器。

约束与限制

• 目前，Kubeflow插件仅提供Pipeline能力。
• 该插件当前正处于上线阶段，已发布区域请以控制台实际为准。
• 该插件处于公测阶段，您可体验最新插件特性，但需要注意该版本的稳定性未得到完全的验证，不适用于CCE服务SLA。

安装插件

1. 登录CCE控制台，单击集群名称进入集群。
2. 在左侧导航栏中选择“插件中心”，在右侧找到Kubeflow插件，单击“安装”。
3. 在安装插件页面，进行相关配置。

   表2 插件规格配置

   参数	参数说明
   选择版本	表示插件版本，请按需选择。
   插件规格	当前仅支持“默认”规格。

4. 配置完成后，请在右下角单击“安装”。Kubeflow插件状态变为“运行中”时，则说明安装成功。

组件说明

• 以上组件均部署在kubeflow命名空间中。
• 某些组件（如minio、mysql）为Kubeflow Pipeline提供依赖服务，您可按需替换。

目前，mysql和minio的后端PV绑定的是EmptyDir，如果Pod产生漂移或者重启会导致非预期结果。

使用示例

本示例将向您介绍如何使用Kubeflow插件执行一个简单的Pipeline，该示例步骤流程请参见图1。该Pipeline的包含一个名为whalesay的任务，它会启动一个基于Alpine镜像的容器，并在容器内执行echo "hello world"命令，将消息输出到标准输出。

图1 示例整体流程

1. 在已有的ECS中安装kubectl，并使用kubectl连接集群，具体操作请参见通过kubectl连接集群。
2. 安装Kubeflow插件后，系统将自动创建ml-pipeline-ui组件以提供Web UI前端服务，该组件自动绑定名为ml-pipeline-ui的ClusterIP类型Service。如果您需要访问该UI界面，则需要将ClusterIP类型的Service转化为NodePort或LoadBalancer类型的Service。本文以NodePort类型Service为例，具体步骤如下：
   执行以下命令，将Cluster IP类型的Service转化为NodePort类型的Service。

   kubectl edit svc ml-pipeline-ui -n kubeflow

   将文件中的type设置为NodePort，并指定一个与集群内其他服务不冲突的节点端口号。关于NodePort类型Service的详细说明，请参见节点访问（NodePort）。

   ...
   spec:
     ports:
       - name: http
         protocol: TCP
         port: 80
         targetPort: 3000
         nodePort: 30083 # 节点端口号
     selector:
       app: ml-pipeline-ui
       application-crd-id: kubeflow-pipelines
     clusterIP: 10.247.101.116
     clusterIPs:
       - 10.247.101.116
     type: NodePort # 将ClusterIP改为NodePort
     sessionAffinity: None
   ...

3. 在浏览器中输入http://<节点EIP>:<节点端口号>/ ，以访问Kubeflow插件的UI界面。通过该界面，您可以直观地创建和管理机器学习Pipeline，定义包含数据预处理、模型训练、评估部署等步骤的完整工作流。同时，可以配置和启动运行实例（Run），实时监控任务执行状态、查看日志和可视化结果，实现机器学习工作流的自动化编排与执行。

   显示如下界面，则说明访问成功。

   图2 Kubeflow插件的UI界面
   

4. 在本地创建一个pipeline.yaml文件，用于配置Pipeline。本文提供一个简单的示例，该Pipeline会启动一个Alpine容器并输出 "hello world" 信息，帮助您验证基础环境。关于Pipeline更详细的使用说明，请参见Compile a Pipeline。
   pipeline.yaml的文件内容如下：

   apiVersion: argoproj.io/v1alpha1
   kind: Workflow
   metadata:
     generateName: hello-world-
   spec:
     entrypoint: whalesay
     templates:
     - name: whalesay
       container:
         image: alpine
         command: [echo]
         args: ["hello world"]

5. 返回UI界面，在右上角单击“Upload pipeline”，上传上述pipeline.yaml。配置完成后，在下方单击“Create”创建Pipeline。
   图3 上传Pipeline
   

6. Pipeline创建完成后，在UI界面自动出现whalesay任务。在右上角单击“Create run”，用于创建执行实例，参数示例如下。配置完成后，在下方单击“Start”运行上述Pipeline。
   图4 创建Run
   

7. 单击whalesay任务，查看任务状态。
   图5 查看任务状态
   

版本记录