更新时间:2025-01-07 GMT+08:00
分享

上传与使用自定义模型(可选)

FunctionGraph应用中心的AI对话应用中内置了默认模型ChatGLM3-6B,如需使用更多自定义模型进行AI对话,需要在创建成功的应用中初始化自定义模型挂载文件系统,并添加环境变量使用自定义模型。

前提条件

  1. 完成部署AI对话ChatGLM3准备工作,委托中包含“SWR Admin”、“VPC Administrator”、“Server Administrator”、“SFS FullAccess”和“SFS Turbo FullAccess”权限。
  2. 完成部署和使用AI对话ChatGLM3应用,应用创建成功。

步骤一:创建SFS Turbo文件系统

  1. 登录华为云弹性文件服务控制台,选择“SFS Turbo”,单击“创建文件系统”,进入“创建文件系统”界面。
  2. 在“创建文件系统”界面,参考表1填写参数。其他参数保持默认即可,如需使用其他参数请参考创建SFS Turbo文件系统

    表1 文件系统参数说明

    参数

    参数说明

    取值样例

    计费模式

    必选参数。

    • 按需计费:适用于灵活使用场景。
    • 包年/包月:适用于可预估资源使用周期的场景。

    按需计费

    区域

    必选参数。

    文件系统部署的区域。当前AI对话应用仅支持在“华东-上海一”部署,且需与创建的虚拟私有云VPC保持一致。

    华东-上海一

    项目

    必选参数。

    项目部署的区域。根据区域选择默认同步设置。

    华东-上海一(默认)

    可用区

    必选参数。

    与创建的子网可用区保持一致。

    可用区1

    类型

    必选参数。

    根据推荐场景和实际情况选择文件系统类型和性能。本例支持选择所有文件系统类型,推荐选择适合大多数使用场景的 250 MB/s/TiB类型。

    250 MB/s/TiB

    容量

    必选参数。

    单个文件系统的最大容量。请根据实际需求选择,输入值应位于1.2至1023.6的区间内且必须为1.2的整数倍。

    1.2

    企业项目

    必选参数。

    与创建虚拟私有云VPC时的选择保持一致。

    default

    选择网络

    必选参数。

    文件系统所属的VPC和子网。选择创建虚拟私有云VPC和子网中创建的VPC与子网。

    vpc-fg;

    subnet-fg(192.168.x.x/24)

    名称

    必选参数。

    文件系统的名称。要求如下:

    • 长度范围为4~64位,并以字母开头。
    • 只能由英文字母、数字、下划线“_”和中划线“-”组成。

    sfs-turbo-fg

  3. 参数配置完成后,单击“立即创建”,再次确认信息后单击“提交”,等待文件系统创建任务提交成功即可。

步骤二:初始化自定义模型挂载文件系统

  1. 登录函数工作流控制台,区域选择“华东-上海一”。在左侧导航栏选择“应用中心”,单击创建成功且需初始化的应用名称,进入应用详情页面。
  2. 在应用详情页面,如图1所示单击“初始化自定义模型”,请仔细阅读弹出的说明后进行勾选操作,单击“确定”弹出初始化窗口。

    图1 初始化自定义模型

  3. 在“初始化自定义模型”窗口填写如下参数:

    • VPC:选择“vpc-fg(192.168.x.x/16)”。
    • 子网:选择“subnet-fg(192.168.x.x/24)”。
    • 文件系统来源:选择“SFS Turbo”。
    • 文件系统名称:选择“sfs-turbo-fg”。

    其他参数保持默认,如图2所示,配置完成后单击“确定”。

    图2 初始化自定义模型

  4. 返回应用详情界面,“初始化自定义模型”按键变更为“上传模型”按键即初始化成功,单击“开始使用”进入WebUI界面,系统将在文件系统中自动创建与部署应用所需的目录和文件。

    成功进入WebUI界面后无需进行操作,此操作用于加载文件系统中的目录和文件,便于后续上传自定义模型。

步骤三:上传与使用自定义模型

  1. 返回应用详情界面,单击“上传模型”进入文件管理页面,默认用户名和密码均为“admin”,登录后请在“设置”页签修改密码,保证数据安全。
  2. 与上传自定义模型相关的部分关键目录如表2 关键目录路径所示,可将模型文件上传到对应目录下。

    表2 关键目录路径

    路径

    用途

    chatglm/model

    保存ChatGLM的各类模型文件夹。

  3. 文件上传完成后,返回应用详情界面,在“资源”列表中找到逻辑名称为“chatglm”的函数资源,如图3所示单击链接进入函数详情页面。

    图3 chatglm函数资源

  4. 在“设置 > 环境变量”页签,单击“编辑环境变量”,在弹出窗口中单击“添加环境变量”,参考表3添加环境变量,填写完成后单击“确定”。

    表3 自定义模型环境变量

    说明

    MODEL_NAME

    模型文件夹名称,例如使用内置默认模型即填写chatglm3-6b

    环境变量值应为文件系统中“chatglm/model”路径下您需要使用的模型文件夹名称,切换自定义模型使用时需相应的更改环境变量值。

  5. 重新打开ChatGLM3 WebUI界面即可使用自定义模型进行AI对话。

相关文档