更新时间:2024-12-31 GMT+08:00
分享

创建模型

在Fabric部署推理服务的时候除了使用公共模型,用户也可以自己创建模型。用户可以在Fabric模型页面创建模型,这些模型是属于用户个人,其他用户不可见。

约束与限制

创建模型的通用约束如下:

  • 需要是Fabric支持的基模型,否则不支持,基模型列表如下:
    表1 基模型列表

    基模型类型

    描述

    QWEN_2_72B

    Qwen2在包括语言理解、生成、多语言能力、编码、数学和推理在内的多个基准测试中,超越了大多数以前的开放权重模型,与专有模型表现出竞争力,参数规模为720亿。

    GLM_4_9B

    GLM-4-9B是智谱AI推出的最新一代预训练模型GLM-4系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中表现出较高的性能,参数规模为90亿。

  • 模型格式需要为safetensors的格式。safetensors是Huggingface推出的一种可靠、易移植的机器学习模型存储格式,用于安全地存储Tensor,而且速度快。样例如下:
    图1 模型文件样例

前提条件

  • 已有可正常使用的华为云账号。
  • 已有至少一个正常可用的工作空间。
  • 已创建用于存储模型的OBS桶及文件夹,上传好符合要求的模型文件,并且模型存储的OBS桶与Fabric在同一区域。具体请参见创建OBS桶

操作步骤

  1. 登录Fabric工作空间管理台
  2. 选择已创建的工作空间,单击“进入工作空间”
  3. 在左侧菜单栏中选择资源与资产 > 模型,进入“模型”管理页面。

    图2 进入模型管理页面

  4. 单击“创建模型”,进入“创建模型”页面。

    图3 进入创建模型页面

  5. 填写模型基本信息,包括名称、描述等,并选择模型文件的OBS路径,然后单击“立即创建”,详细描述请见:

    表2 创建模型的基本信息

    参数名称

    说明

    模型名称

    必填,模型的名称。

    长度为1-64,不支持重复名称。

    只能包含中文、字母、数字、下划线、中划线、点、空格。

    模型描述

    可选,模型的描述信息。

    长度为0-1024。不支持^!<>=&"'等特殊字符。

    版本名称

    必填,版本的名称。

    长度为1-64,不支持重复名称。

    只能包含中文、字母、数字、下划线、中划线、点、空格。

    版本描述

    可选,版本的描述信息。

    长度为0-1024。不支持^!<>=&"'等特殊字符

    基模型类型

    必选,基模型的类型,描述具体请见基模型列表

    模型文件路径

    必填,模型文件路径。目前支持OBS路径,该路径需要当前用户有读取的权限。

    图4 创建我的模型
    图5 选择模型的OBS路径

  6. 再次单击“我的模型”,即可在模型列表中看见刚创建的模型。

    图6 在模型列表中查看创建的模型

相关文档