更新时间:2024-10-24 GMT+08:00
模型包结构介绍
创建AI应用时,如果是从OBS中导入元模型,则需要符合一定的模型包规范。
- 模型包规范适用于单模型场景,如果是多模型场景(例如含有多个模型文件)推荐使用自定义镜像方式。
- ModelArts推理平台不支持的AI引擎,推荐使用自定义镜像方式。
- 请参考创建AI应用的自定义镜像规范和从0-1制作自定义镜像并创建AI应用,制作自定义镜像。
- 更多的自定义脚本代码示例,请参考自定义脚本代码示例。
模型包里面必须包含“model”文件夹,“model”文件夹下面放置模型文件,模型配置文件,模型推理代码文件。
- 模型文件:在不同模型包结构中模型文件的要求不同,具体请参见模型包结构示例。
- 模型配置文件:模型配置文件必须存在,文件名固定为“config.json”,有且只有一个,模型配置文件编写请参见模型配置文件编写说明。
- 模型推理代码文件:模型推理代码文件是必选的。文件名固定为“customize_service.py”,此文件有且只能有一个,模型推理代码编写请参见模型推理代码编写说明。
- customize_service.py依赖的py文件可以直接放model目录下,推荐采用相对导入方式导入自定义包。
- customize_service.py依赖的其他文件可以直接放model目录下,需要采用绝对路径方式访问。绝对路径获取请参考绝对路径如何获取。
ModelArts针对多种引擎提供了样例及其示例代码,您可以参考样例编写您的配置文件和推理代码,详情请参见ModelArts样例列表。ModelArts也提供了常用AI引擎对应的自定义脚本示例,请参见自定义脚本代码示例。
如果您在导入元模型过程中遇到问题,可联系华为云技术支持协助解决故障。
模型包结构示例
- TensorFlow模型包结构
发布该模型时只需要指定到“ocr”目录。
OBS桶/目录名 |── ocr | ├── model 必选: 固定子目录名称,用于放置模型相关文件 | │ ├── <<自定义python包>> 可选:用户自有的Python包,在模型推理代码中可以直接引用 | │ ├── saved_model.pb 必选: protocol buffer格式文件,包含该模型的图描述 | │ ├── variables 对*.pb模型主文件而言必选;固定子目录名称,包含模型的权重偏差等信息 | │ │ ├── variables.index 必选 | │ │ ├── variables.data-00000-of-00001 必选 | │ ├──config.json 必选:模型配置文件,文件名称固定为config.json, 只允许放置一个 | │ ├──customize_service.py 必选:模型推理代码,文件名称固定为customize_service.py, 只允许放置一个 customize_service.py依赖的文件可以直接放model目录下
- PyTorch模型包结构
发布该模型时只需要指定到“resnet”目录。
OBS桶/目录名 |── resnet | ├── model 必选: 固定子目录名称,用于放置模型相关文件 | │ ├── <<自定义Python包>> 可选:用户自有的Python包,在模型推理代码中可以直接引用 | │ ├── resnet50.pth 必选,pytorch模型保存文件,保存为“state_dict”,存有权重变量等信息。 | │ ├──config.json 必选:模型配置文件,文件名称固定为config.json, 只允许放置一个 | │ ├──customize_service.py 必选:模型推理代码,文件名称固定为customize_service.py, 只允许放置一个,customize_service.py依赖的文件可以直接放model目录下
- Custom模型包结构,与您自定义镜像中AI引擎有关。例如自定义镜像中的AI引擎为TensorFlow,则模型包采用TensorFlow模型包结构。
父主题: 创建AI应用规范参考