评测脚本
Octopus平台提供评测脚本管理功能，支持用户创建、删除、编辑、在线编辑、查询评测脚本等功能。
创建评测脚本
添加评测脚本流程为“初始化评测脚本 > 选择评测脚本文件 > 上传评测脚本文件”。具体操作步骤如下：
- 在左侧菜单栏中选择“训练服务 > 模型评测”。
- 选择“评测脚本”页签，单击“新建评测脚本”，填写脚本名称和描述信息。
- 名称：只能包含数字、英文、中文、下划线、中划线，不得超过64个字符。
- 描述：简要描述脚本信息。不得包含“@^\#$%&*<>'|"/”，不得超过256个字符。
- 单击“初始化”，完成脚本的初始化过程。
- 上传文件
将本地脚本文件夹拖入框中，或单击此处选择本地文件夹。文件夹选择完毕后，单击“上传”。
图1 上传文件
上传中刷新或关闭浏览器会导致文件上传异常，请谨慎操作！
- 查看脚本详情
单击脚本名称，进入该脚本的详情页面。展示脚本ID、名称、描述、状态等信息。
评测脚本相关操作
在“评测脚本”列表，可对脚本进行以下操作。
| 任务 | 操作步骤 |
|---|---|
| 查找脚本 | 在搜索输入框中输入搜索条件，按回车键即可查询。 |
| 查看脚本详情 | 单击脚本名称，查看脚本详情。 |
| 删除脚本 | 单击操作栏的“更多 > 删除”，删除脚本。 说明： 在使用中的评测脚本不能被删除。 |
| 编辑脚本 | 单击操作栏内的“编辑”，可修改脚本信息。 说明： 在使用中的评测脚本不能被编辑。 |
| 上传文件 | 单击脚本名称后操作栏内的“更多 > 上传文件”，上传本地脚本文件。 说明： 脚本所处状态为“初始化”、“上传中断”的自定义算法可上传文件。 |
| 打包文件 | 单击操作栏的“打包”，即可打包脚本。 说明： 脚本所处状态为“创建成功”且打包状态不为“打包中”的自定义脚本可打包文件。 |
| 下载脚本 | 当脚本的打包状态为“打包成功”时，单击操作栏的“更多 > 下载”，即可下载脚本。 |
| 脚本编辑 | 单击在线编辑栏的“在线编辑”，可在线编辑脚本，具体请参考评测脚本在线编辑。 |
评测脚本的各个状态和所支持的操作如下。
| 状态 | 状态说明 | 能否能进入在线编辑页面 | 编辑 | 打包 | 下载 | 上传文件 | 断点续传 | 删除 |
|---|---|---|---|---|---|---|---|---|
| 初始化 | 脚本已创建，尚未上传文件 | - | √ | - | - | √ | - | √ |
| 创建中 | 评测脚本上传中 | √ （只读） | - | - | - | - | - | - |
| 创建成功 | 脚本上传成功 | √ （非打包中可修改） | √ | √ | √ (打包成功） | - | - | √ （非打包中） |
| 创建失败 | 脚本上传任务超时失败 | √ （只读） | - | - | - | - | - | √ |
| 上传中断 | 脚本上传任务异常中断 | √ （只读） | - | - | - | - | √ | √ |
| 删除中 | 删除的中间过渡状态 | - | - | - | - | - | - | - |
| 删除失败 | 删除脚本文件异常 | √ （读写） | - | - | - | - | - | √ |
评测脚本在线编辑
平台提供脚本编辑器，可在线编辑评测文件。单击评测脚本名称后＂在线编辑＂，进入该脚本的在线编辑页面。界面左侧显示的是该评测文件包内的所有文件，以目录树的形式展示，支持编程语言的渲染，支持MarkDown文件的实时双屏预览。
- 新增文件夹：选中文件夹并单击
，用户将新建一个该文件夹的子文件夹。选中工程文件并单击
，将会新建一个新的文件夹，与用户已有的文件夹同级。 - 新增文件：单击
，或单击某个文件夹目录，单击“新增文件”，用户可新增文件。 - 修改文件：单击
，用户可对文件名称进行修改。 - 删除文件：单击
，用户可删除文件。 - 文件（夹）名称不能为空，且只能包含数字、英文、中文、点、下划线、中划线。
- 删除后不可恢复，请谨慎操作。
- 配置界面：单击
，按照喜好配置界面基本属性，查看快捷键说明。 - 删除当前文件：单击“删除”，删除当前页面的文件。删除后不可恢复，请谨慎操作。
- 保存文件：单击“保存”，保存当前脚本。脚本更新完毕请及时保存。
评测脚本使用说明：
- 模型路径通过环境变量{MODEL}获取，用户在评测过程中需要选择该模型，需要注意的是，以上环境变量仅指明模型文件夹，具体选择模型需用户指定，例如使用os.path.join拼接，或者使用os.listdir查找选择 。
- 评测数据集通过环境变量{DATASET_MAP}获取：
dataset_dict= json.loads(os.getenv("DATASET_MAP")) - 用户产生的评测结果可以存储为任意格式文件，任务完成后可在评测任务详情页的评测结果中查看（支持通用文本文件）或下载结果文件。
评测使用以下环境变量：
- MODEL：模型目录
- DATASET：数据集目录
- DATASET_MAP：数据集名称和容器内路径映射关系的JSON字串
- EVAL_RESULT：用户自定义评测结果存放目录
