评测脚本
Octopus平台提供评测脚本管理功能，支持用户创建、删除、编辑、在线编辑、查询评测脚本等功能。
创建评测脚本
添加评测脚本流程为“初始化评测脚本 > 选择评测脚本文件 > 上传评测脚本文件”。具体操作步骤如下：
- 在左侧菜单栏中单击“训练服务 > 模型评测”。
- 选择“评测脚本”页签，单击“新建评测脚本”，填写脚本信息。
图1 新建评测脚本
- 名称：只能包含数字、英文、中文、下划线、中划线，不得超过64个字符。
- 描述：简要描述脚本信息。不得包含＂@#$%^&*< > \＂，不得超过256个字符。
- 单击“初始化”，完成脚本的初始化过程。
- 上传文件
将本地脚本文件夹拖入框中，或单击此处选择本地文件夹。
图2 上传文件
文件夹选择完毕后，单击“上传”。
- 脚本文件上传完毕后，单击“上传脚本”，提示脚本已加入上传队列中，并在界面右上方显示当前上传进度。
上传中刷新或关闭浏览器会导致文件上传异常，请谨慎操作！
- 查看脚本详情
单击脚本名称，进入该脚本的详情页面。
图3 脚本详情
脚本详情：脚本的详细信息，如脚本ID、名称、描述、状态等信息。
评测脚本相关操作
在“评测脚本”列表，可对脚本进行以下操作。
任务 |
操作步骤 |
|---|---|
查找脚本 |
在搜索输入框中输入搜索条件，按回车键即可查询。 |
查看脚本详情 |
单击脚本名称，查看脚本详情。 |
删除脚本 |
单击操作栏的“更多 > 删除”，删除脚本。
说明：
在使用中的评测脚本不能被删除。 |
编辑脚本 |
单击操作栏内的“编辑”，可修改脚本信息。
说明：
在使用中的评测脚本不能被编辑。 |
上传文件 |
单击脚本名称后操作栏内的“更多 > 上传文件”，上传本地脚本文件。
说明：
脚本所处状态为“初始化”、“上传中断”的自定义算法可上传文件。 |
打包文件 |
单击操作栏的“打包”，即可打包脚本。
说明：
脚本所处状态为“创建成功”且打包状态不为“打包中”的自定义脚本可打包文件。 |
下载脚本 |
当脚本的打包状态为“打包成功”时，单击操作栏的“更多 > 链接下载”，即可下载脚本。 |
脚本编辑 |
单击在线编辑栏的“脚本编辑”，可在线编辑脚本，具体请参考评测脚本在线编辑。 |
评测脚本在线编辑
平台提供脚本编辑器，可在线编辑评测文件。单击评测脚本名称后＂在线编辑＂栏内的＂脚本编辑＂，进入该脚本的在线编辑页面。如图4，界面左侧显示的是该评测文件包内的所有文件，以目录树的形式展示，支持编程语言的渲染，支持MarkDown文件的实时双屏预览。
- 新建文件夹：选中文件夹并单击
，用户将新建一个该文件夹的子文件夹。选中工程文件并单击
，将会新建一个新的文件夹，与用户已有的文件夹同级。 - 新建文件：单击
，或右键文件夹，单击“新建文件”。 - 修改文件：单击
，用户可对文件名称进行修改。 - 删除文件：单击
，用户可删除文件。
- 文件（夹）名称不能为空，且只能包含数字、英文、中文、点、下划线、中划线。
- 删除后不可恢复，请谨慎操作。
- 配置界面：单击
，按照喜好配置界面基本属性，查看快捷键说明。
图5 配置界面
- 删除当前文件：单击＂删除＂，删除当前页面的文件。删除后不可恢复，请谨慎操作。
- 保存文件：单击＂保存＂，保存当前脚本。脚本更新完毕请及时保存。
评测脚本使用说明：
- 模型路径通过环境变量{MODEL}获取，用户在评测过程中需要选择该模型，需要注意的是，以上环境变量仅指明模型文件夹，具体选择模型需用户指定，例如使用os.path.join拼接，或者使用os.listdir查找选择 。
- 评测数据集通过环境变量{DATASET}获取：
DATASET_PATH = os.getenv("DATASET","/tmp/data/dataset/dataset-0") - 用户产生的评测结果可以存储为任意格式文件，任务完成后可在评测任务详情页的评测结果中查看（支持通用文本文件）或下载结果文件。
MODEL：模型目录 /tmp/data/model。
DATASET：数据集目录 /tmp/data/dataset/dataset-0。
EVAL_RESULT：用户自定义评测结果存放目录 /tmp/result/eval。
